Иван Рыжов родился в простой многодетной семье. У своих родителей он был девятым ребенком и всегда хотел стать актером. Своего Иван Петрович добился.
Многие не верили в его успех. В начинающем артисте не было утонченной красоты. Как оказалось уже на первом экзамене, в нем было больше, чем внешняя привлекательность. Он был рожден, чтобы играть. Известно, что студенческие годы будущей звезды были голодными и непростыми. Из-за того, что у Ивана Петровича не было денег на одежду, он плохо одевался и заработал заболевание почек. Будущую знаменитость не взяли на фронт.
Иван Рыжов начал сниматься еще в 1940 году. Однако мало кто запомнил его молодым на экране. Предложения полились рекой, когда артисту исполнилось 40 лет. Режиссеры поняли, как много они упускали все эти годы. Особенно хорошо артист вписался в фильмы легендарного Василия Шукшина. Тогда его и прозвали «всесоюзным дедом». За плечами артиста осталось около 150 работ в кино.
Всю жизнь Иван Петрович любил лишь одну женщину. Со своей женой он познакомился в «Союздетфильме». Она окончила театральное училище, но затем поступила в институт иностранных языков. Актрисой Нина Никольская не стала, она преподавала иностранный язык. Она была совсем из другого круга, и Рыжов долго добивался расположения возлюбленной. В их семье родилась дочь Татьяна.
Всю жизнь они прожили душа в душу. В какой-то момент у супруги знаменитости случился инсульт. Иван Рыжов выходил любимую Нину. Однако через четыре года она умерла. Сам артист пережил ее лишь на год.