Роберт Дауні-молодший народився в Манхеттені, Нью-Йорк, молодший з двох дітей. Його батько - Роберт Дауні-старший - режисер, актор і продюсер, а його мати - Елсі (у дівоцтві Форд) - теж актриса. У батька Дауні ірландське і російсько-єврейське походження, а у матері німецьке та шотландське походження. Його батько народився з ім'ям «Роберт Еліас», але змінив своє прізвище на «Дауні» (як у його вітчима Джеймса Дауні), коли він був неповнолітнім і хотів поступити на службу в армії.
У Дауні були невеликі ролі в проектах свого батька в дитинстві. Він дебютував в кіно у віці п'яти років і грав хворого щеняти у фільмі «Загін» (1970), потім у віці семи років знявся в «Палаці Грісера» (1972). У віці 10 років, він жив в Англії і вивчав класичний балет, як частина більш великої програми. Він виріс в Грінвіч-Віллідж і навчався в навчальному центрі виконавських мистецтв «Stagedoor Manor» в північній частині штату Нью-Йорк, коли був підлітком. Коли його батьки розлучилися в 1978 році, Дауні переїхав до Каліфорнії зі своїм батьком, але в 1982 році він покинув середню школу Санта-Моніки і переїхав в Нью-Йорк, щоб продовжити акторську кар'єру.
Через наркоманії він розлучився зі своєю першою дружиною, співачкою і моделлю Деборою Фальконер, з якої у них є спільний син Індіо. Переломною подією в житті Дауні виявилося знайомство з продюсером Сьюзан Левін на зйомках трилера «Готика», де він зіграв разом з Хеллі Беррі і Пенелопою Крус. Роберт пройшов черговий курс лікування в Лос-Анджелесі заради своєї любові до Сьюзан і, вилікувавшись, зробив їй пропозицію руки і серця.
Однак справжнє переродження Роберт одержує після його затвердження на головну роль у фільмі «Залізна людина». Після виходу фільму кіностудії буквально закидають актора різними пропозиціями.