Роберт Дауні-молодший народився в Манхеттені, Нью-Йорк, молодший з двох дітей. Його батько - Роберт Дауні-старший - режисер, актор і продюсер, а його мати - Елсі (у дівоцтві Форд) - теж актриса. У батька Дауні - ірландське і російсько-єврейське походження, а у матері - німецьке і шотландське походження. Його батько народився з ім'ям Роберт Еліас, але змінив своє прізвище на Дауні (як у його вітчима Джеймса Дауні), коли він був неповнолітнім і хотів поступити на службу в армію.
У Дауні були невеликі ролі в проектах свого батька в дитинстві. Він дебютував в кіно у віці п'яти років і грав хворого щеняти у фільмі "Загін" (1970), потім у віці семи років знявся в "Палаці Грісера" (1972). У віці 10 років, він жив в Англії і вивчав класичний балет, як частина більш великої програми. Він виріс в Грінвіч-Віллідж і навчався в навчальному центрі виконавських мистецтв "Stagedoor Manor" в північній частині штату Нью-Йорк, коли був підлітком.