Народився в старовинній дворянській родині. Його батько, генерал-аншеф Олександр Іванович Румянцев був сподвижником Петра I
учасником всіх найважливіших битв Північної війни і Перської походу, згодом кaзанскім губернатором і сенатором. Його мати Марія Андріївна - внучка А. С. Матвєєва, в сім'ї якого виховувалася мати Петра I, цариця Наталія Кирилівна. Чутка того часу вважала Петра Олександровича сином імператора. Хрещеною матір'ю немовляти бьла Катерина I. Петро Олександрович уже в шість років був зарахований в полк. Вдома на нього навчали грамоті та іноземним мовам, а в 1739 р зарахували до російського посольства в Берліні, мабуть, вважаючи, що перебування за кордоном буде сприяти його утворенню. Тут вирвався з-під суворого батьківського нагляду юнак цілком проявив свій характер нестримного марнотратника і гульвіси і був відкликаний до Петербурга для продовження навчання в Шляхетському корпусі. Але, мабуть, і в столиці він так компрометував батька своєю поведінкою, що той відіслав його в далекий полк до Фінляндії.
З початком російсько-шведської війни 1741-1743 рр. Румянцев взяв участь в бойових діях в чині капітана. Наступну потім Абоський світ був підписаний його батьком, який послав сина до імператриці з текстом договору. На радощах Єлизавета Петрівна здійснила вісімнадцятирічного капітана відразу в полковники. Важливий чин не помер, проте, його енергії, і слух про скандальні пригоди Петра Олександровича дійшов до вух імператриці; та веліла батькові покарати сина, що слухняний генерал і виконав, власноруч випоровши вісімнадцятирічного полковника різками.
Це призначення відбулося після знищенням гетьманства і свідчило про високий довірі імператриці, що забезпечила Румянцева розлогій секретної інструкцією. Основне значення його нової місії полягало в поступової ліквідації залишків української автономії і перетворення Малоросії в пересічну губернію Російської імперії. Результатом його діяльності було зникнення традиційного адміністративного поділу України, знищення слідів колишньої козацької «вольниці» і поширення кріпосного права. Румянцев чимало постарався також для поліпшення системи збору з українців державних податей, поштового зв'язку та судочинства. Одночасно він намагався боротися з пияцтвом і час від часу домагався для жителів підвладного йому краю податкових пільг.
Повернувшись після війни до своїх колишніх обов'язків малоросійського генерал-губернатора, Румянцев, однак, незабаром був кілька відтиснутий на задній план появою на російському політичному небосхилі Г. А. Потьомкіна. У суперництві з ним пройшло близько двадцяти наступних років життя полководця, а коли в 1787 р почалася нова війна з турками, що не бажав перебувати в підпорядкуванні у фаворита Румянцев позначився хворим. Але і вже після смерті Потьомкіна, отримавши в 1794 р призначення командувачем військами, посилає в Польщу на придушення повстання Т. Костюшка, Румянцев прийняти його не зміг і керував армією лише формально, віддавши кермо влади в руки А. В. Суворова.
Як полководець, теоретик і практик військового мистецтва Румянцев став одним з ініціаторів переходу від лінійної тактики до тактики колон і розсипного ладу. У бойових порядках він вважав за краще використовувати дивізійні, полкові і батальйонні каре, віддавав перевагу легкої кавалерії перед важкою. На його думку, слід було рівномірно розподіляти війська на театрі військових дій, був переконаний у перевазі наступальної тактики перед оборонної, велике значення надавав підготовці військ, їх моральному духу. Свої погляди на військову справу Румянцев виклав в «Правилах генеральних» і «обряд служби», які мали значний вплив на Г. А. Потьомкіна і А. В. Суворова.
У 1799 р на Марсовому полі в Петербурзі був встановлений пам'ятник Румянцеву у вигляді невисокої чорної стели з написом: «Румянцева перемогам». В даний час пам'ятник знаходиться в Румянцевском сквері на Університетській набережній.