У комплексі палацових споруд Нижнього парку павільйон Ермітаж доповнює палац Монплезир. У перекладі з французької слово «Ермітаж» означає «хатина пустельника». Він був невід'ємною частиною регулярних садів XVIII століття і призначався для відокремлених зустрічей і зборів невеликого числа придворних.
На першому поверсі павільйону знаходиться вестибюль, декорований пілястрами, з дубовими різьбленими дверима, які закривали «чуланци», кухня з вогнищем, середнє квадратної форми приміщення, де був встановлений механізм звідного столу, і коридор до сходів, що ведуть наверх. На другому поверсі був обладнаний зал для прийомів, прикрашений низькими дубовими панелями і картинами, щільно закривають стіни. Картини відокремлюються одна від одної золоченими брусками.
Будівництво Ермітажу було розпочато в 1721 році за проектом архітектора И.-Ф. Браунштейна. До спорудження стін приступили навесні 1722 року, а в середині осені будівля була вже підведено під покрівлю. Влітку 1722 року скульптором К. Оснер були виконані декоративні алебастрові статуї пір року, які були розміщені на всі боки фронтонів павільйону. На початку зими того ж року Я. буїв взявся на зовнішні і внутрішні штукатурні роботи за ескізами штукатурного майстра А. Квадро.
На початку 1724 Петро Великий звелів зробити в Ермітажі два дубових балкона (як на судні «Інгерманландія»), а для вікон - ковані решітки з заліза. У тому ж році ажурні дерев'яні решітки для балконів були зроблені різьбярами Збройової палати Н. Севрюкова і В. КАДНІКОВА. За малюнками Н. Піно ці ж майстри вирізали 8 дубових кронштейнів для балконів. Одночасно різьбярі П. Колмогоров і І. Верещагін створили дерев'яні капітелі пілястр. Залізні грати для вікон викував слюсарний майстер Г. Білин.
Рів навколо будівлі почали копати після його зведення в 1723 році і закінчили навесні 1724 року. Керівництво за спорудженням стін і ростверку здійснювали А. Кардасье і Ж. Мішель. Для наповнення каналу водою з Марлінського ставка була проведена водоводні магістраль. Восени 1724 імператор розпорядився, щоб навколо рову зробили зелений газон. По периметру каналу проходила дерев'яна балюстрада, а через нього з боку радіальної алеї був побудований розвідний міст.
У 1756-1757 роках були організовані роботи по відновленню декоративних елементів Ермітажу. К.С. Жирардон займався реставрацією фігур по сторонам фронтонів і двох різьблених фрамуг на першому поверсі. Також була повністю перекрито дах, відремонтовані «круглі Нішель», маленькі трельяжі, встановлені по сторонам алеї біля входу на міст. Б.Ф. Растреллі створив розкішну декоративне оформлення верхнього приміщення Ермітажу: стіни були суцільно зайняті картинами, які поділялися золоченими профільованими брусками. Коли картини розвішувалися, доводилося збільшувати або зменшувати розміри стін. Розробити і дописати полотна було доручено навесні 1759 року мальовничому підмайстра Л. Пфандцельту.
У роки Великої Вітчизняної війни фашисти влаштували тут вогневу точку. Частина північної стіни Ермітажу була підірвана, знищені дубова обробка вестибюля, підйомний стіл, палітурки і панелі вікон по південному фасаду. Меблеве оздоблення і картини були вивезені вглиб країни на початку війни.
У 1952 році була проведена часткова реставрація будівлі, картини були повернуті на свої місця. Павільйон Ермітаж був першим з музеїв Петродворца, який після війни відкрився для огляду. Різьбяр Г.С. Симонов за збереженими зразками вирізав дубові кронштейни для балкона, А.В. Виноградов проводив реставрацію різьблення балконних ґрат. У наступні часи був відновлений паркет, двері «чуланцев» і була проведена капітальна реставрація рову і стилобату.