Ермітажу відводилася специфічна роль павільйону для розважального і усамітненого проведення часу осіб з найближчого оточення "царської особи". Призначення павільйону визначено і його назвою (ermitage в перекладі з фр .- "хатина пустельника").
Прямокутна в плані двоповерхова будівля висотою 11 метрів покоїться на суцільному масивному стилобаті (12,5х18 метрів), що підкреслює його витонченість. Павільйон оточений глибоким і широким рвом- "каналом", стіни якого викладені з цегли і облямовані профільованим поребриком зі світлого каменю. Рів наповнювався водою, а в першій половині XVIII століття через нього було перекинуто розвідний міст.
Відмітна риса вигляду Ермітажу-вікна і засклені двері з палітурками в невеликий квадрат, що займають майже всю площину фасадів. Вони надають другого, більш високому поверху майже прозорість, а весь павільйон завдяки цьому нагадує пронизану світлом кришталеву скриньку.
Ермітаж відрізняється точно знайденими пропорціями, чіткими членениями, пластичної опрацюванням всіх декоративних деталей. Кути і простінки павільйону підкреслені рустами і пілястрами коринфського ордера з базами з пудостского каменю, котрі спиралися б на високі фільончасті п'єдестали. Стіни жваві профільованими тягами. Середня частина північного (морського) та південного (паркового) фасадів акцентована лучковим фронтоном і балконом на чотирьох різьблених дубових консолях з ажурними гратами, скомпонована з позолочених кольорів і чорнінням орнаментальних візерунків.
У першому поверсі павільйону, вистелене мармуровими плитами, знаходяться вестибюль, кухня з вогнищем і буфетна-середнє приміщення, де був встановлений механізм звідного столу. Відокремлена вузьким коридором дерев'яна драбинка, прихована дубової перегородкою, веде на другий поверх. Він зайнятий залом площею 80 метрів, вистелений паркетом у вигляді чергуються ромбів. Десять віконних прорізів, що прорізають стіни від плінтуса до карниза, заливають зал світлом, створюють відчуття простору. З вікон одночасно відкриваються дали затоки і алеї парку-один з найбільш вражаючих ефектів кругової перспективи.
Починаючи від профільованих дубових панелей, стіни залу суцільно закриті картинами, розділеними золоченими рейками; картиною декорований і камін. Барвиста гамма живописних полотен і позолота рейок надають залу ошатність палацового інтер'єру. У Петергофском Ермітажі зберігаються 124 картини-твори фламандських, голландських, французьких, італійських і німецьких художників XVII-XVIII століть. Лише одна картина присвячена російській темі. Це "Полтавська баталія", копія плафона, написаного І. Нікітіним в 1727 році для "Зали славних торжествований" в Літньому саду.
Будівництво Ермітажу по проекту Браунштейна почалося в 1721 році і завершилося влітку 1725 року. За розпорядженням Петра балкони і ковані залізні решітки на вікнах зробили точно такі ж, як на кораблі "Інгерманландія", на якому він в 1716 році командував з'єднаними флотами Росії, Англії, Голландії та Данії. Ці деталі додали ермітажні залу схожість з великою капітанською каютою.
Звели павільйон і виконали тонку штукатурну обробку "робітні люди" підрядника Якова Буева за малюнками і вказівкам кам'яних і штукатурних робіт майстра А. Кардасье. За ескізами Н. Піно різьбярі Збройової палати Н. Севрюков і В. Кадников, а також І. Верещагін і П. Колмогоров виконали весь первісний різьблений убір павільйону. К. Оснер відлив з алебастру чотири декоративні фігури - алегорії пір року, встановлені по сторонам фронтонів. Слюсарі А. Білин, Петро і Степан Ластівчині викували залізні решітки для вікон.
Чимало турбот доставив будівельникам Ермітажу підйомний стіл. Великий овальний стіл, облицьований горіхом, був розрахований на чотирнадцять осіб. В отвір, пророблений в підлозі посеред залу, можна було опускати і піднімати на канатах середню, обтягнуту зеленим сукном частина столу, на яку ставилися страви і напої. Окремі страви подавалися на спеціальних "нижніх" -нижнє дерев'яних тарілках, закованих по краю оловом. Ці тарілки рухали на підставках-стрижнях в спеціальних трубах. Сигнал до загальної зміні страв і посуду давався великим дзвоном. Але кожен з гостей міг замовити собі окрему страву, поклавши на нижню тарілку записку і потягнувши за колечко, прив'язане до мотузки, протягнутої до одного з "персональних" дзвіночків, які перебували внизу, в буфетної. Підйомний стіл дозволяв вельможам трапезувати і розважатися без присутності слуг. "Не повинно мати рабів свідками того, як господар їсть і веселиться з друзями; вони переносники звісток, базікають то, чого і не бувало ", говорив Петро. Такий же курйозної забавою, як і стіл, до кінця XVIII століття в Ермітажі служило підйомне крісло, оббите зеленим сукном і білим шовковим галуном (знаходилося на місці сходів). На ньому гостей по черзі піднімали в зал.
Декоровані спочатку окремими мальовничими полотнами стіни залу і навіть камін в 1759 році за проектом Б. Ф. Растреллі суцільно закрили картинами, використавши їх як мальовничі шпалери. Цей дорогоцінний убір надав інтер'єру велику кольорову насиченість і ілюзорну просторовість, притаманну стилю бароко. Склад ермітажних картин в наступні часи змінився, але принцип шпалерного розміщення зберігся без змін.
В Ермітажі найближчі царські сановники не тільки розважалися, а й обговорювали важливі державні справи. Ермітажний зал служив своєрідним літературним салоном. Тут знаменитий російський драматург-сатирик Д. І. Фонвізін в присутності Катерини II і Потьомкіна прочитав комедію "Бригадир".
Ошатний приморський павільйон в Петергофі послужив прототипом всіх російських "Ермітаж", побудованих видатними архітекторами XVIII століття в Петербурзі, Стрельні, Царському Селі, Каськів, під Москвою,