Експозиція Ермітажу розміщується в шести величних будівлях, розташованих вздовж набережної Неви в самому центрі Харкова. Ермітаж займає сім будівель: Зимовий палац, Малий Ермітаж, Великий (Старий) Ермітаж, Новий Ермітаж, Ермітажний театр, Меншіковскій палац і колишня будівля Головного штабу.
Великий і Малий Ермітаж
При Катерині II почалося зведення будівлі Малого Ермітажу поруч із Зимовим палацом. Тут Катерина II зберігала свою колекцію живопису, яка лягла в основу майбутнього музею. Колекція постійно поповнювалася новими картинами, скульптурами, виробами з каменів виробів і іншими предметами мистецтва, і в кінці кінців в Малому Ермітажі не залишилося вільного місця для їх розміщення. У 1771-1787 роках до нього було прибудовано ще одна будівля, яке спеціально призначалося для зберігання живописних і скульптурних творів, - Великий Ермітаж.
Приблизно в ті ж роки, що і Великий Ермітаж, на Палацовій площі був зведений Ермітажний театр, створений за проектом Д. Кваренги. Він призначався для імператорських вистав, які на той час стали дуже популярним палацовим розвагою.
Формування музейної колекції
Першими експонатами майбутнього Державного музею стали 225 картин фламандських і голландських художників, придбаних Катериною II у берлінського купця І. Е. Гоцковского. Потім вона доповнила свою колекцію полотнами Кобенцля, Рембрандта, Рубенса, Пуссена, Ватто, Рафаеля, Тиціана та багатьох інших відомих живописців. Чи не забувала імператриця і про сучасне мистецтво, замовляючи картини європейським майстрам, чий шлях до світової популярності в той час ще тільки починався.
Крім творів живопису, Катерина II колекціонувала медалі і різні вироби з різьбленого каменю - геми, камеї, жіночі прикраси та статуетки. Найбільшим придбанням такого роду стало збори різьблених каменів герцога Орлеанського. Купувала вона і скульптури, однак їх в колекції було не дуже багато. Найцінніші з них - античні фігури, куплені у банкіра Д. Л. Брауна, і "скорчившись хлопчик" Мікеланджело - спочатку зберігалися в літній резиденції Катерини в Царському селі.
Після закінчення Вітчизняної війни 1812 року Олександр I привіз в Україну найбільш цінні полотна і скульптури з палацу Мальмезон - резиденції першої дружини Наполеона Жозефіни, а трохи пізніше придбав збори іспанського живопису, зібране голландським банкіром В. Г. Кузвельта. Крім того, при Олександрі I в Ермітаж стали надходити твори українських живописців.
XIX і ХХ століття для Ермітажу
Музеєм, доступним для широкої публіки, Ермітаж став при Миколі I, при якому музейна колекція значно розширилася. При Миколі I в Ермітажі також збільшилася кількість робіт українських живописців, і була навіть відкрита ціла Галерея російської школи.
Головним же нововведенням палацового музею стало зібрання археологічних знахідок, зроблених в Італії, під час розкопок Помпеї, і вУкаіни, в Червонограді недалеко від Керчі. Для зберігання нових експонатів було відведено будівлю Нового Ермітажу на Палацовій набережній, будівництво якого велося з 1839 по 1852 рік.
На сьогоднішній день фонди Ермітажу налічують мільйони експонатів, серед яких археологічні знахідки, предмети первісної культури, ювелірні вироби, вироби зі скла, порцеляни, фаянсу і каменів виробів. У музеї представлені колекції живопису, скульптури і прикладного мистецтва практично всіх країн світу.