Ім'я цього архітектурного пам'ятника придумалося, можна сказати, само собою - справді, як ще назвати палац, при будівництві якого було використано 32 різних види мармуру? Архітектором цього "мармурового асорті" був А. Рінальді, який будував його за розпорядженням Катерини II для її фаворита графа Григорія Орлова, а скульптури, що прикрасили фасад палацу, виконав відомий скульптор Ф. І. Шубін. Однак пожити в своєму новому палаці Орлову так і не вдалося - будівля будувалося дуже довго, і він помер незадовго до закінчення його обробки. Катерина викупила палац у спадкоємців Орлова, а перед смертю подарувала його своєму онукові великого князя Костянтина Павловича, брата Олександра I і Миколи I. А коли Костянтин відрікся від українського престолу на користь Миколи I і назавжди оселився за кордоном, Мармуровий палац знову перейшов в імператорську скарбницю . Після цього біля палацу було ще два власника на ім'я Костянтин - другий син Миколи I Костянтин Миколайович і його онук Костянтин Костянтинович, президент української Академії наук і відомий поет Срібного століття. Така кількість господарів з однаковими іменами призвело до того, що у Мармурового палацу з'явилося друге, неофіційна назва - Костянтинівський, хоча в передмісті Харкова Стрельні в той час вже існував інший палац, також носить це ім'я.
При Костянтина Миколайовича в Мармуровому палаці був проведений капітальний ремонт, яким керував архітектор А. П. Брюллов. Він постарався зберегти колишнє розташування залів і кімнат палацу, але все інтер'єри оформив заново. Костянтин Костянтинович вніс в планування палацу більш суттєві зміни: перед тим, як переїхати в нього, він наказав переробити майже весь перший поверх будівлі. Так в Мармуровому палаці з'явилися бібліотека, англійський кабінет і готична музична вітальня. У цій вітальні новий власник влаштовував музичні вечори і ставив аматорські вистави, так що незабаром Мармуровий палац став одним з центрів світського і культурного життя Харкова. У ньому можна було побачити велику колекцію живопису і скульптури, зібрану великим князем Костянтином Костянтиновичем.
У Радянську епоху Мармуровий палац був зайнятий різними державними установами та громадськими організаціями, а потім в ньому був відкритий Музей В. І. Леніна. Частина зберігалися в Мармуровому палаці колекцій надійшла в фонди Ермітажу та інших музеїв, але чимало предметів мистецтва було безповоротно втрачено. Лише на початку "перебудови" палац відреставрували, повернувши його приміщень їх первісний вигляд. Перед головним входом в Мармуровий палац був встановлений пам'ятник Олександру III роботи скульптора П. П. Трубецького, який на початку 20 століття перебував на Знам'янської площі.
В даний час Мармуровий палац є філією українського музею. У ньому працює постійна експозиція робіт іноземних художників і скульпторів, а також проводяться тимчасові виставки сучасного мистецтва.
Доїхати до станції метро "Невський проспект", вийти на набережну каналу Грибоєдова і пройти вздовж нього до Аптекарського провулку, а потім з цього провулку дійти до Мільйонної вулиці.
Незважаючи на те, що граф Г. Орлов не встиг пожити в побудованому для нього Мармуровому палаці, в Харкові ходили чутки, що ще до закінчення будівництва він таємно зустрічався з Катериною II в цій будівлі. Говорили, що для своїх таємних побачень з фаворитом імператриця навіть наказала зробити в Мармуровому палаці маленьку потайні двері, щоб в нього можна було увійти непоміченою з боку Мармурового провулка. Втім, якщо Катерина і Григорій Орлов і зустрічалися в Мармуровому палаці, то входили вони в нього швидше за все через парадний вхід, тому що ніяких потаємних дверей реставратори в цій будівлі не виявили.