Єлагін палац - один з небагатьох архітектурних пам'яток Харкова, який за всю історію свого існування жодного разу не був перейменований. Названий Єлагіна на ім'я свого першого власника, він зберігав цю назву при всіх наступних господарів. Іноді палац також Елагинской або Єлагіноостровському.
Передбачається, що архітектором, побудував будинок для І. П. Єлагіна, був Д. Кваренги. Втім, особняк в своєму первісному вигляді до нашого часу не дійшов, оскільки на початку 19 століття він був викуплений Олександром I для своєї матері імператриці Марії Федорівни, якій було вже важко їздити в царські заміські резиденції Павловська і Гатчини. Перебудовувати Єлагін палац було доручено знаменитому зодчому К. Россі. Архітектор звів на острові відразу кілька будівель: крім увінчаного куполом триповерхового палацу, там було збудовано три додаткових павільйону, а також Кухонний і Конюшенного корпусу. Оформленням внутрішніх приміщень палацу і павільйонів займалися найвідоміші в той час скульптори - С. С. Піменов і В. І. Демут-Малиновський - і художники-декоратори - Д. Скотті, А. Віга і Б. Медічі. Овальний зал палацу був прикрашений каріатидами і іонічними напівколонами, купол розписаний химерним орнаментом, а стіни в більшості приміщень палацу облицьовані штучним мармуром (стюком). В одній з кімнат був використаний стюк чисто-білого кольору, зовні дуже схожий на фарфор, через що кімната була названа Фарфоровим кабінетом. Мармурові стіни інших приміщень художники розписали квітами, орнаментами і сценами з античної міфології, а на стелях зобразили групи пустуючих купідонів. Особливо захоплювали вдовствующую імператрицю і її гостей двері на першому поверсі Єлагіна палацу, оформленням яких займався сам Россі. Кожна з двадцяти з гаком дверей є справжнім витвором мистецтва: двері облицьовані цінними породами дерева з тонкою позолоченою різьбою. А двері кабінету Олександра I на другому поверсі була, до того ж, оброблена прикрасами з бронзи.
Після смерті Марії Федорівни Єлагін палац поступово перетворився в "запасну" царську резиденцію, яку імператори не надто шанували своєю увагою. На початку 20 століття Єлагін палац "понизили" в ранзі - з царської резиденції він перетворився в місце відпочинку прем'єр-міністровУкаіни. У ньому встигли побувати С. Ю. Вітте, П. А. Столипін і І. Л. Горемикін.
Після революції Єлагін палац отримав статус музею - в ньому був відкритий Музей побуту. У Харкові подібних музеїв було дуже багато на початку століття, але незабаром більшість з них були закриті або перетворені в інші культурні або громадські установи. Це сталося і з Єлагіна палацом, в якому був організований Культурно-виховний центр.
Під час Великої Вітчизняної війни палац був сильно зруйнований - один зі снарядів, що потрапив в димохід, спричинив пожежу. Відразу ж після перемоги архітектор В. М. Савков почав підготовку палацу до реставрації, зібравши разом вцілілі шматки мармуру і фрагменти ліпних прикрас і розпису. За цим фрагментами і ескізами згодом була відновлена оздоблення внутрішніх приміщень Єлагіна палацу.
Відреставрований під керівництвом архітектора М. М. Плотникова, Єлагін палац знову став музеєм, в якому розмістилися колекції художнього скла та порцеляни, а також вишивки та вироби з дерева і металу.
На початку "перебудови", коли був закритий Музей ленінградського художнього скла, колекція його експонатів була також передана Єлагіноостровському музею. З точки зору деяких фахівців, вироби зі скла, створені в 20 столітті, представляють не меншу, а можливо, навіть велику історичну цінність, ніж старовинні скляні експонати. За ним можна простежити історію Ленінградського заводу художнього скла, колись знаменитого на всю Україну, а тепер практично не функціонує. Завдяки його виробам Ленінград в середині 20 століття навіть носив неофіційний титул "скляної столиці СРСР", і тендітні експонати цієї експозиції Єлагіна палацу всім своїм виглядом підтверджують справедливість цього визначення. Серед них - скляні фігури, виконані скульптором В. Мухіної, яка керувала заводом, і заслуженим художником РРФСР Е. Яновської, найвідомішою з яких є скульптурна композиція "Русь". Безліч виробів з кришталю і кольорового скла присвячені пам'яткам Північної столиці і моментам її історії. Унікальним за технікою виконання вважається один з головних експонатів музею - ваза "Нептун" роботи заслуженого художнікаУкаіни А. Аствацатуряна. А вершиною скляній колекції по праву називають вазу "Ленінградська", створену до 250-річного ювілею міста на Неві. Цей шедевр з синього і прозорого кришталю висотою в 1 метр 25 сантиметрів виконав заслужений художник РСФСР Ю. Мунтян.
Сьогодні в Елагином палаці також проводяться різні тимчасові виставки творів мистецтва і влаштовуються розважальні заходи в стилі різних епох - петровської, єлизаветинської або катерининської. Перед Єлагіна палацом, на території Центрального парку культури і відпочинку, для туристів організовуються пікніки і фуршети під відкритим небом.
Від станції метро "Крестовский острів" до Єлагіна острова можна дістатися пішки, пройшовши по вулиці Рюхина, яка починається прямо біля метро, до 2-го Елагинского моста.
При реставрації будівель на Єлагіна острові під одним з павільйонів палацу було виявлено підвальне приміщення, побудоване, на думку знайшли його архітекторів, швидше за все, ще в 18 столітті, тобто в той час, коли власником острова був І. П. Єлагін. Визначити, для чого використовувався цей підвал, реставраторам так і не вдалося. Маленька висота його стелі - всього півтора метра - вказує на те, що в ньому, цілком ймовірно, знаходилося якесь господарське приміщення, наприклад, комора або винний льох. Однак існують і більш екзотичні версії, що пояснюють будівництво цієї "підземної кімнати". За однією з них, вона служила камерою тортур, а згідно з іншою - місцем засідання масонської ложі, якою керував сам Єлагін. Після того як проти масонів почалися репресії, Єлагін продовжував організовувати таємні зустрічі своїх однодумців, готових, з метою конспірації, збиратися навіть в такому незручному і тісному приміщенні. Передбачалося навіть, що з Єлагінському підвалу на Кам'яний острів вів таємний підземний хід, згодом засипаний. Через цей вхід масони могли втекти з павільйону в разі небезпеки.