Почалося все з подарунка острова Петра I одному з державних діячів, дипломату, раднику і віце-канцлеру Петру Павловичу Шафирову (його ім'ям названо один з проспектів в Петербурзі). Пізніше, років через двадцять, коли Шафиров всього лише не знайшовши спільної мови з ясновельможним князем Олександром Меншиковим-улюбленцем Петра, був звинувачений у зловживанні службовим становищем, позбавлений всіх нагород, звань, майна і відправлений Петром I в. посилання, острів з усіма будівлями і людьми перейшов генерал-прокурору при Сенаті Ягужинському.
Майже півстоліття сім'я прокурора володіла цим чудовим місцем, але потім почалася низка перепродажів, поки нарешті в 1777 році острів для чогось купив Григорій Потьомкін і в цьому ж році, зрозумівши непотрібність даного придбання, продав його обер - Гофмейстера двору Катерини II Івану Єлагіна, і з тих пір і до наших днів за островом приліпилося назва -Елагін острів.
Іван Перфільевіч Єлагін -пісатель, прихильник імператриці Катерини Олексіївни, наближений спадкоємця престолу. Найбільш яскравою сторінкою його діяльності було управління театрами, але за працями державними він не забував і про своє детіще- навколо особняка наказав розбити мальовничий парк, прикрашений містками і павільйонами, гротами і красивими альтанками.
Згодом цей парк перетворився на улюблене місце прогулянок знатних і найбагатших осіб міста. Іван Єлагін володів парком аж до своєї смерті, а через двадцять років його спадкоємці продали острів в державну скарбницю і знову почалася зміна власників, поки в 1817 році у одного з нащадків Григорія Орлова (сина одного зі знаменитих братів Орлових-Володимира), його не купив імператор Олександр I для своєї матері -вдовствующей Імператриці Марії Федорівни.
З цього часу почалися роботи з перебудови всі садово-паркового комплексу та одночасно з парком перебудовувалася садиба в якості літньої резиденції для імператриці. Роботи були доручені архітектору Россі. Він створив проект, за яким за чотири роки перебудували і саму садибу і заново оформили парк, а також побудували нові павільйони.
