Літній сад був закладений в травні 1704 по указу Петра I, через рік після заснування Харкова. Імператор бажав бачити своє місто за подобою західноєвропейських столиць, з палацами, садами, набережними і пристанями. План саду, як і багато іншого при будівництві Северной столиці, був розроблений самим Великим Петром. Літній сад спочатку був задуманий як регулярний парк, подібний прославленим західноєвропейським паркам того часу. Для створення першого саду були призначені архітектори Іван Матвєєв, Михайло Земцов, Нікола Микетти.
Спочатку болотистий ділянку на березі Неви, виділений під царський сад, осушили за допомогою виритих каналів. Так виник штучний острів, на якому і в наші дні розташований Літній сад, оточений Невою, Фонтанка, мийкою і Лебяж'е канавкою.
Розбивка Літнього саду відповідала всім канонам європейського регулярного парку, де головні алеї розташовувалися симетрично і перетинаючись перпендикулярно з другорядними алеями утворювали квадратні майданчика, в інших місцях вони розходилися променями в строго вивіреному порядку.
Дерева і кущі підстригалися, їм надавали форми геометричних фігур. Перед глядачем виникали химерні насадження у вигляді кубів, куль і пірамід. З висаджених кущів і витких рослин створювалися вигадливі лабіринти, альтанки, галереї. На клумбах, повторювали геометричні фігури, висаджувалися кольору у вигляді барокових орнаментів.
Сад був розділений, невеликим каналом на дві частини - парадну і господарську.
Парадна частина, яка виходила на Неву, називалася Першим Літнім садом, тут проводилися асамблеї і урочисті прийоми. Безліч мармурових статуй і бюстів привезених з Італії, прикрашали алеї парку, з яких Петро I особливо виділяв античну скульптуру Венери. Парадний вид Літньому саду надавали фонтани з басейнами, виконані в стилі бароко. Особливо урочисті асамблеї супроводжувалися ілюмінацією і феєрверками на Неві.
Південна част парку, називалася Другим Літнім садом і використовувалася в господарських цілях. Там знаходилися: теплиці, оранжерея, скульптурна майстерня, інші господарські споруди. У «царському городі» було висаджено фруктові дерева, на грядках вирощували овочі і різні «кухарські трави», в ставку розводили коропів.
В саду був збудований Літній Палац - перший палац Петра I в Харкові. Спочатку він був дерев'яним, але в 1712 році був перебудований в кам'яний, за проектом архітектора Доменіко Трезини. Будівля відрізняють простота і строгість форм, чіткість планування, скромність декоративного оформлення. Інтер'єри були прикрашені ліпниною, декоративними розписами, на стінах, драпірованих дорогими тканинами, розвішені живописні полотна. Літній палац Петра I зберігся до наших днів.
У Літньому саду був пташник з різними рідкісними птахами, побудований за малюнками архітектора Леблона.
У 1720 році зводиться павільйон «Грот», в головному залі якого знаходився фонтан «Нептун» і орган, що звучить за допомогою води.
Після смерті Петра I, настає епоха палацових інтриг і переворотів, при нових правителів в Літньому саду більше не проводяться пишні прийоми та асамблеї.
Вигляд саду змінився при правлінні Імператриці Катерини II. Повені 1777 року принесло великої шкоди Літньому саду, стихія зруйнувала фонтани, павільйони та альтанки, багато скульптур були перекинуті, а дерева повалено. Після цього повені за указом Катерини II, всі павільйони, крім Грота, лабіринти і фонтани були розібрані.
У 1784 році за проектом архітекторів Ю.М. Фельтона і П.Є. Єршова, з боку Неви зводиться огорожа, що стала архітектурним шедевром світового значення.
У XIX столітті Літній сад набуває вигляд пейзажного парку, хоча регулярне планування в ньому залишається. Оспіваний у віршах Олександра Сергійовича Пушкіна, Літній сад тепер улюблене місце прогулянок і зустрічей городян, серед яких великі і знамениті поети, письменники, композитори.
У 1826 році на місці павільйону «Грот», був побудований «Кавовий будиночок» за проектом архітектора К. І. Россі.
У 1838 році навпроти Інженерного замку, в Літньому саду встановлюють порфірова вазу, яка балу подарована шведським королем Карлом XIV імператору Миколі I. Вазу виготовили на королівській мануфактурі в місті Ельфдален, звідки її назва «Ельфдальская ваза».