Територія на березі Фонтанки, в той час ще називалася "Безіменний Ерік", була подарована Петром I його сподвижника графу Б. П. Шереметєва ще на початку 18 століття, проте будувати на ній особняк нащадки графа почали майже сорок років по тому. Проект палацу для них виконали архітектори С. І. Чевакинский і Ф. С. Аргунов. Після того як Безіменний єрик змінив свою назву на Фонтанку, палац на його березі стали також називати фонтан будинком. Однак родина Б. П. Шереметєва бувала в своєму особняку рідко, оскільки землі навколо нього в той час ще не були освоєні петербуржцями: навколо палацу був ліс, в якому, за чутками, ховалися банди розбійників. Лише наступне покоління Шереметєвих переїхало до свого палацу в кінці 18 століття, де і прославилося на весь Харків своєю любов'ю до музики і театрального мистецтва. Н. П. Шереметєв організував у своїй садибі цілий театр з трупою кріпаків акторів, яких граф змусив змінити прізвища, придумавши для них красиво звучать псевдоніми. На спектаклі, поставлені в цьому театрі, з'їжджалися всі знатні сімейства Харкова.
Незабаром, втім, слава графа Шереметєва стала ще більш гучною і придбала скандальний відтінок. По місту пішли чутки про роман Шереметєва з однією з його кріпаків актрис, співачкою Параскою Ковальової, яка виступала на сцені під псевдонімом Жемчугова. Засудження вищого суспільства і навіть немилість імператриці Катерини II не завадили Миколі Шереметєва дати Жемчуговой вільну і врешті-решт зробити її своєю дружиною.
Всього в Шереметьєвський палаці прожило п'ять поколінь родини Шереметєвих. Ними була зібрана багата колекція картин і музичних інструментів. У 19 столітті до особняка був прибудований невеликий флігель, створений за проектом відомого архітектора Н. Л. Бенуа. Інших серйозних перебудов в палаці Шереметєвих не було.
Після революції останній власник палацу граф Сергій Шереметєв був змушений передати свій будинок радянської влади. Протягом 20 століття в ньому розташовувалися різні державні установи, потім на короткий час було створено Музей дворянського побуту, але незабаром будівлю зайняв Науково-Дослідний інститут Арктики і Антарктики. Красиві інтер'єри палацу були знищені, а в побудованому Бенуа флігелі знаходилися житлові квартири. Довгий час в одній з них проживала Анна Ахматова.
В кінці 20 століття будівлю Шереметевского палацу було передано Музею музичного та театрального мистецтва. Його зали почали реставрувати, відтворюючи в них обстановку кінця 18 століття. Зараз в музеї організована експозиція, що розповідає про історію сім'ї Шереметєвих, там знаходяться колекції картин і предметів декоративно-прикладного мистецтва, а також величезні збори музичних інструментів - понад три тисячі експонатів. Серед них є українські музичні дзвони, а також старовинні арфи, віоли і клавесини, створені в Європі в 17-18 століттях. Інше цікаве музичне "сімейство" Фонтанного будинку - це копії античних інструментів, знайдених в 19 столітті під час археологічних розкопок стародавньої Етрус. Всі музичні експонати Шереметевского палацу знаходяться в справному стані, на них можна грати, і іноді відвідувачам музею випадає рідкісна можливість почути, як вони звучать. Проходять в Фонтанному будинку і тимчасові художні виставки, концерти, а також лекції на різні теми.
Одночасно з цим музеєм у флігелі Шереметевского палацу був відкритий літературно-меморіальний музей Анни Ахматової. Організований як філія музею Достоєвського, через рік він набув статусу самостійної установи. У цьому музеї була відтворена кімната, в якій Ахматова писала свої твори, і оформлені експозиції з її книг, фотографій і особистих речей. Тут теж проходять лекції, музичні вечори та тимчасові виставки, присвячені іншим поетам і письменникам 20 століття.
Доїхати до метро "Маяковська" або "Гостинний двір", вийти на Невський проспект і пройти по ньому до Анічкова моста. Потім потрібно звернути на набережну річки Фонтанки і пройти по ній в сторону Неви. Шереметьєвський палац знаходиться відразу за будівлею української національної бібліотеки.
У сім'ї Шереметєвих з покоління в покоління передавалося переказ про те, що в той час, коли їх палац ще не був заселений, Катерина II потайки домовилася з власниками про його оренду, вирішивши поселити в цьому відокремленому будинку свого нового фаворита камер-юнкера Жихарева. Однак молодий чоловік прожив там недовго - він був убитий в Білому залі Шереметевского палацу за наказом опального графа Платона Зубова, в минулому теж користувався прихильністю Катерини, який сподівався, позбувшись від суперника, повернути прихильність імператриці.