Однак же, Лентовський розорився, і сад «Ермітаж» прийшов в запустіння, а в подальшому і зовсім був забудований будинками, і ніщо вже не нагадувало про часи, коли на місці самопливного провулків розташовувалося все це пішло пишність.
У тому ж році в «Ермітажі» з'явилося електричне освітлення, проведено водопровід, облаштований басейн. Роком пізніше тут відбувся один з перших в Росії кіносеансів.
На сцені сад «Ермітаж» співали Ф. І. Шаляпін, А. В. Собінов, А. В. Нежданова, С.В. Рахманінов дебютував як диригент, грали Сара Бренар, Марія Єрмолова, Віра Коміссаржевська. У 1898 році в будівлі театру «Ермітаж» відбулося відкриття МХАТу, першим спектаклем став «Цар Федір Іоаннович», саме тут пройшли прем'єри Чеховських п'єс. В саду бували Л. Н. Толстой, В. І. Ленін.
Щукін постійно робив будівництво нових театральних майданчиків, в 1909 році був побудований літній «Дзеркальний» театр, планував він відкриття унікального зимового театр на 4 тисячі місць, але цього задуму судилося відбутися лише частково: коробка, яка називається нині Щукінське сценою, - все, що вдалося звести. Несприятливі обставини, породжені Першою Світовою війною і революцією, призвели Щукіна до розорення.
Після революції сад «Ермітаж» був спочатку націоналізований,
потім, в період НЕПу переданий у приватну оренду. У будівлі театру «Ермітаж» в 1924 році розташовувався театр МГСПС (Московський Міський Рада Профспілок), потім він був перейменований в театр імені Моссовета, головним режисером був призначений Ю. А. Завадський. Сад «Ермітаж» продовжував бути улюбленим місцем відпочинку москвичів. І навіть глобальні катаклізми не могли цього змінити.Влітку 1945 року сад «Ермітаж» був реконструйований.
в 1948 році побудували літній концертний зал, де в подальшому виступав А. І. Райкін, проходили вистави Лялькового театру, співали К. І. Шульженко, Л. І. Русланова, грав оркестр під керуванням Л. О. Утьосова.До 850-річчя Москви сад змінився на краще, були відреставровані багато історичні споруди.