Основу фондів Історичної бібліотеки склала приватна бібліотека відомого московського громадського діяча та колекціонера Олександра Дмитровича Чорткова (1789-1858), створена ним як "Загальна бібліотека Росії". У бібліотеці збиралася як вітчизняна, так і іноземна література з історії Росії, інших слов'янських народів, рідкісні видання. На думку фахівців в першій половині XIX століття це було найбільш цінне в Росії зібрання книг з вітчизняної історії. "Хоча Чортківська бібліотека була порівняно невелика, але до освіти в Імп [ераторской] Публ [ічной] бібліотеці [нині Російська національна бібліотека] відділу" Rossica "вона представляла єдине в Росії цінне зібрання книг про Росію і слов'ян, а за кількістю рідкісних видань служила і служить багата скарбниця. "(Енциклопедичний словник Брокгауза і Ефрона. СПб, 1903. Т.76. С. 698).
У 1838 р був виданий каталог бібліотеки. Бібліотекою А. Д. Черткова користувалися письменники і вчені Росії: В. А. Жуковський, А. С. Пушкін, Н. В. Гоголь, М. П. Погодін, Л. Н. Толстой і ін.
У 1863 р бібліотека була відкрита для громадського користування як безкоштовна загальнодоступна бібліотека. При бібліотеці був заснований і видавався з 1863 по 1873 р один з кращих історичних журналів ХIХ століття - "Російський архів".
З 1872 р Чортківська бібліотека перейшла у відання Московської міської Думи, а з 1875 року її фонд ліг в основу створюваної бібліотеки Імператорського російського історичного музею і тим самим бібліотека придбала загальноросійське значення.
Як бібліотеки Історичного музею вона проіснувала до 1934 р
Основним джерелом комплектування бібліотеки до 1917 р були покупка або отримання в дар, за заповітом великих і цінних колекцій літератури від бібліофілів, істориків, вчених інших галузей гуманітарного знання. За цей період бібліотека поповнилася найціннішими колекціями літератури, що склали гордість вітчизняної культури.
До особливо цінних зібрань можна віднести колекцію М. Д. Хмирова - 1734 томів рукописів, газетних і журнальних вирізок за 1700-1865 рр. придбаних музеєм у спадкоємців збирача в 1873 р
У 1875 році разом з Чортківської бібліотекою Московська Дума передала в Історичний музей бібліотеку зятя А. Д. Черткова - князя А.Н. Голіцина, що складалася з іноземних книг про Росію головним чином періоду 1725-1815 рр.
У 1885 - 1887 рр. в бібліотеку надійшли книжкові колекції професора Д. М. Щепкіна з питань мовознавства, релігії сходознавства; проф. К. К. Герца з історії мистецтва з найдавніших часів по XIX ст. археології - головним чином - древнехристианской, Н. М. Муравйова-Карського з історії військової справи.
У 1887 р спадкоємці передали в бібліотеку велику (понад 40 тис. Т.), Бібліотеку генерал-фельдмаршала князя А. І. Барятинського, що складається з декількох зборів - західно-європейської літератури з історії Росії та слов'янських країн, лінгвістиці, єгиптології, європейських і російських революційних видань та ін.
З кінця ХІХ ст. був налагоджений книгообмін з низкою бібліотек Європи, що також поповнило фонди іноземної літератури.
З 1921 р бібліотека почала отримувати обов'язковий примірник вітчизняної літератури та купувати (пізніше шляхом книгообміну) іноземні книги.
За весь час Великої Вітчизняної війни Історична бібліотека не закривалася для читачів ні на один день. У роки війни діяли філії бібліотеки на станції метро "Курська" Арбатсько-Покровської лінії, в госпіталі № 2939, в Центральному парку культури і відпочинку ім. Горького.
Восени 1941 р найціннішу частину фонду була евакуйована в Кустанай і Шадринськ, в Москву книги були повернуті в 1944 р
У повоєнні роки фонд поповнився книгами, вивезеними з Німеччини. Цінним надбанням цього часу стала колекція видань з історії Громадянської війни та еміграції, подарована бібліотеці істориком-емігрантом Я. М. Лісовим.
У 1950-х рр. в бібліотеці була проведена реформа системи каталогів - за участю найбільших учених-істориків була розроблена оригінальна схема класифікації літератури, на її основі створено систематичний каталог ГПИБ.
У 1984 - 1988 рр. було здійснено будівництво нової будівлі бібліотеки - прибудови до вже існуючої будівлі книгосховища. У семиповерховій будівлі був розміщений знову організований відділ періодики з читальним залом, сховищами газет і журналів. Введення нової будівлі дозволило розвантажити основне книгосховище, яке до цього моменту було сильно перевантажено.
