Формування садибного комплексу відбувалося в першій половині XVIII століття при Опанаса Абрамовича Гончарова - прапрадіда Н. М. Гончарової-Пушкіної. Головна особливість цієї садиби полягала в тому, що вона була сформована на території з промисловим комплексом, де з корпусами парусно-полотняній і паперової мануфактури органічно поєднався дворцеподобний будинок Гончарових, церква Спаса Преображення, Кінний двір, парки. оранжерея, ставки та інші об'єкти.
Головний садибний будинок був побудований в 30-х роках XVIII століття. На жаль, не збереглося документів, з яких можна було б дізнатися ім'я його архітектора, але існує припущення, що їм міг бути великий Б. Растреллі. Спочатку будинок мав всього два поверхи, був темно-червоного кольору з білими деталями пишного барокового декору. У 40-50-х рр. він був перефарбований в лазуровий колір, а в 70-х рр. перебудований в стилі пануючого тоді в архітектурі класицизму. Перебудова будинку здійснювалася за проектом московського архітектора К.І. Бланка. До кінця XVIII століття це був триповерховий будинок світлого кольору з ризалітами по основним фасадам. Саме таким бачив цей будинок в 30-х рр. XIX століття приїжджав в Полотняний Завод А.С. Пушкін. Садиба Гончарових була однією з найбільш великих за розмірами і найбільш багатих по оздобленню російських садиб.
У 1918 р головний будинок садиби був націоналізований, а предмети обстановки відправлені на зберігання в Калузький губернський історичний (нині краєзнавчий) музей. Протягом декількох десятиліть радянської влади в будинку знаходилася середня школа, а також діяли курси для підвищення кваліфікації працівників паперової промисловості.
Відкриття виставки «Там, на невідомих доріжках ...» - виставка робіт з пап'є-маше С. Растокіна (п.Полотняний Завод)
