Калуги, на реке Суходрев, он имел полотняный завод и бумажную фабрику. Петр I, создававший в те времена русский флот, широко покровительствовал Гончарову, вел с ним переписку, присылал ему мастеров из-за границы. Учитывая конъюнктуру, Гончаров расширял свои предприятия. Парусные полотна его фабрик имели большой спрос не только в России, но и за рубежом. По преданию, весь английский флот того времени ходил на «гончаровских» парусах. Особенно наживался Гончаров на войнах. По свидетельству самого Афанасия Абрамовича, на него три раза «шел золотой дождь»; так, он очень разбогател во время войны Франции и Англии за Канаду в 1756—1763 годах и позднее - во время отложения Америки от Англии. Воспользовался Гончаров и возросшим спросом на бумагу — бумага его фабрики считалась лучшей в России.
В Калужском краеведческом музее сохранился до наших дней портрет Афанасия Абрамовича. Неизвестный художник изобразил его уже в пожилых летах. На нем бархатный кафтан. В руке Афанасий Абрамович держит письмо Петра I — его письмами он очень гордился.
После смерти Петра I Елизавета продолжала покровительствовать Гончарову. Она пожаловала ему чин коллежского асессора, дававший право на потомственное дворянство. Впоследствии, в 1789 году, Екатерина II подтвердила это право специальным указом, выданным уже внуку Афанасия Абрамовича— Афанасию Николаевичу, деду Н. Н. Пушкиной.
В конце жизни, не надеясь на то, что его потомки сохранят нажитое богатство, предусмотрительный Афанасий Абрамович решил полотняный завод и бумажную фабрику с прилегающими поместьями превратить в майорат, т. е. неделимое имение, которое должно было передаваться старшему в роде и не могло быть ни заложено, ни продано (все это имение называлось Полотняный завод). В 1778 году такое разрешение было дано, и Афанасий Абрамович сделал соответствующее завещание.Таким образом, Полотняный Завод достался его старшему сыну, Николаю Афанасьевичу, а затем—внуку Афанасию Николаевичу Гончарову (1760—1832).
Но если «талантливый» Афанасий Абрамович целью своей жизни ставил нажить миллионное состояние, то внук его Афанасий Николаевич (несомненно, названный в честь деда, но никак на него не походивший) сумел не менее «талантливо» его прожить и после смерти оставил полтора миллиона долгу...
Дом, построенный дедом на Полотняном Заводе и не отличавшийся изяществом архитектуры, надстраивается, богато отделывается внутри. В архиве Гончаровых сохранилась опись обстановки, посуды и других вещей, в том числе мебель, отделанная бронзой и инкрустациями, люстры фарфоровые и венецианского стекла, дорогие сервизы, фамильное серебро с инициалами Афанасия Николаевича и т. д. Небольшой гостиный гарнитур с Полотняного Завода можно видеть и сегодня в Калужском краеведческом музее.
Парк расширяется, гроты, беседки и статуи украшают его тенистые аллеи, оранжереи, где выращивались даже ананасы. Конный завод, огромный манеж. Бесконечные пиры и празднества, иногда продолжавшиеся по месяцу и более, следуют один за другим. По зимам Гончаровы жили в Москве в собственном доме и вели такой же расточительный образ жизни.
Афанасий Николаевич был женат на Надежде Платоновне Мусиной-Пушкиной (1765—1835). У них был только один сын Николай, в котором они души не чаяли. Николай Афанасьевич (1788—1861) обладал незаурядными способностями: писал стихи, играл на скрипке и виолончели. Унаследовал он от прадеда и его энергию и деловитость. Образование по тем временам он получил блестящее. Николай Афанасьевич в совершенстве знал немецкий, английский и французский языки. Небезынтересно отметить, что среди французов гувернеров был и Будри, родной брат Марата, впоследствии учитель французского языка в Царскосельском лицее во времена Пушкина. Надо сказать, что Николай Афанасьевич, не в пример прочим Гончаровым, хорошо знал русский язык. Обычно он писал старшему сыну по-русски, изредка переходя на французский или английский языки.
В 1804 году Николай Гончаров был зачислен в Коллегию иностранных дел и переехал в Петербург.
Прекрасно образованному и одаренному умом и талантами молодому Гончарову были открыты двери всех великосветских гостиных. Там он встретился с красавицей фрейлиной Натальей Ивановной Загряжской, без памяти влюбился и 27 января 1807 года обвенчался с ней в Петербурге в придворной церкви.
Наталья Ивановна Гончарова (1785—1848) происходила из старинного дворянского рода Загряжских. Отец ее Иван Александрович Загряжский (ум. в 1807 г.), богатый помещик, служил в Петербурге в гвардии; он был женат на А. С. Алексеевой, от которой имел троих детей. По семейным преданиям, когда однажды полк его стоял в Дерпте, он там влюбился в дочь барона Липгардта, при живой жене обвенчался с ней и привез уже с ребенком к первой жене в свое поместье! Вряд ли это достоверно, но так или иначе от этого брака или связи родилась Наталья Ивановна, будущая мать Н. Н. Пушкиной. Молодая баронесса вскоре умерла, а жена Загряжского приняла девочку в свою семью, ничем не отличала от своих детей и впоследствии наравне с остальными оставила ей наследство.
Вскоре после женитьбы Н. А. Гончаров оставляет Петербург и переводится на службу в Москву. Вероятно, это было вызвано необходимостью быть поближе к Полотняному Заводу.
К тому времени давно начавшийся разлад между родителями Николая Афанасьевича достиг решающей фазы: они разъехались. Хотя дела Афанасия Николаевича уже сильно пришли в упадок, однако он не оставлял своих привычек и продолжал вести расточительную жизнь. Надежда Платоновна долго сдерживала сумасбродства своего супруга, но в конце концов не выдержала и в 1808 году уехала с Полотняного Завода и поселилась в собственном доме в Москве. Впоследствии Афанасий Николаевич выделил ей отдельный капитал в 200 тысяч рублей и таким образом навсегда отделался от мешавшей ему жены.
Расставшись с женой, Афанасий Николаевич уехал надолго за границу, и молодой Николай Афанасьевич за несколько лет сумел значительно поправить расстроенные отцом дела. В 1812 году, когда началась Отечественная война, Николай Афанасьевич отвез свою семью к родственникам жены в Тамбовскую губернию, подальше от Калуги, к которой приближался неприятель.
Афанасий Николаевич поспешил вернуться на родину.
Война почти вплотную подошла к гончаровским владениям. На Полотняном Заводе некоторое время стоял сам фельдмаршал Кутузов с войском. Комнаты, в которых он жил, потом получили название «Кутузовских». Неприятель до Полотняного Завода не дошел: под Малоярославцем французы были разбиты наголову, и началось паническое бегство наполеоновских войск из России.
По-видимому, летом 1813 года семья Николая Афанасьевича возвратилась на Полотняный Завод. Вскоре Афанасий Николаевич отстранил сына от управления предприятиями. Старик привез из-за границы любовницу-француженку, и ему нужно было бесконтрольно распоряжаться деньгами. Он требовал от семьи всяческих знаков внимания к своей любовнице. Атмосфера в доме сложилась нетерпимая, и Николай Афанасьевич уехал в Москву, оставив временно семью на Полотняном Заводе. Как долго оставались они там — точно неизвестно. Во всяком случае в начале 1814 года они были еще на Заводе — об этом свидетельствует письмо Николая Афанасьевича к отцу и жене от 20 февраля 1814 года. Интересно отметить, что в этом письме он передает приветы различным гувернерам и гувернанткам — англичанкам, французам и немцам, которых, очевидно, Афанасий Николаевич нанял для воспитания и обучения своих внуков.
С 1814 года начали проявляться у Николая Афанасьевича первые признаки душевной болезни. Трудно сказать, чем была вызвана эта болезнь; семья приписывала это его падению с лошади. Возможно, какая-то предрасположенность к ней была им унаследована от матери, и толчком к ее проявлению послужило отстранение от управления предприятиями. Ряд писем Николая Афанасьевича к отцу свидетельствует о том, как тяжело переживал он свой уход от дел. Так, письмо от 5 мая 1817 года он