Некоторые даже полагали, что Марья Ивановна на старости тронулась умом. В 1798 году ее молодые родственники Александр Каховский и его брат по матери Алексей Ермолов составили в Смоленске заговор против императора, привлекли к нему друзей, собрали тайком порох и спрятали его в имении Розенбергши. Она отлично понимала, что в ее доме происходит что-то необычное, но не возражала, хотя была многим обязана Павлу I, позволившему ей узаконить ребенка. Заговор не удался, Каховский с Ермоловым попали в крепость, Марья Ивановна не пострадала. Однако с собственными детьми ее отношения разладились совершенно.
В конце июня 1792 года у молодых Грибоедовых родилась дочь Мария, крестными которой стали счастливая бабушка Прасковья Васильевна и дядя Николай Яковлевич Тиньков. Настасья Федоровна сама кормила дочь, как это стало модно под влиянием книг Руссо. Великий романист и философ очень хорошо рассуждал об обязанностях родителей, даром что своих детей отдавал воспитывать на отдаленную ферму. Но судьба его отпрысков никого не интересовала, зато романами зачитывались все.
Жизнь малышей, родившихся в 1790-е годы, была приятнее, чем у их дедов и отцов. Они рождались, не искореженные корсетами матерей. И самих их не приучали с младенчества к корсету, не обряжали с двух лет в кринолин или треуголки. Им позволяли развиваться естественно, по возможности — на лоне природы, вдали от нездоровых испарений города.
Имея маленькую дочь, Настасья Федоровна желала поселиться в деревне. Но в Хмелитах она не могла остановиться. Алексей Федорович к тому времени перебрался в Петербург, поручив дочь заботам Одоевских, а в имении затеял переделки в новом стиле. Жить там было пока невозможно. В 1794 году Грибоедова купила на свое имя за девять тысяч рублей у полковника Я. И. Трусова сельцо Тимирево во Владимирской губернии. В этом она видела единственную возможность сохранить остатки состояния. Ее четыреста душ стремительно таяли. Она не обладала склонностью к экономии, необходимой при ограниченных средствах; в делах совсем не разбиралась и даже не могла объяснить, куда утекло ее приданое. Помимо каждодневных неумеренных трат, муж расплатился ее деньгами с самыми неотложными долгами (по закону имущество супругов считалось раздельным, но на практике это никогда не соблюдалось, если они не разъезжались официально).
Сергей Иванович продолжал играть. Время тогда было не такое, чтобы пренебрегать картами. Играли все, размах был невероятный. Да и развлечений иных не стало. За границу не ездили, служить не хотели и очень многие стремились в отставку; даже войны никакой не шло. Только в Польше Суворов подавил восстание Костюшко и последнюю ее часть присоединил к России. Событие это все отметили как радостное, хотя гордиться было особенно нечем.
Лето 1794 года Грибоедовы провели в Тимиреве, благо дом и хозяйство там находились в отличном состоянии. К зиме возвратились в Москву, где сняли часть дома у П. И. Шушириной, в приходе церкви Успения на Остоженке. Здесь 4 января 1795 года у них родился сын Александр, восприемниками которого стали также бабушка и дядя Тиньков.
Весной 1795 года Грибоедовы вынужденно выехали из дома Шушириной, которая занялась перестройкой его деревянных корпусов. На лето они поселились в Тимиреве, да так и остались там до 1800 года. Детям деревенская жизнь была полезна, но Настасья Федоровна ею тяготилась. Однако делать было нечего, средства совсем не позволяли ей переехать в город. К 1798 году от ее приданого осталось едва шестьдесят душ. Этого могло хватить для простой жизни в провинции, но о Москве приходилось забыть. Сергей Иванович, растратив приданое жены, совсем перестал оказывать ей внимание, а только играл и пил. Грибоедова попробовала прибегнуть к помощи брата, желая найти мужу полезное занятие и тем удержать во Владимире. Ее супруг ни в чем не принимал участия, ни разу не был даже на дворянских выборах, всякий раз отсылая положенный послужной список и всякий раз отказываясь приехать в собрание под предлогом болезни. Так и в декабре 1799 года он сказался больным и не прибыл на очередные выборы, что не помешало ему в январе укатить в Москву, несмотря на тяжелую болезнь отца. Но в его отсутствие Алексей Федорович, по тайному сговору с давним своим приятелем и сослуживцем Павлом Степановичем Руничем, бывшим тогда владимирским губернатором, убедил губернское дворянство избрать зятя в депутатское собрание — причем от Вязниковской округи, где тот никогда не бывал и поместий не имел. После разгульного времяпрепровождения в Москве, где он дни и ночи играл в банк, Сергей Иванович вернулся во Владимир и был неприятно поражен тяжким состоянием отца и приказом губернатора немедленно явиться для исправления должности.
Но Грибоедов был, когда хотел, тверд. Тотчас он послал в собрание записку, настаивая на своей болезни и требуя врачебного освидетельствования. Присланного врача владимирской управы Невианда он убедил найти у него серьезное недомогание, и тот показал, что Грибоедов «по застарелой цинготной болезни не только оной, но и никакой другой должности исправлять не может». Лекарь едва ли сумел бы объяснить, как можно довести себя до цинги, тем более «застарелой», не на корабле в кругосветном плавании, не в голодном крае, а в сельской России, на простой и здоровой пище. Но опровергать его диагноза не стали, съесть несколько лимонов Грибоедову не посоветовали, а просто махнули на него рукой, от должности отстранили, и впредь семья и друзья его жены о нем не думали и никогда не поминали.
Единственным утешением Настасье Федоровне было общение с сестрой Лачиновой, небогато жившей во Владимире и родившей в 1795 году дочь Варвару. Сестры не смогли даже побывать на свадьбе брата, после нескольких лет рассеянной жизни женившегося вновь — на соседке, Анастасии Семеновне Нарышкиной.
Женившись на Нарышкиной, Алексей Федорович попал в очень знатное семейство. Нарышкины были в родстве с царями, а отец Анастасии Семен Васильевич и ее дядя Алексей Васильевич пользовались расположением покойной императрицы. Оба были не только богаты и в высоких чинах, но превосходно образованы, писали стихи. Во время путешествия Екатерины по Волге, когда государыня со свитою взялась от скуки переводить роман Мармонтеля «Велисарий», Алексей Васильевич перевел две его главы. Позже он стал членом Императорской российской академии. У него детей не было, а дочери Семена Васильевича получили лучшее воспитание, говорили по-французски и итальянски, могли читать по-немецки и даже по- английски, пели и музицировали. Анастасия Семеновна внесла в московскую семью Грибоедовых петербургский великосветский тон, который немного задевал сестер Алексея Федоровича.
В первый год после свадьбы Алексей Федорович привез молодую жену в Хмелиты и остался там на зиму, поскольку своего дома в Москве теперь не имел, снимать не хотел, а купить или уехать на сезон в Петербург не мог — его начинали донимать кредиторы. Приходилось изворачиваться, перезакладывать деревни, выжимать деньги с оброчных крестьян. Наследство, доставшееся ему от отца, было значительно уменьшено выплатой приданого сестрам. Долги же, как и расходы, выросли. Но не только долги удерживали Алексея Федоровича в провинции. На престол в 1796 году взошел император Павел — и жизнь дворян