Вскоре после истории с управляющим на о. Илариона была возведена возмутительная клевета, что будто бы он проводит в своих пещерах беспорядочную и безнравственную жизнь. Вследствие этого доноса, подвижник был отослан в Петропавловскую пустынь, что под Раненбургом, для отбывания в ней шестимесячной эпитимии. Когда же положенное время истекло, то возвратиться в пещеры было уже нельзя: они не существовали, а здоровье о. Илариона было уже значительно расшатано.
Отец Иларион продолжал зиму и лето ходить в холщевом халате и без обуви, но для подкрепления стал употреблять чай с белым хлебом. От шести лет жизни в сырых пещерах начались страдания ревматизмом в голове и в теле. Он поселился теперь в селе Каликине, но пробыл там только два месяца. Отсюда он не надолго перешел в церковную караулку села Головинщины. В это время случилось, что засуха угрожала полным неурожаем соседнему помещику с. Карповки, кн. Долгорукову. Он письменно просил молитв о. Илариона. В тот же день обильный дождь прошел над его посевами. Благодарный князь предложил о. Илариону перейти к нему в усадьбу, где его приняли необыкновенно радушно. Сама княгиня обивала сукном пол поставленной для него келлии.
Когда в 1812 году окрестные помещики, узнав о занятии Москвы, хотели уезжать из своих имений, старец убеждал их остаться на месте, молиться и сказал: 'Пусть он взял Москву, на деревне остановится'.
Слова старца сбылись. Вскоре наше победоносное оружие смирило надменного и незванного гостя древней русской столицы.
К 1817 году относится знакомство о. Илариона с юродивым Иоанном, который сделался потом затворником Сезеновским. Иоанн был привезен одною благочестивою женщиною к помещику с. Сезенова, кн. Несвицкому, который был предуведомлен во сне о его приходе. О. Иларион заботился об Иоанне, но также подвергал его и испытаниям, которые тот смиренно переносил. Так, в келлии, которую срубил для затворника князь Несвицкий, Иоанн поставил иконы в виде иконостаса, и отделил его решеткой от остальной части келлии. О. Иларион послал своего келейника с приказом разобрать решетку, и Иоанн спокойно смотрел, как келейник исполнял это поручение.
В другой раз тот же келейник был послан о. Иларионом к Иоанну с таким предупреждением: 'Скоро будет тебе искушение. Во время молитвы в келлии твоей пронесется вихрь. Лампады пред св. иконами закачаются и погаснут, но ты стой твердо и веруй, что Господь не пошлет тебе искушения выше сил. Затем лампадки у тебя зажгутся сами собой. Но ты их так не оставляй, а погаси, потом достань огня из печки и с молитвою опять зажги их'. Все так и случилось. О. Иларион предохранил затворника и от страха и от обольщения.
Между тем, хотя здоровье все слабело, о. Иларион не оставлял своей трудной жизни. По-прежнему и зиму, и лето он ходил в холодном халате и без обуви. Когда в сильные морозы он босой приходил в церковь и становился неподвижен на чугунном полу, то около его ног была заметна оттепель.
Когда князь Долгоруков умер, то дворня опустевшей усадьбы старалась выжить о. Илариона. Молодому князю, жившему постоянно в Москве, они доносили, что на подвижника одной покупной провизии в год выходит на 800 р. Князь приезжал нарочно исследовать эту клевету и, убедившись в ее несправедливости, приказал всячески беречь о. Илариона. Но дворня после отъезда князя стала обращаться с подвижником еще хуже.
Зимою келлии не топили по нескольку дней, или натапливали очень жарко и рано закрывали трубу; не давали пищи; однажды от небрежности случился пожар, и о. Иларион должен был заливать его один без посторонней помощи. Наконец, в 1819 г. он просил почитавшую его семью Сухановых помочь ему переехать и перешел в село Колычево, но и тут должен был переменять несколько раз свое местопребывание.
В последнее время пребывания в Колычеве старец часто живал у помещика Менщикова, который для него устроил в глубоком овраге келлию и обил ее внутри черным сукном. Тут отец Иларион, все слабевший, написал и свое духовное завещание: 'Во имя Отца и Сына, и Святого Духа. Аминь. Боже жизни, у Которого мертвых нет! Все бо нисходящие во гроб к Тебе текут и у Тебя собираются в невидимом мире, — (Тебе живи суть, где тянут веки), куда вход нам неизбежен, исход невозможен. Боже праведный! У Тебя мерило наших дел. Ужасаюся и трепещу, готовяся с часу на час к исходу от сей маловременной жизни предстать на вечное пребывание. И возвращаюсь в землю, от нее же взят был.
Рассудил я все свои тленные вещи представить тленным же людям. Молю и прошу, по кончине дней моих, раздать все мое беднейшее имение самобеднейшим, да нестяжание мое видимо будет там, пред лицем Господа Бога моего. Я виновен против всех, прошу меня простить. А я от всей души моей прощаю всех. Убогий архигрешник Иларион-отшельник'.
В Лебедянском уезде жил в своем поместье Троекурове именитый и богатый человек Иван Иванович Раевский. Это был замечательный человек. Он посвятил всю свою жизнь на служение ближним и церкви; отыскивал бедных и помогал им, жертвовал много на бедные деревенские храмы. Троекуровский помещик Раевский, горячо привязавшийся к о. Илариону, неотступно просил его поселиться в Троекурове. О. Иларион отправился на богомолье в Киев, прося у Бога вразумления. На возвратном пути в дремучем лесу был ему голос: 'Будет тебе ходить! Спасайся на одном месте'. В благоговейном трепете блаженный упал на землю, прославляя милосердие Господа, открывающего волю Свою со смирением молящимся Ему; — о. Иларион тут же дал обет остаться до смерти на месте, на которое благоволил указать ему Господь.
В начале ноября, 1824 года, ранним утром о. Иларион переехал из Колычева в Троекурово в выстроенную для него келлию, состоявшую из трех комнат, украшенных св. иконами и снабженных всем необходимым. Иван Иванович Раевский сам отправился в Колычево за о. Иларионом, который только что за несколько часов до его приезда возвратился из Киева, и лично доставил старца на его новое местожительство.
Когда отец Иларион переехал в Троекурово, ему было пятьдесят лет. Здесь он провел последние 29 лет своей жизни.
Поселясь в Троекурове, о. Иларион, во избежание всяких недоразумений с полицией, приписался к мещанскому обществу г. Лебедяни, а один купец взялся ежегодно вносить за него все повинности.
Комнатка, в которой помещался о. Иларион, была меблирована небольшим угольником и кроваткой с тюфяком и двумя маленькими подушками, покрытыми белою простынею. Холод, которым прежде смирял подвижник свою плоть, теперь стал совершенно невыносимым для него. В келлии его были постоянно вставлены двойные рамы и жарко натоплено. Часто, не взирая на жару, и даже иногда в летнее время он бывал в валенках. Однако и тогда он все теснил себя. Выйдя однажды в чудный весенний день в садик, на солнце, он быстро вернулся и сказал келейнику: 'Хорошо, очень хорошо — пожалуй, и еще захочешь'.
Наружный вид отца Илариона, который с первого раза поражал своею духовною красотою, был таков. Рост его средний, впалая грудь, правильные и тонкие черты лица, темно-голубые глаза и нос с горбинкою. Изнуренное постом лицо было очень худое и прозрачное, чрезвычайной белизны; губы его часто озарялись светлою улыбкой. Волосы были серебристые, длинные, и продолговатая борода.
Вот что говорит одно воспоминание о старце: 'Вид его был как Ангела Божия. Нельзя было даже подумать, чтобы Господь на земле давал такую красоту своим рабам. Ему было уже почти восемьдесят лет, а казался он как в первой юности и редкой красоты. Глядя на него, невольно приходило на мысль: Дивен Бог во святых Своих'. За шесть лет до смерти о. Иларион ослеп, но пред кончиной чудесно прозрел.
В Троекурове старец сумел соблюсти трудную меру: он остался затворником, хоть народ имел к нему доступ, и сам он выходил в церковь.
По его просьбе, в храме стали ежедневно совершаться богослужения. Все нужное для литургии он доставлял от себя. Келейные же его правила состояли в следующем.
Утреннее его правило продолжалось с часу по полуночи до полудня и прерывалось раннею обеднею, — это было непрестанное полусуточное моление. Вечернее же правило шло с третьего до девятого часа. В этом часу он запирался в своей комнате, и ночное его бдение неизвестно, только он говорил своему келейнику: 'Монаху должно спать весьма мало — никак не более четырех часов в сутки, и то после усиленных телесных трудов'.
Литургию он стоял всегда в алтаре, приобщался каждый двунадесятый праздник.
