Стоит ли удивляться, что в печать это стихотворение долго не могло попасть. А. К. Толстой попытался опубликовать его в 1859 году, но оно было не пропущено цензурой. Балладу «Богатырь» удалось напечатать только в 1867 году, когда система винных откупов уже отошла в прошлое; она была отменена в 1861 году.
Постепенно в литературных кругах имя Алексея Константиновича Толстого становилось известным. Как уже говорилось, его стихи в печати не появлялись, но он охотно читал их при всяком удобном случае и в благожелательной аудитории. Большое значение для его становления как поэта сыграла четырёхмесячная командировка в Калугу в середине 1850 года. А. К. Толстой был причислен к комиссии сенатора В. Д. Давыдова, на которую была возложена ревизия дел в Калужской губернии, поскольку на губернатора Николая Михайловича Смирнова (мужа Александры Осиповны Смирновой-Россет) поступали многочисленные жалобы и обвинения в лихоимстве. Например, сын генерала Ершова обвинял губернатора в том, что под его нажимом отец совершил дарственную своей дочери Софии, бывшей замужем за Аркадием Россетом, братом жены губернатора, и этим лишил его наследства.
Однако все подобные доносы оказались несостоятельными, и репутация губернатора Смирнова не пострадала в глазах общества. Губернаторша Смирнова-Россет сумела на время сделать Калугу интеллектуальным оазисом. Она следовала советам Гоголя, с которым переписывалась; одно из своих писем к ней Гоголь включил в книгу «Выбранные места из переписки с друзьями», озаглавив «Что такое губернаторша». Несколько раз Гоголь был её гостем. Его очередной приезд в Калугу совпал с пребыванием там Алексея Толстого. Молодой поэт встретил нового Гоголя; он уже не был прежним простодушным весельчаком, легко откликавшимся на шутку и делившимся многочисленными юмористическими воспоминаниями. Гоголь стал немногословным и всё чаще вдавался в проповеднический тон, не говорил, а вещал. Однако и сейчас его можно было расшевелить; Гоголь заметно оживился, когда речь зашла о народных песнях, которые назвал «редкими самородными перлами» и даже спел две украинские народные колыбельные:
И другую:
А. К. Толстому он сделал своеобразный подарок, продекламировав ему песню:
Эта песня впоследствии вошла в текст романа «Князь Серебряный», первые главы которого в те годы уже были написаны Толстым. По-видимому, Алексей Константинович читал их в губернаторском доме. Смирновой-Россет он подарил тетрадь своих стихотворений.
Влияние Гоголя сказалось и по-иному. При разъездах по губернии А. К. Толстой не раз останавливался в Козельске и пешком ходил в Оптину пустынь. Три версты — незначительное расстояние для бывалого охотника. Монашеская жизнь и монастырская «уставность» были излюбленной темой разговоров Гоголя. В Оптиной пустыни Алексей Толстой всё это наблюдал воочию, и его заметы также легли на страницы «Князя Серебряного».
Впрочем, в Калуге А. К. Толстого занимала не только литература. О своём житье-бытье там он впоследствии вспоминал: «В 50-м году, 19 лет тому назад… я в окрестностях Калуги отправился вместе с Клементием Россетти (братом Смирновой-Россет. — В. Н.) в лес, чтобы присутствовать при расцвете папоротника, но Россетти так напугала какая-то белая тень, перебежавшая нам дорогу, что он не пожелал идти дальше. Это было в те времена, когда его сестра, княгиня Ольга Оболенская, произвела на меня сильное впечатление, сильное настолько, что однажды я чуть было не утонул во время купания, когда она вдруг появилась верхом на ослике. Древняя история!» Больше ничего не известно об этом очередном минутном увлечении молодого поэта.
В целом же Калуга произвела на Толстого гнетущее впечатление. Все язвы тогдашней провинции были перед глазами: суды долгие и неправедные; раздающая направо и налево обывателям зуботычины полиция; живущее по правилу «не обманешь, не продашь» купечество; и всё это на фоне оскудения дворянства и нищеты деревни. Даже в доме губернаторши самые оживлённые дебаты велись о заготовках квашеной капусты: поручить рубить её дворовым девкам или просить начальство прислать из городского острога арестантов. От всего вокруг поэт впадал в безысходное уныние.
Утешить А. К. Толстого могло разве то, что за время его «калужского изгнания» мать приобрела имение под Петербургом. Усадьба звалась Пустынька. Главный дом стоял у обрыва; внизу протекала быстрая река Тосна. Спуск к ней шёл почти по отвесному склону, где ближе к берегу были пещеры; некоторые протяжённые и с частыми разветвлениями. По-видимому, некогда в одной из этих пещер обитал монах — отшельник (или пустынник), поэтому местность и получила такое название.
Литератор Александр Никитенко гостил здесь два дня в мае 1867 года. В дневнике он записал:
