1863 г. Калиновски подал в отставку по состоянию здоровья, а вскоре присоединился к повстанцам и принял пост начальника Военного отдела в Исполнительном комитете Литвы. Его арестовали в марте 1864 г. и приговорили к смертной казни, которую заменили десятью годами каторги «во глубине сибирских руд». Это было время глубокой религиозной перемены в нем.
Отбыв каторгу и ссылку, не имея возможности жить на родине, Юзеф Калиновски выехал в Париж, затем в Австрию, где в 1877 г. вступил в Братство кармелитов, приняв монашеское имя Рафал. Пять лет спустя он был рукоположен в сан священника и избран приором монастыря кармелитов в местечке Черная близ Кракова: «На прочном фундаменте молитвы и самоотречения, он воспринял апостольскую миссию, направленную на духовное освобождение своих угнетенных сограждан, в то время как они боролись за политическое и религиозное освобождение. Он оказал сильное влияние на возрождение польских кармелитов. Особое значение он придавал таинству покаяния, фактически, он провел так много времени, выслушивая исповеди, что в итоге был назван «мучеником исповедальни». Он умер в Вадовицах 15 ноября 1907 г.
В ноябре 1991 г. папа Иоанн Павел II канонизировал отца Рафала Юзефа Калиновского — «воплощение польского патриотизма и католицизма». Так в историческом списке брестского гарнизона наряду с генералами, писателями и героями войн появился свой святой — покровитель военных).
Царство Польское было переименовано в Привислинский край, последние остатки местной автономии упразднены, польский элемент выведен из администрации.
В Брест-Литовской крепости в качестве постоянного гарнизона появился крепостной пехотный полк, для размещения отдельных его подразделений пришлось приспособить здание арсенала. На своем месте в бывшем монастыре бригиток осталась арестантская, теперь уже военно-исправительная рота. В апреле 1863 г. специальным императорским указом в армии отменили «прогнание» через строй и шрицрутены. Однако штрафники могли быть подвергнуты телесным наказаниям «в объеме» не более 50 розог.
Во время подавления январского восстания в крепости содержались «бунтовщики», например комиссар Подляшского отряда Роман Рогински. Здесь же приводились в исполнение смертные приговоры. Виселица во дворе тюрьмы, прозванной в народе «Бригитки», стояла на протяжении 30 лет. Гарнизон крепости ввиду слабой подготовки в боях с восставшими участия не принимал в отличие от квартировавших в Бресте частей 3-й пехотной дивизии: 11-го пехотного Псковского генерал-фельдмаршала князя Кутузова — Смоленского полка и 32-го Донского казачьего полка. Командир последнего полковник Г.А. Леонов имел отличия «за усмирение польского мятежа» и исполнял обязанности Брестского уездного военного начальника.
В 1867 г. гарнизон крепости состоял из одного генерала, двадцати штаб-офицеров, семидесяти девяти обер-офицеров, тридцати двух классных чинов, двух священников. Здесь находились 3588 нижних чинов и 672 арестанта. Управление было представлено комендантом «по полевой пешей артиллерии» генералом И.Е. Штаденом, «состоявшим по армейской пехоте» полковником А.П. Борисовым, плац-майором и двумя плац-адъютантами.
Крепость уже не вполне соответствовала своему назначению. На вооружение была принята нарезная артиллерия, дальнобойность, точность и разрушительное действие которой значительно превышали возможности гладкоствольных пушек. Это нужно было учитывать при строительстве фортификационных сооружений. Поэтому в 1862 г. директор Главного инженерного управления генерал-адъютант Э.И. Тотлебен представил военному министру Д.А. Милютину записку, в которой предлагалось завершить строительство крепостных укреплений в европейской части России и обеспечить их дополнительными мерами защиты от огня, особенно навесного. В частности, Тотлебен указывал на то, что высокие каменные казармы и многоярусные башни являются отныне лишь хорошими целями, неспособным эффективно противостоять осадной артиллерии, и рекомендовал прикрывать каменные постройки гласисами, разбирать верхние ярусы казематов и укрывать их толщей земли. Для реализации этих задач генерал предлагал в течение 16 лет выделять до 3 миллионов рублей ежегодно. Предложения Тотлебена рассматривались в особом комитете. Денег в империи не хватало, поэтому комитет постановил новых работ в крепостях не предпринимать, а ограничиться приведением в исправность и готовность существующих сооружений. Таким образом, в соответствии с этим решением все русские сухопутные крепости оставались в недостроенном виде, с высокими каменными постройками, неприкрытыми от разрушительного действия нарезной артиллерии.
Тем не менее с весны 1864 г. началась скромная по масштабам, поэтапная реконструкция Брест- Литовской крепости. В этот период дополнительными казематами был укреплен главный земляной вал, насыпаны внутренние траверсы, построены два пороховых погреба на 5000 пудов каждый, укреплены булыжными камнями берега Буга и Мухавца.
В 1864–1868 гг. по проекту Э.И. Тотлебена в горже I и III бастионов Кобринского укрепления были возведены Западный и Восточный казематные редюиты. Каждый редюит состоял из контрэскарповой галереи подковообразной формы, рва и вала, в котором размещались двухъярусная казарма, цейхгауз, два пороховых погреба, пекарня, кухня и столовая для нижних чинов. Ров перекрывался капонирами «для ружейной обороны». Гарнизон укрепления состоял из батальона пехоты
Восточный редюит занял место снесенной Тринитарской казармы. Позади редюитов вдоль правого рукава реки Мухавец были Вход в каземат Западного редюита, возведены две отдельные батареи, прикрывавшие северную часть оборонительной казармы Цитадели.
Для обеспечения необходимыми стройматериалами в 1867–1868 гг. на эспланаде Кобринского укрепления к северо-западу от Александровских ворот был посажен строевой лес, а в деревне Гершоны вновь построен кирпичный завод, на этот раз казенный.
Ежегодно в ноябре — декабре на стол генерал-инспектора по инженерной части ложился подписанный начальником инженеров Варшавского округа «Генеральный план Брест-Литовской крепости» с отчетом о выполненных и планируемых работах. Крепостная позиция неуклонно усиливалась и усложнялась.
В конце 1860-х гг. севернее крепости проложили железную дорогу Москва — Варшава, насыпь которой образовала мертвую зону перед Кобринским укреплением. Для контроля за этим участком в 1869 г. было начато сооружение передового укрепления «Граф Берг» и крупной земляной батареи. Это был первый форт Брест-Литовской крепости, вынесенный на расстояние 850 метров от главной оборонительной линии. Форт, пятиугольный в плане, состоял из контрэскарповой галереи на напольном и боковых фасах, рва и главного вала, в котором размещались два фланговых капонира, двухэтажная казематированная казарма, соединявшаяся с капонирами аппарелями. В горжевой части находились полукапонир, два пороховых погреба и кухня. Основные строительные работы были завершены в 1872 г. Мощеная дорога связывала форт с Кобринским укреплением через Александровские ворота, которые были переименованы в Белостокские. Тогда же в крепости углубили и расширили рвы, устроили в них капониры, перестроили
