В 1802 году, после второго раздела Польши (1793 г.), Винцентий Потоцкий продал поместья знаменитому родственнику, Станиславу Щенсному Потоцкому (1752–1805), который здесь долго не задержался, хотя успел построить римско-католический костел Св. Юзефа Обручника (1803 г.), — одно из немногих сооружений, уцелевших после грандиозного пожара в Немирове в 1811 году. С 1807 года городом владела знаменитая София Потоцкая (1760–1822), в честь которой был создан парк в Умани («Софиевка»), бабушка графини Марии Григорьевны.
По ее завещанию, Немиров достался Болеславу Потоцкому (1805–1893), сыну «прекрасной фанариотки». Именно при нем в 1840-е в парке построен дворец, по проекту украинского архитектора Ф.И. Меховича (1783–1852). Его запечатлел Наполеон Орда. Центральная одноэтажная часть дворца примечательна ротондой, через которую можно спуститься в парк площадью 85 гектаров. Боковые двухэтажные крылья оформлены протяженными портиками.
К Строгоновым Немиров перешел в 1860-х годах после женитьбы графа Григория Сергеевича на Марии Болеславовне Потоцкой и отъезда ее отца в Петербург после подавления Польского восстания 1863 года.
Как уже говорилось выше, графиня Мария Григорьевна Строгонова в 1879 году вышла замуж за князя Алексея Григорьевича Щербатова. И таким образом два брата Щербатовых одновременно женились на графинях Строгоновых, ибо тогда же графиня Ольга Александровна стала супругой князя Александра Григорьевича Щербатова. Поскольку эта пара проживала преимущественно в имении Васильевское под Москвой, появились «Щербатовы московские» и «Щербатовы украинские».
Понятно, что графини Строгоновы не были между собой родными сестрами, а только двоюродными, родными братьями были их отцы — скончавшийся к тому времени граф Александр Сергеевич (1818–1864) и здравствовавший в Риме граф Григорий Сергеевич (1829–1910). У княгини Марии в феврале 1880 года родился сын Владимир, а в августе 1881 — дочь Александра (Сандра).
Старый дворец в Немирове разобрали в 1880 году. Новый стал строить чешский архитектор Иржи Стибрал (1859–1939). В центре его находится Большой зал. Кроме того, были библиотека и часовня. К ней примыкал партерный французский парк. Террасы спускались к реке.
Княгиня Мария Григорьевна много сделала для Немирова. В нем был построен рынок, электростанция, проведено электричество. Перед мировой войной составлялись планы строительства трамвайной линии. Существовала в Немирове и винокурня, учрежденная графом Григорием Сергеевичем в 1872 году и усовершенствованная впоследствии его дочерью.
С началом войны семьям своих служащих, призванных в армию, княгиня Щербатова выдавала пособия, достаточные для жизни. В 1914 году она открыла во дворце госпиталь для раненых солдат, те продолжали писать ей, досаждая просьбами, и после окончания лечения.
Эти послания, граничащие иногда по сути с наглыми требованиями, подтверждают мысль некоторых историков о том, что устройство госпиталей во дворцах, а он был устроен и в доме на Невском, не стало актом примирения социальных слоев, а наоборот, сыграло даже роковую роль в усилении социального напряжения на фоне длительной и неудачной войны. Солдатские массы увидели роскошь дворянских гнезд, что вызывало у них чувство зависти.
В 1918–1920 годах в той части Украины, куда входило и Подолье, установилась власть Симона Петлюры, поддерживаемого немцами. Винница даже считалась негласной столицей Украинской Народной Республики. Здесь сформировался последний «оазис капитализма», сюда бежали многие представители буржуазии из восточных областей, захваченных большевиками. Здесь оказалась и вдова П.А. Столыпина, Ольга Борисовна, с детьми, среди которых была Ольга (1895–1920), а также, по всей видимости, Александра (1897–1987) и Аркадий (1903–1990). После убийства Петра Аркадьевича в 1911 году Ольга Борисовна перебралась в Киев поближе к его могиле. Здесь она поселилась у старшей дочери Марии (1885–1985), вышедшей замуж и имевшей свой особняк.
Когда начались волнения, О.Б. Столыпина укрылась у Щербатовых в Немирове. Здесь находилась ее третья дочь, к тому времени, княгиня Елена Петровна, вышедшая в 1915 году замуж за князя Владимира Алексеевича Щербатова, и внучки — Ольга (1915–1948) и Мария (1916–2005). Казалось, укрытие надежное: княгиня Мария Григорьевна, активно занимавшаяся благотворительностью, была уверена в незыблемости своего положения. Кроме чувства психологической уверенности, она имела охранительные документы. Однако бумаги не смогли уберечь ни ее, ни родственников.
В январе 1920 года город заняли части Красной Армии. Затем некий Андрей Лисовый с тремя своими «бойцами», напившись ночью до беспамятства, ворвался во дворец и устроил самосуд. Согласно одной версии, он искал, прежде всего, для расправы Столыпиных, более знаменитых чем Щербатовы. По другому мнению, Лисовый, «двойник» Кузнецова, давно конфликтовал с княгиней Марией Григорьевной и сводил счеты именно с хозяйкой здания. Третьи считают, что он банально требовал от господ водки. Таким образом, не исключено, что напиток, принесший известность городу в XX веке, послужил катализатором преступления.
Ольгу Петровну Столыпину нашли в комнатах и смертельно ранили. В страшных муках она умерла через пять дней. Княгиню Марию Григорьевну, ее дочь Александру и их подругу Марию Гудим-Левкович расстреляли в 300 метрах от дворца, в лесу. По легенде, Щербатову похоронили в близлежащем женском монастыре, который она ранее поддерживала. Свято-Троицкий Немировский монастырь был основан в 1218 году преподобным Мефодием, пришедшим с Афона. На своем веку монастырь пережил набеги татар и противостояние с католической Польшей, пожары и разорение, всегда оставался с народом, отвечая молитвой на людские слезы и боль. По преданию, в XVII веке «сестры монастыря, искусные рукодельницы, вышивали хоругви для войска гетмана Богдана Хмельницкого».
Остальные Столыпины в 1920 году сбежали. Из дома их вывели местные ребятишки, с которыми подружился Аркадий. Чтобы избежать казни, Ольга Борисовна и дети несколько часов пролежали в канаве. Потом местные жители еще пять месяцев, до очередной смены власти, укрывали беженцев. Им удалось уехать после того, как Немиров заняли поляки (до 1939 г. город входил в состав Польши). На поезде Красного Креста Столыпиных отправили в Варшаву. Княжны Ольга и Мария Владимировны Щербатовы в это время также были за границей. К 1922 году Елена Петровна вместе с ними добралась до palazzo Strogonoff в Риме. На следующий год она вышла замуж во второй раз за князя В.Г. Волконского (1895–1973) и дожила до девяноста трех лет (скончалась в 1985 г.), будто использовав непрожитые годы первого мужа и своей сестры.
Судьба дворца Немирова: 7 февраля 1920 года в него прибыл директор Винницкого музея Г.В. Бриллинг, который на следующий день присутствовал на заседании комиссии, выяснявшей количество княжеского имущества. Она состояла из «представителей местной трудовой интеллигенции и ревкомов — местечкового и волостного». Бриллинг потребовал передачи вещей в Винницу, но встретил отказ. По крайней мере, музейщик увидел богатства Строгоновых-Щербатовых и описал свои впечатления: «С
