На южной окраине города в Левобережье можно увидеть каменное трех этажное здание, расположенное между улицами Уклеенской(ныне Толбухина) и Новинской (ныне Ленина.) Это бывший Романов-Борисоглебский тюремный замок. Здание изначально строилось как тюрьма: стены почти метровой толщины, коридорная система, первый этаж полуподвальный. Главный вход расположен с западной стороны в центре, с восточной стороны есть запасной выход. На второй и третий этажи ведут металлические чугунные лестницы. На этажах по обеим сторонам - входы в казематы для арестантов, низкие арочные с толстыми дубовыми дверями. На крыше (в центре) была построена квадратная застекленая вышка, можно предложить, что в ней находился дежурный стражник.

Постройка тюремного замка относится к началу XlX века, но точная дата неизвестна. Впервые он упоминается в 1843 году. Тогда указом Ярославской Духовной консистории был утверждён увещевателем по тюремному замку священник Вознесенской Леонтьевской церкви Семён Александрович Понгильский. Но в сзязи с удалённостью тюрьмы от храма встал вопрос о создании церкви непосредственно в тюремном замке. Бог услышал молитвы арестантов и священнослужителей, и летом 1860 года было получено разрешение на устройство церкви в честь иконы Божией Матери "Всех скорбящих радость" в тюремном замке, для чего было выделено помещение. Сведений о том, когда упразднена тюремная церковь и ликвидирована сама тюрьма, нет.

В Советское время здание оказалось на территории Тутаевской МТС, в последствии "Сельхозтехники". Использовалось оно как жилой фонд, неоднократно переделывалось, перепланировалалось и утратило свой первоначальный вид. До недавнего времени было жилым домом.

С. С. Кошелев "Храмы Романова-Борисоглебска"