Около 30 послевоенных лет Ярославское епархиальное управление размещалось в деревянном доме по адресу ул. Подосеновская (с 1963 - ул. Карабулина), 31. Этот двухэтажный дом с высокими окнами, украшенными резными наличниками, имел вполне представительный вид и вероятно, являлся одним из красивейших "архиерейских домов" России того времени. Но он находился в некотором отдалении от единственного действующего храма Ярославля, Николы на Пенье (носившего громкое название, по закрытой соседней летней церкви, "Феодоровского кафедрального собора").
В середине 1970-х годов представилась возможность перенести архиерейскую резиденцию с епархиальным управлением почти под окна этого храма, и митрополит Иоанн (Вендланд) воспользовался ей. Новый архиерейский дом получился кирпичным, также двухэтажным, но по внешнему виду представлял рядовой барак. Возможно, архитектура здания была продиктована тогдашними властями, мягко говоря, не расположенными к Церкви. В правом крыле первого этажа дома 16 ноября 1977 года митрополит Иоанн освятил Крестовый храм во имя прославленного в октябре того же года святителя Иннокентия, митрополита Московского. Заметка об этом появилась в "Журнале Московской патриархии" (1978, № 11).
Кафедральный собор Ярославля, а с 1977 - и резиденция Ярославских архипастырей располагались на улице, которая долгое время носила имя "главного безбожника Советского Союза", сталинского академика Емельяна Ярославского - и никто не поднимал вопроса об "оскорблении религиозных чувств". Лишь после празднования 1000-летия Крещения Руси улице было возвращено историческое название - Большая Федоровская.