Церковь занимала два нижних этажа в восточной части дворца. Согласно источникам, церковь эта была устроена в качестве домового храма во имя святых апостолов Петра и Павла внутри Архиерейского дома около 1787 года. Само же здание было построено на несколько лет раньше, в 1775-1776 годах, на месте старых архиерейских покоев, которые были разгромлены толпой во время чумного бунта 1771 года. Поскольку московские архиереи, по указу Синода, проживали в специально отведённых для них палатах в Кремле на территории Чудова монастыря со времени учреждения в 1742 году Московской Епархии, императрица Екатерина II выделила 40 тысяч рублей на постройку дома для возведённого ею в сан митрополита архиепископа Платона.
Архитектор Матвей Казаков, приглашённый для этого строительства, расположил Архиерейский дом в углу участка, который примыкал к территории Чудова и Вознесенского монастырей. Под его руководством было возведено двухэтажное здание. По архитектуре оно представляло собой образец классицизма, скромно декорированный и простой в исполнении. Именно в таком виде оно и стало первым сооружением в Кремле, построенным в этом стиле. В нём имелась обязательная, характерная для этого стиля, полуротонда с четырьмя колоннами. Такое решение архитектор предложил для украшения центрального угла здания, который выходил на площадь. Сверху был добавлен невысокий аттик, украшенный гербом из лепнины. Опоясывала это всё открытая галерея. Заданный ритм колонн портика был продолжен лопатками, которые разделяли оба фасада на всю их высоту. Верхний ряд окон был украшен наличниками с лепными барельефами, они же служили украшением и простенков между ними.
После кончины митрополита Платона в 1812 году Архиерейский дом на несколько лет «осиротел», а в 1817 году был передан в дворцовое ведомство. Его приспособили под кремлёвскую резиденцию великого князя Николая Павловича, который часто останавливался в этом дворце с семьёй. Именно здесь родился в 1818 году его сын, будущий император России Александр II. В 1824 году над зданием был надстроен из дерева и обложен кирпичом третий этаж. А с 1831 года комплекс стали именовать Малым Николаевским дворцом.
В 1870-х годах, во время реставрации Малого Николаевского дворца архитектором Шохиным, третий этаж полностью обновили, заменив его деревянные конструкции каменными. Одновременно он был стилизован под единые формы классицизма, приданные ему ещё Казаковым.
Во время революционных боев 1917 года большевики вели огонь по Кремлю. В результате этого артиллерийского обстрела здание Малого Николаевского дворца очень сильно пострадало. В 1929 году Малый Николаевский дворец был разобран в одно время с Чудовым и Вознесенским монастырями. Место было освобождено для строительства на этой территории здания Военной школы им. ВЦИК. В настоящее время занято службами комендатуры Кремля и Администрации Президента РФ.