В 1784 году Екатерина II дала согласие на строительство у заставы каменного тюремного замка на месте существовавшего там деревянного острога. К письму, санкционировавшему строительство, прилагался план тюрьмы, в котором было видно явное екатерининское влияние: среди прочих присутствуют указания на устройство «комнаты книгодержателя», разделение арестантов по полу, по приговору (следственные, осужденные, ссыльные), по сословию (дворяне — отдельно).
Тюремный комплекс спроектировал великий зодчий Матвей Федорович Казаков. По замыслу архитектора замок состоял из 4 башен (которые сохранились и функционируют до настоящего времени), соединенных между собой тюремными стенами. Башням тюрьмы дали имена – Пугачевская, Северная, Полицейская и Часовая.
По проекту М.Ф. Казакова реконструированный Губернский тюремный замок представлял собой каре с большими внутренними помещениями со сводчатыми потолками, затем производились достройки тюремных башен, по двум противоположным сторонам были возведены стреловидные здания, соединённые переходами с основным квадратным корпусом. Затем, в связи с изменением назначения зданий и введением тюремного режима производились внутренние перепланировки в сторону увеличения или уменьшения площади отдельных камерных помещений, возводились кирпичные перегородки.
В центре ансамбля в честь праздника Покрова Пресвятой Богородицы была воздвигнута тюремная церковь со звонницей, на втором этаже которой имелись вместительные балконы, соединенные с коридорами тюремных корпусов: сюда заключенных выводили из камер на богослужение.