У 1718-1720 рр. керівники Таємної канцелярії називалися «міністрами», на початку 1720-х рр. - «суддями», іноді їх називали «інквізиторами». Формально все четверо «міністрів» були рівні, проте головним серед них, безумовно, був П.А. Толстой. Допомагав їм штат був вельми нечисленний: секретар, 6 канцелярських службовців і необхідну кількість заплічних справ майстрів. Таємна канцелярія стала першим у вітчизняній історії вузькоспеціалізованим органом, цілком зосередитися на питаннях політичного розшуку і ні на які інші сторонні справи не відволікали.
У 1722 р в роботі Таємної канцелярії перестав брати участь І.І. Бутурлін, а з наступного року і Г.Г. Скорняков-Писарєв. Таким чином, в останні три роки її існування органом політичного розшуку в новій столиці керували удвох П.А. Толстой і А.І. Ушаков. Перший обтяжувався нав'язаної йому Петром роллю заплічних справ майстри і вишукував лише слушний привід, щоб відмовитися від посади інквізитора. В кінці царювання Петра йому вдалося переконати государя видати указ про те, щоб Таємна канцелярія знову присилаються ув'язнених і справ більше не приймала. Однак щось у той раз не склалося, і остаточно переконати закрити підпорядковане йому відомство Толстому вдалося лише вдову Петра I. 28 травня 1726 р Катерина I підписала указ, що скасовувала Таємну канцелярію і передавав всі її справи в Преображенський наказ, який знову ставав єдиним органом державної безпеки української імперії.
Потреба мати політичний розшук і в Харкові спонукала Катерину I вже в травні 1727 р залучити до вирішення цього завдання Сенат, який, діючи паралельно з Преображенським наказом, повинен був розслідувати злочини проти держави, яких припустилися в Північній столиці і найближчих до неї губерніях. Коли під час короткочасного правління Петра II, сина царевича Олексія, в 1729 р було ліквідовано Преображенський наказ, то розгляд всіх політичних злочинів було доручено двом вищим органам - Верховному таємного раді і Сенату. Однак затія ця була явно непродуманої, і діяльність обох органів, швидко завалених справами про «слові і справі государевому», була частково паралізована. Уже влітку 1729 року стали надходити скарги, що через ліквідацію Преображенського наказу «в Сенаті в справах утруднення відбувається». Зі смертю Петра II в 1730 р припинилася чоловіча гілка династії Романових, в країні виникла гостра династичний і політична криза. На український престол в кінцевому підсумку була обрана племінниця Петра I Анна Іванівна, що жила в Курляндії. Скориставшись ситуацією, що склалася, Верховна таємна рада, до якої входили представники старої і нової аристократії, зробив кроки до запровадження вУкаіни конституційної монархії і зажадав від нової імператриці підписати «кондиції», що істотно обмежують її владу. Однак злякався погроз встановлення влади олігархії дворянство виступило проти Верховного таємного ради, і, спираючись на його підтримку, Анна Іванівна розірвала підписані нею кондиції і жорстоко розправилася з їх «верховниками».