Канцелярия тайных розыскных дел, более известная как Тайная канцелярия, возникла в начале расследования дела царевича Алексея, хотя указ о ее образовании не найден. 4 февраля 1718 года Петр продиктовал П. А. Толстому «пункты» для первого допроса сына-преступника. Позже именно к Толстому и стала сходиться вся информация по начатому розыску. Вокруг него – типичного петровского порученца – сложился штат приказных новой, но весьма похожей на майорские розыскной канцелярии, хотя до самого переезда в Петербург весной 1718 года ведомство Толстого канцелярией не называлось. Иначе говоря, розыск по делу царевича Алексея поначалу был личным поручением Толстому, точно так же как раньше по заданию Петра А. Д. Меншиков вел Кикинское дело, которое было частью следствия по делу Алексея.
Выбор Петра Андреевича Толстого на роль руководителя розыска по делу царевича можно объяснить тем, что он до этого блестяще провел операцию по возвращению из‐за границы блудного царского сына. В Италии, где Толстой настиг царевича, он сумел уговорить Алексея вернуться домой, причем сделал это не без обмана. Не случайно привлеченный по делу царевича Иван Нарышкин Толстого «называл Иудою, он-де царевича обманул и выманил». После успешной миссии в Италии царь поручил Толстому уже расследование дела о побеге царевича. До этой истории Толстой не входил в круг ближайших сподвижников Петра. В молодости он принадлежал к враждебной Петру группировке Милославских, но потом сумел добиться царского расположения. Человек уже не молодой (родился или в 1653 или в 1654 году), в начале 1697 года Толстой отправился учиться на моряка, чем особенно угодил государю-шкиперу. В 1701 году он стал посланником в Стамбуле и проявил там незаурядный талант дипломата. Вернувшись в 1714 году в Россию, Толстой стал служить в Посольской канцелярии. По роду своих занятий и склонностям П. А. Толстой был более всего дипломатом, хитрым, изворотливым и умным, но, как многие другие сподвижники Петра I, он мог заниматься и самыми разными делами.
Петр I, по-видимому, не особенно доверял Толстому, но умел ценить его дар ловкого дипломата, ум и рвение. Толстой же постоянно показывал свою преданность Петру, был готов выполнить любое его задание, не задумываясь над моральной стороной дела. Толстой не только помогал Петру вести допросы царевича, но и занимался «ответвлениями» главного розыска – вел допросы близких к царевичу людей. По окончании дела Толстой стал графом, тайным советником, президентом Коммерц-коллегии, сенатором, владельцем обширных вотчин.
Тайная канцелярия как учреждение появилась на свет в Петропавловской крепости и была типичной временной розыскной комиссией. Толстой быстро составил штат учреждения из 6–9 подьячих разных приказов и канцелярий. Им обещали, что работа их в канцелярии будет временной, до «скончания дела» Алексея. Помощниками Толстого, которых позже стали называть «асессорами», стали старшие гвардейские офицеры А. И. Ушаков, Г. Г. Скорняков-Писарев и И. И. Бутурлин.
После смерти царевича Алексея 26 июня 1718 года Тайная канцелярия не была распущена. Получив важный донос, Петр поручил очередное дело Толстому. 8 августа 1718 года с борта корабля, находившегося при мысе Гангут, царь написал ему: «Мой господин! Понеже явились в краже магазейнов ниже именованные, того ради, сыскав их, возьми за караул». Ниже указывался список предполагаемых воров. Так, вероятно по чьему-то доносу, началось Ревельское адмиралтейское дело, которое закончилось суровыми приговорами только через несколько лет. Подобным же образом возникали и другие дела.
С образованием Тайной канцелярии наметилось географическое распределение дел между ею и Преображенским приказом: колодников по Петербургу и окрестностям велели присылать в Тайную, а из Москвы и центральных губерний России – в Преображенский приказ, который стал называться канцелярией. В 1718 году в Москве А. И. Ушаков создал, по заданию Петра, Контору Тайной канцелярии, которая разместилась на Потешном дворе в Преображенском. Осуществляя реформу управления, царь в 1724 году решил передать политический сыск Сенату, однако реорганизация сыска так и не состоялась из‐за его смерти.
После того как умер Петр Великий и на престоле оказалась императрица Екатерина I, Тайная канцелярия продолжила работать. Весьма крупным стало дело монаха Самуила Выморокова. 30 июля 1725 года А. И. Ушаков вкратце пересказал дело императрице, после чего государыня одобрила проект приговора. Тем же летом Екатерина слушала доклады по делу Феодосия Яновского, в декабре 1726 года по своему ведомству знакомил ее с делами Иван Ромодановский. Он же составил проект приговора по делу Родышевского. И все же 28 мая 1726 года в истории Тайной канцелярии была поставлена точка. В тот день появился указ Екатерины I на имя Толстого, где сказано, что Тайная канцелярия «учинена была на время для случившихся тогда чрезвычайных тайных розыскных дел и, хотя тому подобные дела и ныне случаются, однако не так важные и больше бывают такие дела у… князя Ромодановского». Поэтому канцелярию было предписано ликвидировать.
В феврале 1726 года «при боку» Екатерины I возник Верховный тайный совет, составленный из «первейших» вельмож того времени. Сразу же он стал «стягивать» к себе власть, в том числе и в делах политического сыска. Верховники выполняли роль одновременно следователей и судей: на своих заседаниях они выслушивали записи допросов, экстракты по делам сыска, выносили приговоры, принимали доклады И. Ф. Ромодановского и А. И. Ушакова. После смерти Екатерины I 7 мая 1727 года и с восшествием на престол 12-летнего Петра II некоторое время сыскными делами ведал фактический регент А. Д. Меншиков. Он распоряжался, как расследовать начатое в апреле 1727 года дело П. А. Толстого и его сообщников, а также княгини А. П. Волконской, которую светлейший заподозрил в интригах против себя. После падения Меншикова политическим сыском стал вновь ведать Верховный тайный совет.
За исключением одного случая, когда в ноябре 1727 года нужно было дать распоряжение о расследовании дела Меншикова, малолетний царь Петр II делами сыска не занимался. Судя по делу Волконской, основная тяжесть работы лежала на А. И. Остермане и князе А. Г. Долгоруком, отце фаворита царя Ивана Долгорукого. Текущие, «маловажные» дела после ликвидации Преображенского приказа в 1729 году сосредоточили в Сенате. Однако вскоре и сам Верховный тайный совет прекратил существование.
В царствование императрицы Анны Ивановны (1730–1740) для сыскных дел использовались все известные ранее организационные формы: и постоянные учреждения, и временные комиссии, и отдельные чиновники. С ликвидацией Верховного тайного совета сыск перешел к Сенату. Однако 24 марта 1731 года появился именной указ об образовании новой Тайной канцелярии. Ее возникновение весьма напоминает создание «маэорских канцелярий» и первой Тайной канцелярии Толстого. В указе проявляется забота о загруженных делами сенаторах, и, чтобы им не было «помешательства… в прочих государственных делах», все «важные дела» по политическому сыску передаются генералу А. И. Ушакову. Трудно сказать, так ли уж был загружен делами Сенат, но думаю, что вступившая на престол Анна Ивановна не доверяла сенаторам, среди которых было немало ее врагов, и хотела держать политический сыск под своим контролем. Поэтому она и поручила, как ранее Петр I Ромодановскому, сыскные дела своему доверенному человеку. Новая Канцелярия тайных розыскных дел вселилась в старые хоромы в Преображенском, унаследовав от своего преемника и статус центрального учреждения, а также бюджет – 3360 руб., то есть ту самую сумму денег, «которая положена была по штату на бывший Преображенский приказ». Именно на такие ничтожные деньги содержался в 1731 году политический сыск. В этом была преемственность органов политического сыска, как и в том, что «Тайная» – так в просторечие стали называть Тайную канцелярию – пользовалась архивом закрытого Преображенского приказа.