С октября 1988 по август 1991 года — Председатель КГБ СССР. В сентябре 1989 года стал членом Политбюро ЦК КПСС.
В августе 1991 года за участие в ГКЧП был арестован новой демократической властью и находился в Лефортовской тюрьме. Его обвинили по статьям 64 (измена Родине) и 260 (злоупотребление властью) УК РСФСР, но следствие не сумело справиться со своей задачей. В результате подсудимый в феврале 1994 года был освобожден по амнистии.
С октября 1994 года на пенсии.
Автор книги воспоминаний «Личное дело».
Награжден двумя орденами Ленина, орденами Октябрьской Революции, Красного Знамени, двумя орденами Трудового Красного Знамени.
Названия советских агентурных сетей ввели в оборот средств массовой информации сразу после войны сами битые немецкие ловцы шпионов, и первым это сделал бывший начальник радиоконтрразведки, скрывшийся под псевдонимом В. Ф. Флике. В 1946 году в издательстве «Нептун» (Кройцлинг) вышли в свет его книги «Шпионская группа «Красная капелла» и «Агенты радируют в Москву. Радиорезидентура «Красная тройка».
Немецкие контрразведчики не случайно избрали такие названия. На их жаргоне нелегальный радист — «музыкант» или «пианист». А в первые дни после нападения гитлеровского вермахта на Советский Союз немцы зафиксировали появление в эфире нескольких подпольных радиопередатчиков, которые поддерживали связь с Москвой. Значит, вступил в дело целый «оркестр» или «капелла», и не чьи-нибудь, а советские, красные. Значит, «Красная капелла». Кому принадлежали энергично стучавшие на своих радиоинструментах «пианисты», Разведуправлению Красной Армии или внешней разведке НКГБ СССР, это немецких контрразведчиков пока не занимало. Главная задача для них: крайне необходимо точно запеленговать радиостанции и заставить их замолчать.
В Главном управлении имперской безопасности была создана особая комиссия «Красная капелла» для борьбы с этой организацией. Ее руководитель (поначалу это был криминальный советник Гиринг, а потом обер-фюрер СС Панцингер) получил высокий пост заместителя начальника гестапо Генриха Мюллера.
Так и прилипло гестаповское название «Красная капелла» к агентурным сетям советских разведслужб, действовавшим до войны и в первые военные годы в сердце гитлеровской империи и в ряде европейских стран, оккупированных вермахтом. И никто не задумывается, что на самом деле не было такой разведывательной организации, схемы которой с немецкой педантичностью изображены в делах специальной комиссии, получившей то же название. Составленное из лучших контрразведчиков гестапо и абвера, это подразделение действовало в Брюсселе и Париже и замыкалось в Берлине на начальнике Главного управления имперской безопасности обергруппенфюрере СС и генерале полиции Райнхарде Гейдрихе и шефе управления военной разведки и контрразведки адмирале Вильгельме Канарисе.
Какие же советские разведывательные структуры попали в разработку немецкой контрразведки и были ликвидированы в 1941–1942 годах?
1) Берлинская резидентура НКВД — НКГБ, которую возглавляли Арвид Харнак (Корсиканец — Балтиец) и Харро Шульце-Бойзен (Старшина).
2) Берлинская резидентура Разведуправления Красной Армии, руководимая Ильзе Штёбе (Альта).
3) Парижская резидентура Разведуправления Красной Армии, деятельность которой направлял Леопольд Треп-пер (Отто, Большой шеф).
4) Агентурная группа Разведуправления Красной Армии в Париже, которой руководил Вольдемар Озолс (Золя).
5) Агентурная группа Разведуправления Красной Армии в Париже, которая замыкалась на Анри Робинсоне (Гарри).
6) Брюссельская резидентура Разведуправления Красной Армии. До декабря 1941 года ею командовал Леопольд Треппер, а затем Анатолий Гуревич (Кент).
7) Брюссельская резидентура Разведуправления Красной Армии, которую возглавлял Константин Ефремов (Паскаль). Он, как и А. Гуревич, был кадровым командиром советских вооруженных сил.
8) Оперативная группа Разведуправления Красной Армии в Марселе. После провала в декабре 1941 года брюссельской резидентуры она находилась в ведении А. Гуревича.
9) Амстердамская резидентура Разведуправления Красной Армии. Ею руководил Антон Винтеринк (Тино).
10) Брюссельская резидентура Разведуправления Красной Армии во главе с Иоганном Венцелем (Герман).
11) Оперативная группа Разведуправления Красной Армии в Лилле. Ее возглавлял Исидор Шпрингер (Ромео).
Иногда к «Красной капелле» относят резидентуру Разведуправления Красной Армии в нейтральной Швейцарии во главе с Шандором Радо (Дора). Это неверно. Если уж придерживаться гестаповской версии, то эта резидентура получила кодовое название «Красная тройка». Немецкие контрразведчики разрабатывали ее отдельно от «Красной капеллы» и продержалась она, по крайней мере, месяцев на двенадцать-четырнадцать дольше.
О масштабах деятельности агентурных сетей советской разведки в Германии и других странах Западной Европы после начала Великой Отечественной войны ярко свидетельствует тот факт, что гитлеровской контрразведке в 1941–1943 годах удалось захватить по меньшей мере восемь радиопередатчиков «Красной капеллы», шесть из которых были использованы для радиоигры с московским Центром. В 1943 году швейцарские контрразведчики в сотрудничестве с гестапо вывели из строя три радиоточки «Красной тройки».
Еще более впечатляет численность агентурных сетей внешней разведки НКВД — НКГБ и Разведуправления Красной Армии, объединенных гестаповцами и абверовцами в шпионскую организацию «Красная капелла». По этому делу они арестовали более ста человек, сорок восемь из них казнили. В процессе ликвидации советской разведывательной сети в Бельгии, Голландии и во Франции в застенки гестапо попало тоже не меньшее число патриотов, работавших на разведслужбу Кремля.
Источники внешней разведки НКВД — НКГБ и Разведуправления Красной Армии имелись фактически во всех главных министерствах и ведомствах гитлеровской империи, в органах военной администрации на оккупированной территории, спецслужбах, управлении железными дорогами, Верховном командовании вермахта, генеральном штабе сухопутных войск, главном штабе ВВС, на крупных военных предприятиях, в банках и союзах предпринимателей, руководящих органах нацистской партии. Проиллюстрируем это схемой агентурных связей резидентуры Корсиканца — Старшины из литерного дела «Красная капелла», заведенного в IV управлении (гестапо) Главного управления имперской безопасности.
В центре схемы фамилии руководителей резидентуры внешней разведки НКВД — НКГБ доктора юридических и философских наук Арвида Харнака и старшего лейтенанта ВВС Харро Шульце-Бойзена, а также Рудольфа фон Шелиа, видного немецкого дипломата, ответственного сотрудника министерства иностранных дел. На самом деле он являлся главным источником берлинской резидентуры Разведуправления Красной Армии, которую возглавляла Ильзе Штёбе. Этот пример наглядно подтверждает тот факт, что гестаповцы считали резидентуры А. Харнака — X. Шульце-Бойзена и И. Штёбе одной шпионской организацией.
От этого круга отходит много, стрелок (читаем справа налево) к министерствам иностранных дел, экономики, имперскому бюро труда, университету, политическому комитету НСДАП, министерству пропаганды, сброшенным на парашютах агентам из Москвы, городскому управлению Берлина, управлению имперских железных дорог, управлению имперской почты, отдельным армейским подразделениям. Верховному командованию ВМФ, Верховному командованию сухопутных войск, Управлению военной разведки и контрразведки. Верховному командованию вермахта, министерству ВВС.