Сначала императрица и вправду хотела быть образцом милосердия. Брауншвейгское семейство планировали отпустить за границу, к их немецким родственникам, но вскоре решили, что это было бы небезопасно для новой власти. Анну Леопольдовну и Антона Ульриха вместе с детьми отправили в крепость Динамюнде, находившуюся возле Риги.
Но держать их недалеко от границы снова сочли неразумным. В начале 1744 года семью бывшего императора перевезли в Раненбург Воронежской губернии, где до этого уже содержались свергнутые временщики. Летом того же года императрица распорядилась перевести брауншвейгцев в Соловецкий монастырь. Подросшего Ивана Антоновича следовало забрать у родителей и содержать отдельно, скрыв его под именем Григория. Это было сделано. Но Анну Леопольдовну с принцем Антоном до Соловков не довезли, помешала весенняя распутица. Их оставили в 100 верстах от Белого моря в Холмогорах. Здесь они жили долгое время.
Ежегодно ссыльному семейству выдавали 6 тысяч рублей, продовольствие и вино. Конечно, они уже не могли позволить себе той роскоши, к которой привыкли в Петербурге, но даже многие знатные дворяне империи не располагали такой суммой, и жизнь брауншвейгцев была вполне сносной. Ссылка примирила и сблизила супругов, лишив их предмета семейных раздоров — власти. Анна Леопольдовна почти ежегодно исправно рожала детей: в 1743 году — Елизавету, в 1745 — Петра, в 1746 — Алексея. Это, особенно рождение мальчиков, раздражало Елизавету Петровну, так как потомки брауншвейгской фамилии все еще имели права на наследование престола, по указу императрицы Анны Иоанновны. Но что она могла поделать?
Утрата власти, высылка из Петербурга и частые роды подорвали здоровье Анны Леопольдовны. Бывшая правительница стала часто болеть, а климат побережья Белого моря не способствовал выздоровлению. Особенно тяжело сказался на ней последний моральный удар, нанесенной Елизаветой Петровной: императрица велела провести обыск среди личных вещей Анны, которую подозревала в краже драгоценностей из своего дворца перед отъездом в ссылку. После такого унижения Анна Леопольдовна слегла и скончалась 7 марта 1746 года.
Сначала как бывшую регентшу и члена царской семьи ее хотели похоронить в Петропавловской крепости. Тело Анны в бочкообразном футляре, набитом льдом, повезли в Петербург. На подъезде к столице сопровождавший его поручик получил приказ: доставить груз в Александро-Невскую лавру. Там Анну Леопольдовну и похоронили 18 марта 1746 года. Чести быть упокоенной в Петропавловском соборе рядом с Петром Великим, Екатериной I, Петром II и Анной Иоанновной она так и не удостоилась.
Императрица Елизавета Петровна строго следила за тем, чтобы у нее и ее племянника, молодого герцога Голштинского, не было ни живых, ни мертвых конкурентов. Главным предметом беспокойства оставался бывший император Иван Антонович, который продолжал жить и здравствовать, несмотря на суровые условия ссылки. Четырехлетним малышом он был отделен от родителей, но содержался в тех же Холмогорах, что и они. Вероятно, отец и мать имели какую-то возможность узнавать о здоровье и жизни сына. Так продолжалось до 1756 года.
Но вот мальчику исполнилось 16 лет, и он, по понятиям того времени, стал совершеннолетним. Власти больше не могли настаивать на его недееспособности, Иван стал для них по-настоящему опасен. Если бы кто-то захотел разыграть его карту, вполне мог произойти очередной государственный переворот под лозунгом «восстановления законной власти свергнутого императора». Ивана Антоновича нужно было упрятать подальше и понадежнее.
В начале 1756 года его быстро и скрытно перевезли в Шлиссельбургскую крепость. Из текста распоряжения о переводе Ивана в Шлиссельбург видно, что принц Антон Ульрих и братья и сестры бывшего императора были извещены о том, что его увозят, но им было строго приказано хранить это в тайне.
Как жил Иван Антонович в крепости и что с ним там происходило, судить сложно. Существует два рода известий на сей счет. Лица, окружавшие и охранявшие бывшего императора, начиная с его ссылки под Ригу и заканчивая отправкой в Шлиссельбург, считали его вполне обыкновенным ребенком и не замечали в нем каких-либо странностей и отклонений. В крепости он был изолирован от других заключенных и караульной команды. К нему приставили двух персональных стражников: бывшего сержанта Ингерманландского полка Луку Матвеевича Чекина и прапорщика того же полка Данилу Петровича Власьева. В их донесениях в Петербург, в Тайную канцелярию, сказано, что Иван был либо умалишенным, либо умственно недоразвитым с детства. Его лицо выглядело очень бледным и застывшим, как у покойника, он заикался, плохо говорил, часто рыдал и кричал по ночам, постоянно грыз ногти. Вел себя бывший император крайне агрессивно, набрасывался на охранников, ел мыло и крыс, за которыми охотился ночью, облачившись в матросскую шинель, разводил в своей камере пауков и также употреблял их в пищу. Часто на Ивана Антоновича нападала сильная слабость, и тогда он круглые сутки проводил в постели.
Эти известия считались достоверными, и именно они распространялись среди придворных и в народе. Но при этом историков всегда настораживал тот факт, что глава Тайной канцелярии Никита Панин дал коменданту Шлиссельбургской крепости распоряжение никого не пускать к секретному узнику, даже тюремного врача. Если Иван Антонович серьезно заболеет, то оставить это на волю Божью, а когда надежды на выздоровление уже не будет, позвать ему священника. То есть о состоянии физического и душевного здоровья бывшего императора должны были судить два бравых вояки. Свои обязанности, в том числе и «медицинские», они, видимо, исполняли исправно, за что в 1762 году получили повышение в чинах: Власьев стал капитаном, а Чекин — поручиком.
18 марта 1762 года Ивана Антоновича, которому в то время был уже 21 год, посетил его троюродный дядя — новый император Петр III. Императора сопровождали тайный советник датского двора Ассебург, полицмейстер Петербурга барон Корф, обер-шталмейстер Нарышкин, барон Штернберг и секретарь Волков. Ассебург и Корф беседовали с заключенным, и ни они, ни другие присутствовавшие при этом лица не заметили в Иване ни косноязычия, ни признаков сумасшествия или умственной неполноценности, ни других особенных странностей. Можно предположить, что человек, с годовалого возраста пребывавший в ссылке и тюремной камере, выглядел — да и был — не вполне адекватной личностью, но это объяснялось одиночеством и отсутствием возможностей свободного передвижения и общения и серьезным отклонением от нормы не являлось.
То, что Иван Антонович был почти здоров умственно и физически, делало его вдвойне опасным. Император Петр III не принял на его счет никакого нового решения, оставив все как есть. Но устроившая очередной переворот и занявшая его место императрица Екатерина II оказалась в уязвимом положении. Иностранка, не связанная с домом Романовых кровными узами, узурпаторша престола, она не могла жить и править спокойно, пока в Шлиссельбурге томился законный претендент на трон.
Кто был инициатором физического устранения Ивана Антоновича, мы теперь уже не узнаем. Но в ближайшем окружении Екатерины II и в Тайной канцелярии эта идея была принята и воплощена в жизнь. Охранникам Ивана была дана инструкция на тот случай, если кто-либо без распоряжения императрицы попытается забрать его из крепости. Арестанта следовало умертвить, но никому в руки живым не отдавать. Вероятно, Тайной канцелярии уже было известно, что такие горячие головы, желающие освободить бывшего императора и вместе с ним прорваться к власти, в России есть. Несчастный Иван Антонович просил облегчить его положение, разрешить ему немного свободы и клялся ни на что не претендовать; он не знал, что вокруг него уже закручивается смертельная спираль политической интриги, главным фигурантом которой станет неизвестный ему поручик Мирович.
