Символом постоянства в жизни канцлера в это время была, пожалуй, лишь связь с Паниным, его посланником в Стокгольме. Они постоянно поддерживали между собой переписку и обменивались мнениями по поводу последних событий.
В начале 1756 года в Стокгольм с соболезнованиями по случаю смерти шведской королевы-матери поехал протеже Воронцова граф Ягужинский-младший, и канцлер в частном письме предупреждает Панина об этом визите: «Вы, чаю, и без меня ведаете, что он зять его превосходительству Ив. Ив. Шувалову: я рекомендую и прошу ваше превосходительство показать ему там вашу благосклонность, дружбу и всякие учтивости…» Такая предупредительность со стороны Бестужева объяснялась не только тем, что «командировочный» граф был родственником фаворита императрицы, а главным образом тем, чтобы у Панина не возникли сложности по службе. Панин, наряду с бароном Корфом в Копенгагене и Кайзерлингом в Варшаве
[84], ещё не задетый «чисткой» посольского аппарата, предпринятого Воронцовым против приверженцев и учеников Бестужева-Рюмина, стал объектом тайной проверки Воронцова. Так что наряду с официальной миссией Ягужинский имел поручение вице-канцлера проверить, как исполняет свои обязанности посланника самый ревностный сторонник Бестужева-Рюмина.
Так оно и случилось: приехавший вместе с Ягужинским переводчик Бартеломанов стал повсюду совать свой нос и, как доложил канцлеру Никита Иванович, «пред моими подчинёнными часто показывает своё любопытство о моих здесь обращениях, а наипаче о корреспонденции с вашим высокографским сиятельством». К лету подозрения Панина относительно Бартеломанова окончательно подтвердились, и он незамедлительно проинформировал об этом Бестужева. Переводчик, между прочим, стал интересоваться контактами Панина с бароном Корфом, который, как и его шеф Бестужев, был ярым противником сближения с Францией и игнорировал полученные из Петербурга инструкции о совместном взаимодействии с послом Франции, чем и навлёк на себя гнев Воронцова в виде выговора. Бартеломанов намекнул Панину, что мог бы оказать ему содействие в том, чтобы попасть в любимчики вице-канцлера. Панин, не скрывая иронии, пишет Бестужеву, что дал Бартеломанову дипломатичный «отлуп», заявив, что предпочитает поддерживать ровные деловые отношения и с канцлером, и с вице-канцлером.
Крутой поворот во внешней политике России, выразившийся в установлении союзнических отношений с Францией, был воспринят русскими посланниками за границей с определёнными сомнениями, и они перестроились не сразу. Так случилось и с Паниным, удостоившимся резкого выговора со стороны вице-канцлера Воронцова. Бестужев писал своему ученику: «Я вашему превосходительству уже остерегал, чтоб вы в реляциях ваших рассуждения свои как возможно сокращали и доносили только об исполнении посылаемых вам рескриптов, ибо при нынешних переменившихся конъюнктурах весьма легко случиться может, что министр рассуждениями своими… заслужит себе великий выговор. Сие недавно… воспоследовало с бароном Корфом: он, распространяясь в своих рассуждениях о старой системе и выхваляя тех, кто оной ещё держите к, отправлен к нему рескрипт с таким жестоким за то выговором, что жесточее того почти и написать нельзя было».
Канцлер сообщает, что из-за болезни ему не удалось предотвратить выговор, недавно вынесенный Панину на заседании Конференции, и даёт практический совет, как поступать честному слуге отечества и императрицы: выдавать в реляциях собственные «крамольные» мысли и рассуждения за высказывания третьих лиц. Таким образом, заключал канцлер, и совесть дипломата будет очищена, и опасность выговора исключена. (Вот откуда, по всей видимости, у дипломатов пошла присказка о том, что для пользы дела не грех обмануть начальство.)
Панин, как явствует из его ответного письма Бестужеву, испытывал в этот период серьёзные психологические трудности, связанные с необходимостью приспосабливаться к новым веяниям в Петербурге и с постоянным и неусыпным контролем за каждым своим шагом и действием: «Не знаю, что начать боюсь сойти с ума. Могу ли я сохранять твёрдость и противиться упадку духа…? Всё это происходит при таких обстоятельствах, когда я от всей коллегии вижу над собой ковы, и нет сомнения, что они твёрдо решили искоренить меня».
Панин был прав: скоро его «искоренят» и отзовут, а вместо него в Стокгольм отправят ставленника Воронцова — барона Ивана Андреевича Остермана. Но до самых последних дней пребывания Никиты Ивановича на посту посланника в Швеции Бестужев буквально «вёл» его, направлял и помогал своими советами. Когда воспитанник Бестужева стал возражать против направленных ему шуваловско-воронцовских инструкций, Бестужев с горечью порекомендовал ему поменьше рассуждать и только доносить ему об исполнении полученных рескриптов. Ныне в Петербурге, добавил он, не выносят тех, кто «рассуждает о старой системе и выхваляет тех, кто оной ещё держится».
Воронцов повсюду расставлял своих людей и отзывал тех, кого считал приверженцами системы канцлера Бестужева, и канцлер ничего не мог с этим поделать. Летом 1757 года в Варшаву был назначен новый посланник — племянник канцлера, сын его несчастной сестры Аграфены Петровны, боевой генерал Михаил Никитич Волконский. По-видимому, М.Н. Волконский никоим образом не был скомпрометирован связью со своим всесильным когда-то дядей и считался вполне лояльным шуваловско-воронцовскому направлению. Впрочем, Волконскому недолго пришлось быть дипломатом — за недостатком опытных и боевых генералов в русской армии он после Цорндорфского сражения скоро был призван на Семилетнюю войну.
В январе 1757 года канцлер подал императрице обширную записку, в которой в хвалебных выражениях охарактеризовал годы своего управления внешними делами государства. Чтобы как-то нейтрализовать действия Шуваловых — Воронцовых, уставший от противостояния Бестужев-Рюмин предлагал государыне вариант передачи внешних дел в руки специально созданной комиссии, которая была названа Конференцией. В неё, по его замыслу, должны были войти 10 человек, включая великого князя Петра Фёдоровича, и она должна была заседать два раза в неделю. Бестужев, очевидно, надеялся, что, имея перед собой всех своих противников, он мог бы контролировать все их шаги и противостоять им.
Волей Елизаветы Петровны предложение канцлера было удовлетворено. Но её волей и Коллегией иностранных дел управлял теперь её фаворит граф Иван Шувалов. С ним вместе ведущие позиции при дворе и в правительстве заняли брат Пётр Иванович Шувалов и другие члены этой семьи. М.И. Воронцов, сблизившись с Шуваловыми, со своей стороны имел все шансы занять место канцлера. Вступление в борьбу на стороне врагов старшего брата Михаила ещё больше осложнило положение Алексея Петровича при дворе и знаменовало постепенную утрату им позиций. Он уже не мог по своему усмотрению не только назначить посла, но и перевести из одной миссии в другую какого-нибудь секретаря. Посланника в Варшаве Гросса, сторонника системы Бестужева, отозвали, и Воронцов назначил на его место своего протеже поляка (!) Ржичевского, на что последовал горький комментарий канцлера: «…Паписту против папистов действовать невозможно по русской поговорке: ворон ворону глаз не выклюет, но решение сего дела от меня не зависит». Ни одно из предписаний Бестужева сотрудниками КИД просто не выполнялось. Если прежде канцлер игнорировал КИД, то теперь КИД по закону мести игнорировала канцлера.