Бывший фаворит жил в Москве в доме на Покровке. Канцлер застал Разумовского у растопленного камина. Гость показал хозяину проект и попросил у него бумаги, подтверждающие его тайное венчание с Елизаветой Петровной. Несколько минут Разумовский молчал. Потом подошёл к комоду, достал оттуда ларец и извлёк из него свёрток из розового атласа, в котором оказались пожелтевшие листы двадцатилетней давности. Подержав их в руках, Алексей Григорьевич бросил их в огонь.
— Я не был ничем более, как верным рабом её величества, — произнёс он, с трудом опускаясь в кресло…
Идея Бестужева-Рюмина сгорела в камине вместе с брачным свидетельством. Панинская партия и тут взяла верх.
Пользуясь поддержкой Орлова, граф Алексей Петрович затеял против Панина новую интригу, но, по всей видимости, не рассчитал силы. Ему уже не хватало ни такта, ни чутья, ни чувства собственного достоинства. Французский посланник Бретёйль в одной из своих реляций описывал, как Екатерина на каком-то приёме никак не могла отделаться от пьяненького Бестужева, досаждавшего ей, по-видимому, очередным прожектом.
Каплей, переполнившей чашу терпения Екатерины, оказались польские дела. Ввиду тяжёлой болезни Августа III Екатерина предпринимала отчаянные попытки сделать после его смерти королём Польши своего бывшего фаворита Станислава Понятовского. Существенную помощь в этом ей оказывал Фридрих II, а всю дипломатическую сторону дела обеспечивал Панин. Бестужев-Рюмин тоже привлекался к польским делам, но его настойчивые советы сохранить Польшу за саксонскими курфюрстами уже не отвечали новым реалиям, и Екатерина окончательно разочаровалась в нём.
«Батюшки Алексея Петровича» не стало, остался вовсе никому не нужный упрямый старец. Таким образом, тяжба за верховенство в вопросах внешней политики закончилась для Бестужева плачевно, а Никита Иванович не только удержался на своих позициях, но и скоро значительно укрепил их после отставки также «вышедшего из моды» М.И. Воронцова. В октябре 1763 года Панин, как было написано в указе о его назначении, «по теперешним небезтрудным обстоятельствам» стал безраздельно заведовать делами КИД. Не будучи официально назначен канцлером («великие канцлеры» Екатерине были ни к чему), он, тем не менее, был поставлен выше вице-канцлера князя Д.М. Голицына и в течение двух десятков лет оставался главным советником императрицы по иностранным делам.
Осенью 1763 года в Петербурге прошли совещания по поводу событий в Швеции, на которых выступил А.П. Бестужев-Рюмин. Именно он с большой настойчивостью озвучил неприемлемость для русских интересов восстановления в Швеции абсолютизма. К Бестужеву прислушались и другие участники совещания, а потом их одобрила и Екатерина. Впрочем, ничего нового бывший канцлер не присоветовал: самодержавный Петербург, начиная с Петра Великого, всегда пытался держать Стокгольм в конституционных рамках и бороться с любой попыткой шведских королей вернуться к абсолютизму.
Несмотря на холодность в отношениях с императрицей, милости Бестужеву время от времени продолжали ещё перепадать. Так, например, в конце 1763 года ему по иронии судьбы был пожалован голштинский орден Св. Анны 1-й степени — вероятно за то, что голштинская партия при русском дворе всегда его ненавидела, а он отвечал ей взаимностью.
В 1764 году, при реформе Сената и разделе его на департаменты, Алексея Петровича назначили в первый департамент, но ходить в присутствие дряхлый старик был уже не в силах, и его потихоньку уволили. Кажется, в это время новоиспечённый сенатор представил-таки Её императорскому величеству ещё одну записку, в которой предлагал заступиться за ущемлённого в чём-то Коммерц-коллегией голландского купца Рейнгольда. Соловьёв приводит следующий ответ императрицы, сохраняя её оригинальную орфографию и синтаксис: «Я видела оная прозба и она отослана в Сенат монополии признани за вредни и не один город разарён все exclusions (то есть исключения. — Б. Г.) служит другим в пример и много таких пример будет есть ли одному дадут в прочем я услышу сенатская рассуждения. Где общество выигрывает тут на партикулярный ущерб не смотрют»
[105].
В это время Алексей Петрович, озабоченный, очевидно, сохранением у потомков памяти о роде Бестужевых, направил своему дальнему родственнику Ивану Дмитриевичу Бестужеву-Рюмину «собранную трудами покойного моего родителя родословную книгу». Письмо к Ивану Дмитриевичу датировано 10 июля 1764 года, книга была тщательно и красиво переписана и переплетена в малиновый бархат. В книге находилась грамота о выезде из Англии представителя рода Бестов, полученная Алексеем Петровичем от герольда графства Кент в бытность его в Англии.
В 1765 году при содействии сенатора Бестужева в почётные члены Петербургской Академии наук был избран Вольтер. По всей видимости, ему при этом пришлось перешагнуть через себя, через свои франкофобские принципы, тем более что поклонником Вольтера он никогда не был. Но с Вольтером переписывалась сама «мать отечества», так что старику нужно было проявить гибкость. Впрочем, когда встал вопрос о том, чтобы поручить Вольтеру написать историю Петра Великого, Бестужев воспротивился и сказал, что гораздо лучше эту работу поручить Петербургской Академии наук.
За два года до смерти Бестужев-Рюмин на свои деньги соорудил в Москве у Арбатских ворот храм во имя Святых Бориса и Глеба. Оказывал он также покровительство — вероятно, под влиянием супруги — лютеранской церкви Святых Петра и Павла в Петербурге. Несмотря на старость, он сохранял находчивость и остроумие и никогда не лез в карман за словом. Когда клир Казанского собора просил разрешения присоединить к себе находившийся по соседству храм Св. Петра и Павла, то для пущей убедительности священники стали уверять графа Алексея Петровича, что им явилась Богородица и плакала, жалуясь на оскорбительное для неё соседство лютеранской церкви. Бестужев приказал вернуться им за решением через три дня. Когда святые отцы появились у него снова, он безапелляционно заявил им, что к нему за эти три дня тоже явилась Богородица, которая передумала и присоединять протестантскую церковь Св. Петра и Павла к Казанскому собору больше не желала. Богородица, согласно рассказу Бестужева, обосновала своё последнее решение тем, что церковь была построена не по православному принципу — с востока на запад, а с севера на юг. Так он сохранил в целости и сохранности опекаемый им лютеранский храм.
Кончину свою Бестужев заранее увековечил медалью. Её лицевая сторона повторяла рисунок медали, изготовленной им в 1747 году, только на обратной стороне её был изображён катафалк между четырьмя пальмами, на нём — урна с гербом графов Бестужевых-Рюминых, по обеим сторонам аллегорические фигуры: слева — постоянство, опирающееся на колонну и венчающее урну лаврами, справа — вера с крестом в руке, возлагающая на урну пальмовую ветвь, а сверху надпись: tertio triumphat — третий одержал победу.
