До своей отставки Горчаков служил во Флоренции и Лукке, был посланником в Тоскане, советником посольства в Вене. В отставку он вышел в 1838 году в чине статского советника. Уход со службы был вызван не только женитьбой на Марии Александровне Урусовой, брак с которой укрепил позиции Горчакова при дворе, так как семья жены была богата и влиятельна, но и отношениями с графом Нессельроде, которые были далеки от дружественных. Александр Михайлович втайне надеялся, что отставка не будет принята, но ее приняли, чем сильно задели честолюбивого дипломата.
Шло время, жизнь в столице и развлечения при дворе сгладили горечь ухода со службы. Александр Михайлович все ждал, что его снова пригласят занять должность в МИДе, но приглашения не поступало. Видя беспокойство зятя, граф Урусов начинает содействовать его возвращению на службу.
Вернувшись в МИД, в 1841 году Горчаков был направлен чрезвычайным посланником и полномочным министром в Вюртемберг. Назначение казалось второстепенным, но на самом деле германский вопрос был одним из центральных в европейской политике России. В Петербурге внимательно следили за внутренними процессами в германских государствах, за борьбой между Австрией и Пруссией, желавших играть руководящую роль в объединении Германии. Задача Горчакова сводилась к поддержанию авторитета России как покровительницы германских стран и умелому использованию противоречий, так как создание на границах империи сильной единой Германии для России было небезопасно. Связи дипломата при дворе вюртембергских князей помогали Горчакову передавать в Петербург уникальный материал о тайных планах правительств стран Германского союза. Деятельность Александра Михайловича была оценена высоко. Король Вюртемберга наградил его орденом Большого Креста, а император Николай I представил его к орденам Св. Анны и Св. Владимира. В 1850 году Горчаков получает назначение на должность чрезвычайного посланника и полномочного министра при Германском союзе.
В 1853 году Александр Михайлович перенес личную трагедию – смерть жены, с которой они счастливо прожили 15 лет. На его плечи легла забота о своих сыновьях и о детях от первого брака Марии Александровны. Забота об их воспитании не помешала ему продолжать активную дипломатическую деятельность, которая приобрела особый вес накануне Крымской войны. В эти трудные для России годы Горчаков еще раз заявил о себе как о дипломате высшего класса.
В 1854 году он получает назначение на должность посла в Вену. На стороне Турции уже выступили Англия и Франция. Австрия все еще колебалась, и задача Горчакова сводилась к устранению Австрии как возможной союзницы Турции в борьбе с Россией. Задача была весьма сложной, и Николай I, провожая Горчакова в Вену, сказал ему: «Я доверяю вам. Но я совсем не надеюсь, что ваши усилия увенчаются успехом». Прибыв в Вену, Александр Михайлович лично убедился в ненапрасных опасениях императора. Он сразу сообщил в Петербург о стягивании австрийских войск к Трансильвании, что угрожало русской армии на Дунае, о требовании вывода русских войск с территории Дунайских княжеств, о попытках австрийского правительства вовлечь в войну с Россией и Пруссию. Имея большой авторитет в дипломатических кругах и приложив огромные усилия, Горчакову удалось предотвратить вступление Австрии в Крымскую войну.
На Парижском конгрессе, начавшем работу в феврале 1856 года, интересы России представляли дипломаты А.Ф. Орлов и Ф.И. Бруннов. Героическая оборона Севастополя, взятие русскими войсками Карса и успешная работа Горчакова по ослаблению антирусской коалиции сыграли важную роль в уважительном отношении участников конгресса к российской делегации. В Париже самого Горчакова не было, а когда работа конгресса была завершена, он уже находился в Петербурге. Его успешная деятельность по защите интересов России была высоко оценена новым императором, Александром II.
Проигранная война и крах дипломатической политики графа Нессельроде заставили Александра II изменить направление внешней политики России и начать преобразовывать внутреннее управление. Нужен был новый министр иностранных дел, и главой МИДа становится Александр Михайлович Горчаков. Император надеялся, что князь сумеет восстановить престиж страны, подорванный поражением в Крымской войне.
Новое направление внешней политики министр Горчаков изложил в циркуляре от 21 августа 1856 года и в личном докладе императору. В нем подчеркивалось желание правительства посвятить «преимущественную заботливость» внутренним делам, распространяя деятельность за пределы империи, «лишь когда того безусловно потребуют положительные пользы России». Отказ от активной внешнеполитической деятельности носил временный характер, что подтверждается фразой Горчакова: «Говорят, Россия сердится. Нет, Россия не сердится, а сосредотачивается». Это означало, что Россия временно не станет активно вмешиваться в европейские дела и не будет жертвовать своими интересами ради поддержки принципов Священного союза, она будет собираться с силами.
Одну из основных своих задач новый министр видел в отмене унизительных статей Парижского договора о нейтрализации Черного моря. Следовало также восстановить утраченное влияние на Балканах. Решение этих задач требовало поиска новых путей и дипломатических комбинаций.
Для решения этих задач нужны были новые люди. Формируя аппарат министерства, Александр Михайлович руководствовался профессиональной подготовкой сотрудников и их политической ориентацией. Он сократил аппарат МИДа, усилил ответственность руководителей отделов за принимаемые решения, ликвидировал мелочную опеку старших над младшими. Авторитет нового министра, его разумная требовательность к подчиненным, доверительные отношения с государем и реорганизованный аппарат позволили Горчакову уже в 1856 году приступить к реализации новой внешнеполитической программы.
Для ее решения Горчаков сделал ставку на Францию как на наиболее реального союзника. Он считал, что Восток для Наполеона III «является только мелочью», для французского императора важна территория до Рейна. В сентябре 1857 года была достигнута договоренность с Наполеоном III, который в обмен за поддержку Россией своих планов обещал действовать в пользу России в ближневосточных делах. Положительным результатом сближения с Францией было установление сотрудничества на Балканах. Начав с согласованных действий в поддержку Черногории, Россия и Франция вместе выступили в вопросе об объединении Дунайских княжеств и расширении их автономии. Горчаков понимал, что объединение княжеств, ослабляя Турцию, наносит удар и по Парижскому договору, где фиксировалось их обособление. Когда же Турция стала готовить интервенцию против молодого Румынского княжества, Горчаков предупредил ее о недопустимости таких действий. Александр Михайлович неоднократно поднимал вопрос о необходимости созыва международной конференции для обсуждения положения христиан, подданных Османской империи. Но предложение российского министра наталкивалось на отказ Англии и пассивность Франции в этом вопросе.
К разрыву союзных отношений между Россией и Францией привели события в Польше в 1861–1863 годах. Как отмечал Горчаков, польский вопрос касался не только России – «он был камнем преткновения для всех держав». В начале 60-х годов французский император стал активно поддерживать польскую эмиграцию во Франции, а еще ранее им поднимался вопрос о статусе Польши, что вызывало явное неудовольствие Александра II. После польского восстания 1863 года времени согласованных действий Франции и России пришел конец.
