Параллельно со структурой МИД продолжала существовать и Коллегия иностранных дел, которую в 1801–1802 годах возглавлял друг и приближённый императора Александра граф Виктор Павлович Кочубей (1768–1834), а потом Иван Андреевич Вейдемейер. В дальнейшем функции Коллегии иностранных дел постепенно сходили на нет, а функции министерства становились всё более обширными, но полностью коллегия прекратила своё существование лишь в 1834 году.
Некоторое время спустя главные экспедиции были преобразованы в отделения, а позже, при Николае I — в департаменты. В 1819 году был создан знаменитый Азиатский департамент, первым директором которого стал К. К. Родофиникин (1760–1838), а четыре года спустя при департаменте возникло Учебное отделение восточных языков (УОВЯ) — великолепное и высокопрофессиональное учреждение, просуществовавшее вплоть до 1917 года, в стенах которого знания по фарси, китайскому, японскому, турецкому и арабскому языкам получили многие русские дипломаты. В 1828 году был разработан и введен в действие Консульский устав, который с изменениями в 1858 и 1893 годах тоже дожил до 1917 года.
В 1828 году трём секретным экспедициям канцелярии было присвоено новое эвфемическое наименование — «Департамент внешних сношений». В 1832 году был создан Департамент внутренних сношений, преобразованный позже во 2-й департамент, а также Департамент хозяйственных и счётных дел, позже преобразованный в Департамент личного состава и хозяйственных дел (ДЛСиХД). В 1839 году было составлено первое подробное штатное расписание центрального аппарата министерства. В 1846 году, в период очередной реорганизации Министерства иностранных дел, наименование «Департамент внешних сношений» с секретных экспедиций неожиданно было снято, и их стали называть «Особой канцелярией» министерства. В ней стала сосредоточиваться вся политическая переписка МИД со своими загранучреждениями.
Структура Министерства иностранных дел продолжала совершенствоваться и приспосабливаться к потребностям времени и при А. М. Горчакове. В рескрипте Александра II от 17 апреля 1856 года о назначении А. М. Горчакова министром иностранных дел России говорилось: «…Посвятив себя дипломатическому поприщу, вы, при постепенном занятии различных должностей в посольствах и миссиях Наших при нескольких европейских дворах, вскоре приобрели необходимую в политических делах опытность, не переставая обращать на себя внимание отличным исполнением лежавших на вас обязанностей. Состоя в качестве чрезвычайного посланника и полномочного министра при Вюртембергском дворе, вы имели случай выказать особенную твёрдость в смутное время 1848 года и снискали доверие к себе блаженной памяти Родителя моего императора Николая I…
..Дипломатические способности, познания по сей части, приобретённые вами многолетним пребыванием при разных дворах Европы в качестве чрезвычайного посланника и полномочного министра Нашего, в особенности же действия ваши в продолжении Венских конференций 1855 года, решили Наш выбор назначением вас министром иностранных дел. Вы вступили в управление оным в то важное время, когда исполнение условий только что заключённого Парижского мира требовало неусыпной бдительности и предусмотрительности. Возникшие вскоре в сем отношении недоразумения могли снова омрачить едва прояснившийся политический горизонт Европы; но вы, руководимые опытностью и постигая чистосердечные желания Наши упрочить общее спокойствие, умели благоразумно отвратить последствия тех недоразумений и утвердить дружественные отношения России со всеми державами».
Заступив на должность, Александр Михайлович первым делом приступил к очищению «авгиевых», то есть «нессельродевских конюшен». Он представил Александру II подробный проект «санации» министерства, с главными мыслями которого мы познакомим читателя (их можно было бы и сегодня взять за основу при наведении порядка в чиновничьей среде):
«В последнее тридцатилетие в России развилась в страшных размерах потребность служить где бы то ни было, вовсе не принимая в соображение свои способности и наклонности, но единственно с целью получать чины и ордена… Последствием такого огромного требования на служебную деятельность явилось беспрерывное созидание новых должностей и целых учреждений по всем отраслям нашего государственного управления… По моему мнению, порядок нашего делопроизводства, усложнившийся до невозможности… препятствовал быстрому движению дел, но произошёл он ни от чего другого, как от накопления чиновников, прикрывавших своё умственное бездействие формалистикой — при таком направлении явилась потребность в целой градации лиц, ничего в сущности не делающих, а только надзирающих за трудом других. Мало-помалу образование, умственные способности и быстрота утратили своё значение в оценке служащих, а на первый план выдвинулось знание форм и обрядов делопроизводства; в результате… мы получили массу чиновников в чинах, увешанных орденами… но ни к чему не способных, никогда не работавших в полном значении этого слова, не умеющих работать…»
Горчаков предлагал коренным образом изменить укоренившийся в министерстве бюрократический порядок, полагал необходимым избавиться от «чиновничьего» балласта, заставить сотрудников отвечать за себя и свой труд, упростить до максимума делопроизводство. Он поставил во главу угла три начала: усиление власти местных (ближайших к исполнителю) начальств, сокращение делопроизводства и уменьшение личного состава с увеличением содержания оставшимся.
Александр Михайлович сильно обновил кадровый состав Министерства иностранных дел, введя в него много русских людей. Он прекратил нессельродевское низкопоклонство перед австрийским канцлером К В. Л. Меттернихом (1773–1859) и уволил из министерства случайных людей. При нём был утверждён новый штат канцелярии, а в 1862 году секретную канцелярию объединили с общей. Это было косвенным свидетельством того, что все дела канцелярии стали считаться секретными.
Князь ввёл систему испытаний (экзаменов) для кандидатов, принимаемых на внешнеполитическую службу, и открыл доступ к архивным документам МИД. Благодаря усилиям директора архива К. И. Забелина и академика П. П. Пекарского, которые разработали классификацию и характеристики накопившихся в недрах учреждения документов, исследователи получили доступ к богатейшим историческим материалам России. В европейские столицы были направлены опытные и способные послы: в Париж — граф П. Д. Киселёв (1788–1872), в Лондон — граф М. И. Хребтович, в Вену — В. П. Балабин (1812–1864), в Константинополь — Н. П. Бутенев. Первым помощником нового министра стал блестящий дипломат барон Александр Генрихович Жомини, сын наполеоновского генерала швейцарца Г. В. Жомини (1779–1869), вступившего в русскую службу в 1813 году. А. Г. Жомини прославился своим «золотым пером», из-под которого вышли дипломатические документы, которые являются своего рода шедеврами. Впрочем, не исключено, что к документам прилагал свою руку и князь Горчаков. Канцлер так говорил про своего друга и помощника: «Про барона Жомини можно сказать, что он словно Иисус Христос в Евхаристии — его все едят и пьют, но никто его ещё никогда не видел…»
Реформа, однако, сильно пробуксовывала, русские чиновники не сдавались и всеми силами ей противились, и она растянулась на долгие годы. Но к 1868 году удалось кое-что сделать, а именно: утвердить штат центрального аппарата на 134 единицы (вместо прежних 306) и изменить кое-что в структуре Министерства иностранных дел. Александр Михайлович ввёл совещательный орган — Совет министерства, в который входили сам министр, его товарищ, старшие советники, директора канцелярии, департаментов и архива в Санкт-Петербурге. Членам совета выплачивались дополнительные оклады. Начальниками загранучреждений в это время считались послы, посланники и министры, министры-резиденты и поверенные в делах. Посольствам в Турции и Персии предоставлялись полицейские и судебные функции над проживавшими в этих странах русскими подданными.
