Пока французская армия одерживала победы, дела шли хорошо. К осени 1864 г. французы достигли границы Техаса по Мексиканскому заливу. Это дало им контроль над торговлей с Конфедерацией и таможенными доходами. В феврале 1865 г. генерал Базен принудил к капитуляции восьмитысячную республиканскую армию в крепости Оахака, к югу от Мехико. Хуаресу пришлось сбежать в далекий и бесплодный северный штат Чиуауа на границе с Аризоной.
Но постепенно великий замысел Наполеона III стал давать трещины. Положение французов ухудшали несколько главных проблем. Дело в том, что планы Наполеона III по превращению Мексики в источник дохода исключали любую возможность самоуправления Мексиканской империи. Если бы французы хотели создать из Максимилиана жизнеспособного императора, они должны были не увеличивать втрое государственный долг Мексики, а, напротив, сократить его и помочь стране в создании настоящей армии и администрации. Первого они не сделали бы никогда, а к созданию армии приступили, лишь когда стало слишком поздно. Австрийский император сформировал корпус из 6 тыс. добровольцев, готовых помочь его брату удержать трон, еще 1200 человек присоединил к этому формированию Леопольд I Бельгийский, отец Шарлотты. Но это не было достойной заменой мексиканской армии. К тому же маршал Базен, несмотря на свой опыт войны в Алжире, не потрудился создать разведывательную сеть и противодействовать эффективной разведке Бенито Хуареса. Коррумпированное консервативное правительство Максимилиана было так же разрозненно, как и правительство Хуареса в самые свои худшие годы. В любом случае, оно катастрофически быстро теряло поддержку в большей части страны.
Изменилась и международная ситуация. Во Франции растущая оппозиция начала осуждать Наполеона III за то, что он держит десятую часть армии неизвестно где, безо всяких шансов на возвращение. Тем временем на другом берегу Рейна «железный канцлер» Отто фон Бисмарк превращал королевство Пруссию в эффективную военную машину и пообещал железом и кровью создать новый немецкий рейх. В этих условиях ни французы, ни брат Максимилиана Франц Иосиф больше не могли отправлять солдат за океан.
Но хуже всего на положении французов и Максимилиана отразилось падение Конфедерации. В июле 1863 г., когда французы уже месяц находились в Мехико, произошла битва при Геттисберге — самое кровопролитное сражение в ходе Гражданской войны в США, считающееся переломной точкой в конфликте. Победа Северян в этой битве заставила Юг перейти к постоянной обороне. Тогда же генерал Улисс Грант захватил Виксберг — последний южный оплот на Миссисипи. Это раскололо Конфедерацию надвое. Чувства Максимилиана к Конфедерации всегда были смешанными. Любой мексиканец знал, что южные штаты управляются рьяными сторонниками расширения за счет мексиканской территории. Если бы Максимилиан или Франция признали независимость Конфедерации, то дали бы Северу возможность открыто выступить на стороне Бенито Хуареса. 9 апреля 1865 г. в Аппоматтоксе капитулировал генерал Ли и, вслед за ним, одна за другой сдались остальные южные армии. К концу мая был подавлен мятеж в Техасе. В июне 1865 г. генерал Эдмунд Кирби Смит, последний мятежный командир, сдался армии Союза в Гальвестоуне.
Сразу после падения Конфедерации изменилась стратегическая ситуация и в Мексике. Если мятежники были доброжелательно нейтральны, то Союз был решительно недружелюбен к мексиканской империи. Как только сдались последние мятежники, генерал Улисс Грант отправил на границу Техаса три корпуса, численностью в 50 тыс. человек, под командованием жесткого кавалерийского командира, генерала Филиппа Шеридана. Чтобы уничтожить любые силы Базена по всей Рио-Гранде, было достаточно одной этой «Наблюдательной армии». Армейские патрули не только угрожали французским интервентам, но и регулярно снабжали оружием войска Хуареса. Более того, генерал Шеридан быстро «растерял» американское оружие и запасы провизии по пустыне и позволил Бенито Хуаресу «найти» его. Вскоре у Хуареса было четыре тысячи винтовок для перевооружения своих солдат. Около трех тысяч отставных солдат армии Союза, включая большое число негров, перешли на его сторону. Однако Хуарес был осторожен и сопротивлялся столь активному присутствию американской военной силы в Мексике. В тех сложившихся для их страны обстоятельствах все мексиканцы, вне зависимости от их политических пристрастий, понимали истинные американские намерения.
Осенью 1865 г. Базен перешел к обороне. Хотя он знал о том, что США демобилизовали свою армию, он не мог не опасаться открытого вторжения. Он даже отвел французские войска от Рио-Гранде, чтобы не дать генералу Шеридану повода для наступления. Тем самым французы также попытались решить еще одну свою проблему. Как только их войска приближались к американской границе, резко возрастало дезертирство. Однажды Иностранный легион потерял 93 солдата-дезертира только за один-единственный день. С весны 1866 г. бегство из французской армии стало превышать боевые потери.
Между тем в августе 1865 г. Бенито Хуарес и остатки его правительства были оттеснены в Эль-Пасо дель Норте (ныне Сиудад Хуарес). Но французские войска и Мексиканская императорская армия не могли прогнать Хуареса. Несмотря на дезертирство и предательство, он все еще мог посылать свою армию на поле боя.
Тем временем Конгресс США единогласно принял резолюцию о непризнании учреждения монархии в Мексике. 12 февраля США потребовали, чтобы французы вывели свои отряды из Мексики. Также США приступили к подготовке морской блокады французских кораблей, чтобы французы не имели возможности поставлять в Мексику новых солдат, и выдвинули американские войска на позиции вдоль Рио-Гранде.
В это время в Европе стало очевидно, что война между Пруссией и Францией становится неизбежной. 22 января 1866 г. Наполеон III, опасаясь внезапного нападения прусских войск, объявил о постепенном выводе французских войск из Мексики. Их отвод начался 31 мая и закончился в ноябре 1866 года. А в июле 1866 г. во время Семинедельной войны прусские войска разбили австрийскую императорскую армию в сражении при Каниггратце (ныне — Садова, Чешская республика). После этого на улицах Парижа стали говорить, что Францию ждет участь Австрии. Теперь Наполеону III солдаты были нужны на другом берегу Атлантики.
Но не только война с Пруссией стала причиной решения императора вывести из Мексики свои войска. Французский монарх понимал, что мексиканская война обходится для его страны неоправданно дорого и с каждым годом расходы на нее только растут. Так, к концу 1866 г. заокеанская авантюра обходилась Франции в 60 млн ежегодно. Весной Франц Иосиф завербовал 4 тыс. солдат для отправки в Мексику, но 6 мая США направили протест Австрии по поводу участия в конфликте австрийских добровольцев. Одной угрожающей телеграммы от госсекретаря США Уильяма Сьюарда было достаточно, чтобы австрийский император отказался от этого замысла. Один за другим сторонники Максимилиана, дома и за границей, покидали его.
Незадачливый император попытался наладить отношения с президентом Хуаресом, предложив ему заключить мир. Но тот отклонил это предложение. Тогда Максимилиан отослал Шарлотту в Европу за помощью. Но Наполеон III не пошел навстречу его просьбам, а французские солдаты, очень недовольные авантюрой своего монарха, отправляться в Мексику не желали. Шарлотта пригрозила Наполеону отречением мужа от мексиканского престола, на что тот спокойно ответил:
