Но и самонадеянности Балдуина был вскоре положен конец. Греческие землевладельцы во Фракии предложили императорскую корону болгарскому царю Калояну – если тот изгонит латинян из Константинополя. Ранее, в 1204 г., Калоян был коронован как король (но не как император) посланником папы Иннокентия III и принял римскую юрисдикцию. Но Калоян так же стремился избавиться от крестоносцев, как и сами византийцы. 14 апреля 1205 г. он разбил франкскую армию в окрестностях Адрианополя, взяв в плен самого Балдуина, который в скором времени умер. Уже через год после захвата Константинополя власть латинян была подорвана. Во всей Малой Азии только Пиги на берегу Мраморного моря продолжали оставаться в руках франков.
Теперь наконец Феодор смог заняться обустройством нового государства – ни на секунду не сомневаясь в том, что его подданные рано или поздно смогут вернуться в свою законную столицу. Он следовал старым византийским образчикам во всех подробностях. В результате после его коронации в малоазийском регионе стало два восточных императора и два патриарха: латинские в Константинополе и греческие – в Никее, настроенные друг к другу крайне негативно.
В 1209 г. брат и наследник Балдуина Генрих, граф Эно, пойдя наперекор угрызениям совести, которые доставляли ему мысли о его крестоносной миссии, заключил военный союз с сельджуками – те также рассматривали новое греческое государство в Малой Азии как угрозу своим интересам. А в 1211 г. он нанес серьезное поражение Феодору – тогда Генрих дошел до Пергама и Нимфея. Но он испытывал слишком сильное давление со стороны болгар в тылу, чтобы развить свои успехи. В конце 1214 г. императоры пришли к заключению мирного договора: Генриху доставалось северо-западное побережье Малой Азии, на юге простиравшееся до Атрамиттиона; остальная же часть территории, достигавшая границы с сельджуками, отходила Феодору.
Молодая империя в конце концов получила со стороны крестоносцев формальное признание. Примерно в это же время в Латинской империи вновь наметился упадок – в июне 1216 г. Генрих умер в Фессалониках. Проявляя уважение к правам и религиозным убеждениям своих греческих подданных и достигнув баланса интересов с Никеей, он сумел удержать империю на плаву, хотя десять лет назад, когда Генрих пришел к власти, дело латинян выглядело проигранным. Генрих умер бездетным, и в наследники ему франкские бароны определили Пьера де Куртене, мужа его сестры Иоланты. Пьер, находившийся в это время во Франции, выступил с войском на Восток в первые недели 1217 г. К несчастью, он остановился вблизи Дураццо, возжелав отвоевать город у эпирского деспота, но его попытка потерпела фиаско. Пьер был схвачен, брошен в темницу, и о нем уже больше никогда ничего не слышали.
А вот императрица Иоланта мудро решила отправиться со своими детьми морем и вполне благополучно прибыла в Константинополь, где родила сына Балдуина и правила в статусе регента вплоть до своей смерти (1219). Иоланта продолжила примиренческую политику своего брата, отдав дочь Марию замуж за Феодора Ласкариса – та стала его третьей женой.
Однако известие об альянсе было с ужасом воспринято в Эпире, где стремительно восходила звезда деспота Феодора. С крайней непримиримостью относившийся к договору Никеи с Константинополем, заключенному в 1214 г., он утверждал, что Феодор Ласкарис браком с Марией совершил очередное предательство против дела византийцев. Правда же заключалась в том, что тщеславие Феодора не могло быть удовлетворено одним деспотатом. Он являлся законным правнуком Алексея I, и его притязания на имперский трон имели гораздо большее основание, чем претензии Ласкариса. В ближайших планах деспота было взять под контроль Фессалоники. Но и они в глазах Феодора Ангела Комнина Дуки являлись лишь промежуточным пунктом на пути к самому Константинополю.
После смерти Бонифация Монферратского в 1207 г. Фессалониками стала управлять его вдова, выступавшая в роли регента своего сына Димитрия. Но вскоре после прибытия императрицы Иоланты в Константинополь стало ясно, что Фессалоники не могут более рассчитывать на неизменную поддержку со стороны Латинской империи и их дни в качестве независимого государства сочтены. Осенью 1224 г. Фессалоники пали. Отныне Феодор Эпирский стал верховным правителем на территории от Адриатики до Эгейского моря. Немедля он бросил открытый вызов Ласкарису, будучи коронован епископом Охридским как император римлян. Так, на месте единой империи, существовавшей еще несколько десятилетий назад, ныне было четыре империи – три греческих и одна латинская. И невдалеке уже маячила пятая: Второе Болгарское царство развивалось быстрыми темпами.
Царь Калоян во времена своего правления подчинил себе значительную часть Фракии и Македонии и неизменно держал на прицеле бывшую византийскую столицу. Его второй по счету преемник Иван Асень II также жаждал заполучить Константинополь. Самым слабым из означенных государств оказалась Латинская империя, чья территория к 1225 г. была сведена к Константинополю, непосредственно примыкавшему к нему с северо-запада региону и небольшой области Малой Азии, лежавшей к югу от Мраморного моря. Иоланта умерла в 1219 г.; ее сын Роберт был беспомощным юношей, которого во всех отношениях оставили далеко позади Феодор, Иван Асень и Иоанн Ватац, который в 1222 г. унаследовал Никейскую империю от своего тестя Феодора Ласкариса. После показательного разгрома, учиненного войску Роберта Ватацем, латинский император уже не мог и мечтать о захвате Фессалоник. С этого момента он предался праздной, беспутной жизни и умер в январе 1228 г.
Роберт не оставил детей, и поскольку его брату и наследнику Балдуину II исполнилось к этому времени только одиннадцать лет, франкские бароны решили сделать регентом самого выдающегося из оставшихся к тому времени в живых крестоносцев: бывшего короля Иерусалимского Иоанна Бриеннского (Жана де Бриенна). Хотя ему было около восьмидесяти лет, он все еще находился в добром здравии и имел четырехлетнюю дочь. Иоанн, однако, выдвинул ряд условий. Юный император должен был незамедлительно жениться на малолетней дочери Иоанна Марии, а ей надлежало выделить определенную территорию во владение. Самого Иоанна следовало признать полноправным императором, а Балдуин наследует престол только после его смерти. Если же Балдуин достигнет двадцатилетнего возраста и не станет к тому времени латинским императором, ему передается в управление Никейская империя вместе со всеми франкскими владениями в Малой Азии. Эти условия были приняты, но Иоанн не торопился заступить на трон: только осенью 1231 г. его корабль появился в бухте Золотой Рог. Через несколько дней Иоанна короновали как императора в соборе Св. Софии.
Во время этого трехлетнего междуцарствия баланс сил на Балканах претерпел радикальные изменения. В апреле 1230 г. император Феодор потерпел поражение в бою с Иваном Асенем, оказался в плену и был ослеплен. Правда, его брату Мануилу дозволили оставаться в Фессалониках с сохранением титула деспота, но только потому, что тот состоял в браке с дочерью Асеня. Мануил являлся марионеткой в руках своего тестя и не особо претендовал на нечто большее. Благодаря такому повороту событий латинянам удалось избежать почти что гарантированного уничтожения, на которое их совсем уж было обрек народ, в прошлом откровенно презираемый крестоносцами. Теперь им пришлось стать свидетелями беспрепятственного продвижения Ивана Асеня через Балканы – от Адриатики до Черного моря.