Выбор короля стал причиной некоторого разочарования среди тех, кто считал, что король должен жениться только на особах королевской крови. Тот факт, что Эдуард вступил в брак с Елизаветой тайно, бежав от своих придворных в первый день мая 1464 года под предлогом того, что отправился на охоту, позволяет предположить, что он сам сознавал, что совершает мезальянс. Также считалось, что предпочтительнее жениться на девственнице. В письме с новостями из Брюгге, написанном осенью 1464 года, говорится, что «бо́льшая часть лордов и народа, кажется, весьма разочарована этим браком и изыскивает средства, чтобы его аннулировать, все аристократы держат большой совет в городе Рединге, где находится король». Ричард Невилл, граф Уорик, уже начал переговоры с французским королем по поводу женитьбы Эдуарда на свояченице Людовика XI. Теперь все эти планы пошли прахом. «Совещания» лордов были совершенно бессмысленны. Как отмечал друг Уорика, «мы должны быть терпеливы друг к другу». 29 сентября 1464 года Уорик и герцог Кларенс, младший брат короля, сопроводили Елизавету Вудвилл в часовню аббатства в Рединге, где собравшиеся аристократы чествовали ее как законную королеву.
Следующим летом Генрих VI был захвачен в плен; после поражения в Таутоне он скрывался в Шотландии и в замках оставшихся ему верными людей в Северной Англии. Он фактически являлся королем в изгнании, настолько незаметным, что Эдуард даже не был уверен, в каком именно графстве прячется Генрих. Маргарита же нашла убежище в землях своего отца в Анжу. Старого короля заметили на обеде, который его сторонники давали в Рибблсдейле; он бежал из этих мест, но был предан монахом. В конце концов Генриха схватили в лесу под названием Клитервуд, практически на границе Ланкашира, и привезли в Лондон на лошади, привязав его ноги к стременам; рассказывали, что на нем была соломенная шляпа и какие-то злобные горожане бросали в него мусором. Следующие пять лет Генрих оставался в Тауэре с небольшим штатом придворных, которые должны были прислуживать узнику, известному просто как Генрих Виндзорский.
Семья новой королевы, Вудвиллы, приобрела влияние при дворе и могла стать угрозой положению Уорика и других Невиллов. Также король организовал ряд браков между близкими родственниками Елизаветы и различными аристократами; поскольку у нее было пять братьев и семь сестер, то эти браки уничтожили перспективу построения родственных связей для многих более видных семей. Младший брат Елизаветы, к примеру, в возрасте двадцати лет женился на шестидесятипятилетней герцогине Норфолк; герцогиня была богатой вдовой, уже успевшей похоронить трех мужей, также она являлась и теткой самого Уорика. О чувствах Уорика по поводу того, что в те времена описывали как «дьявольский брак», история умалчивает. В мыслях он мог рассудить, как говорилось на языке того времени, что честь его семьи запятнана и что его пожилая родственница выставлена на посмешище. На деле пожилая леди пережила своего юного супруга, который кончил жизнь на плахе. Людовик XI предал огласке тот факт, что он получил письмо, где описывалось разочарование Уорика поведением Эдуарда; он даже намекал, что Уорик может пытаться свергнуть своего суверена, но все это пропало в тумане дипломатических предположений и фразерства. Французский король прославился прежде всего тем, что его прозвали «король-паук».
Более ощутимым источником разногласий была внешняя политика страны. Уорик превыше всего желал союза с Францией, тогда как Эдуард предпочитал согласие с Бургундией и Бретанью. Использовались самые разные политические средства. Уорик получал множество милостей от Людовика XI, тогда как Вудвиллы имели родственные связи с бургундскими аристократами. Также Бургундия была самым крупным рынком для экспорта английских тканей и, таким образом, важным торговым партнером английских купцов. В любом случае французы были старыми врагами, которые теперь принимали послов от Маргариты Анжуйской.
В 1467 году было подписано торговое соглашение между Англией и Бургундией, за ним незамедлительно последовало мирное соглашение и брак сестры Эдуарда Маргариты с герцогом Бургундским. Разочарованный поражением Уорик удалился в свои поместья в Йоркшире, где, судя по слухам, начал плести интриги против своего суверена; говорили, что он сумел вовлечь герцога Кларенса в заговор против трона. Французский хронист Жан де Ваврен сообщал, что Уорик обещал Кларенсу корону его брата. Старый союз разрушился.
Весной и осенью 1467 года ходили и другие слухи. Самый удивительный из них состоял в том, что двое непримиримых врагов Уорик и Маргарита Анжуйская заключили союз и собираются вторгнуться в Англию с целью свержения Эдуарда IV. Не ясно, кто предложил эту сделку, но многие подозревали, что король Франции сделал бы все, что угодно, чтобы поддерживать беспокойство и бунты во вражеской стране. Тем не менее Уорик и его рыцари еще бывали при английском дворе и с виду находились с королем в хороших отношениях.
Перелом наступил летом 1469 года. В июне в северных ширах вспыхнуло восстание, подготовленное «Робином из Ридсдейла», также известным как Робин Исправь-все (Robin Mend-All), или сэр Джон Коньерс, двоюродным братом самого Уорика; отчасти это восстание было народным, его организовали те, кто был недоволен правлением Эдуарда. Король отправился в паломничество в Уолсингем, но, услышав новости о беспорядках, прервал свое богоугодное путешествие и вместе со свитой двинулся в Ноттингем. Со всех сторон до Эдуарда доходили слухи о коварных замыслах как Уорика, так и его младшего брата; также говорили, что в заговоре участвовал брат Уорика Джордж Невилл, архиепископ Йоркский. Он отправил всем троим вызывающие послания, требуя безусловной верности и подтверждения того, что они «не замышляли ничего против нас, как об этом говорят слухи».
Но ответа король не дождался. Вместо этого он узнал, что герцог Кларенс собирается жениться на дочери Уорика, несмотря на то что Эдуард запретил этот союз, и что все заинтересованные стороны отплыли в Кале, чтобы там провести церемонию. Это было открытым неповиновением и вызывающим поведением.
Из Кале Уорик и его союзники распространили обращение о том, что они становятся на сторону северных бунтовщиков против короля, чье правление было «лживым, алчным и направлялось некими растлевающими его личностями». Под этими личностями, разумеется, имелись в виду Вудвиллы, которых король ради безопасности уже попросил вернуться на их земли. Уорик пригласил своих сторонников встретиться с ним в Кентербери 16 июля. Возможно, он намеревался объявить правление Эдуарда незаконным и заменить его Кларенсом. Это уже была не борьба между Йорками и Ланкастерами, а схватка между двумя ветвями Йорков.
Уорик и его недавно увеличившаяся армия пересекли Ла-Манш и направились к Лондону, в котором граф был чрезвычайно популярен; затем они двинулись на Ковентри, где собирались присоединиться к людям Робина из Ридсдейла. Королевская армия бросила им вызов, но неожиданная атака сил повстанцев заставила ее разбежаться. Некоторые из командиров армии короля подчинялись приказам Уорика, и в потрясающем акте неблагодарности он казнил их на следующий день.
Сам Эдуард в это время двигался навстречу своей армии и не знал об этом поражении до тех пор, когда уже поздно было поворачивать назад. Его люди спешно покинули его — только это и можно было понять из сбивчивых рассказов. Король решил вернуться в Лондон в сопровождении небольшого отряда, когда, к его удивлению, появилась армия архиепископа Йоркского. Эдуард со всей полагающейся учтивостью был взят в плен и спешно заключен в замке Уорика. Двоих самых влиятельных членов семьи Вудвилл — отца и младшего брата королевы — схватили и обезглавили по приказу Уорика. Теперь он контролировал и страну, и короля.
