Белгородско-Харьковскому направлению Гитлер придавал огромное значение. Не случайно Харьков — вторую столицу Украины — он назвал «ключом от ворот Украины». И это соответствовало истине. В этом районе была создана мощная группировка, в состав которой входили 18 дивизий (из них 4 танковые), а также большое количество отдельных частей и подразделений. Она насчитывала 200 тысяч человек, а вместе с тылами — 300 тысяч, а также 3,5 тысячи орудий и минометов, около 600 танков и 900 самолетов. Кроме того, на этот участок фронта было дополнительно направлено еще 5 танковых, моторизованная и 4 пехотные дивизии. Линия обороны была весьма прочной и состояла из главной и вспомогательной полос обшей глубиной до 18 километров. Главная полоса (6—8 километров) состояла из двух позиций; опорные пункты и узлы сопротивления были соединены между собой ходами сообщения полного профиля. Вторая полоса имела глубину 2—3 километра. Между первой и второй была еще промежуточная позиция. Населенные пункты были превращены в настоящие крепости.
Прорыв немецкой обороны открывал для советских войск путь к Днепру и создавал реальную угрозу тылу и коммуникациям Донбасской группировки противника. Одновременно немецкая промышленность лишалась возможности использовать месторождения угольного бассейна.
Без всякого промедления Николай Федорович приступил к подготовке предстоящей операции, на которую отводилось всего десять дней. Организовать эту операцию было непросто: требовалось нанести мощный удар по основной группировке противника, не обходя ее, а рассекая и уничтожая.
Как и раньше бывало в преддверии операций, Николай Федорович постоянно находился в войсках. Его «виллис» кочевал из одной армии в другую. Командующий хотел видеть всё своими глазами, поэтому часто бывал на переднем крае, встречался не только с командирами, но и солдатами. А по возвращении на свой командный пункт внимательно изучал боевые донесения, оперативные сводки, фотопленки воздушной разведки. С полным напряжением трудились офицеры и генералы управления фронта, штабов армий, корпусов и дивизий. Дни и ночи напролет они сидели над картами, выезжали на местность, делали расчеты, разрабатывали документы, согласно которым шаг за шагом готовилось масштабное наступление.
Опытный военачальник, Ватутин хорошо понимал, что успех операции зависит от многих факторов. Поэтому по его распоряжению к участку прорыва была подтянута мощная артиллерия, сюда же нацелили бомбардировочную авиацию фронта.
Он также придавал важное значение мероприятиям по дезинформации противника. В частности, чтобы ввести немецкое командование в заблуждение относительно действительного направления главного удара, на правом фланге, рядом с городом Суджа, в полосе 38-й армии имитировалось сосредоточение одной танковой и одной общевойсковой армий, а также артиллерии усиления. В этом районе работали радиостанции, которые в непрерывном режиме осуществляли прием и передачу ложных сообщений. Сюда постоянно шли эшелоны, из которых выгружались макеты танков, орудий, пустые ящики из-под мин, снарядов и продовольствия... По проселочным дорогам двигались танки, орудия, автотранспорт, пылила матушка-пехота. А с наступлением ночи все это «хозяйство» возвращалось на восток, чтобы утром вновь прибыть в ложный район сосредоточения.
— Похоже, товарищ командующий, немцы заглотили нашу наживку вместе с крючком, — доложил Ватутину начальник штаба фронта генерал Иванов.
— Есть данные разведки? — спросил командующий.
— Да, Николай Федорович. На Сумском направлении гитлеровцы увеличили количество разведывательных полётов, было несколько бомбардировок железнодорожных станций, макетов танков и орудий. Кроме того, в район города Сумы противник перебросил две дивизии — одну танковую и одну моторизованную...
— Значит, Семен Павлович, не напрасны были наши труды, — не без удовлетворения сказал Ватутин. — Это хорошо. Ротмистрову и Катукову будет легче идти в прорыв.
Первого августа неподалеку от Прохоровки, в селе Береговом, где располагался командный пункт 5-й гвардейской танковой армии, представитель Ставки маршал Жуков и командующий Воронежским фронтом генерал армии Ватутин провели совещание с командующими армиями и командирами корпусов. На нем шла речь о готовности войск фронта к проведению Белгородско-Харьковской операции. Совещание было коротким. Заслушав доклады командармов и комкоров, Жуков проинформировал собравшихся о замысле операции.
— Ставка Верховного главнокомандования, — сказал Георгий Константинович, — приняла решение нанести по группировке гитлеровцев удар войсками смежных флангов Воронежского и Степного фронтов из района юго-западнее Белгорода в общем направлении на Богодухов, Валки с целью рассечь немецко-фашистские войска на две части, а затем разгромить главные силы противника в районе Харькова.
Выступление Николая Федоровича было посвящено деталям операции. Используя карту, он изложил задачу Воронежскому фронту.
— Наша задача, — сказал Ватутин, — ударом 5-й и 6-й гвардейских общевойсковых армий прорвать оборону противника и вводом в прорыв фронтовой подвижной группы в составе 1-й и 5-й гвардейских танковых армий в высоких темпах развить наступление в общем направлении на Золочев, Валки в обход Харькова с запада...
Операция началась утром 3 августа с мощной артиллерийской и авиационной подготовки. Затем вперёд пошли 5-я и 6-я гвардейские армии. К 13 часам их части продвинулись на 4—5 километров. Для наращивания удара Ватутин одновременно ввел в сражение соединения первого эшелона двух танковых армий, корпуса которых завершили прорыв тактической обороны гитлеровцев и, продвигаясь к югу, вскоре разобщили Томаровcкий и Белгородский узлы сопротивления. Войска фронта наступали быстро и решительно. В результате армии фронта только за один день продвинулись вперед на 30 километров. Наступая на одном оперативном направлении, 1-я и 5-я гвардейские танковые армии чем-то напоминали острый бронированный меч, наносящий глубокий рассекающий удар.
По оценке военных экспертов, это был первый случай в Великой Отечественной войне, когда для развития успеха в качестве подвижной группы фронта одновременно были задействованы две танковые армии.
Командующий 1-й танковой армией генерал-лейтенант М. Е. Катуков в своих мемуарах «На острие главного удара» писал: «В памяти моей запечатлелось грандиозное движение советских танков, вошедших в прорыв. Мы шли по правой стороне пятикилометрового коридора двумя корпусными колоннами. Слева таким же порядком двигалась 5-я гвардейская армия. Нас прикрывала с воздуха эскадрилья “Яков”. Между колоннами сохранялась зрительная связь. За всю войну еще никто из нас не видел такого скопления советских танков на столь узком участке фронта.
Пройдя коридор прорыва, корпуса развернулись и вступили в бой с гитлеровцами... 1-я танковая армия получила задачу: развивая успех соединений 5-й гвардейской, наступать в общем направлении на Томаровка — Богодухов — Валки, перерезать пути отхода противника на юго-запад.
Наступление развивалось успешно. В первый же день наши соединения продвинулись на 15—30 километров и отсекли Белгородскую группировку врага от Томаровской».