Отец — вспыльчивый добряк, добросовестно тянувший лямку службы, легкомысленный и влюбчивый. Мать — строгая и замкнутая, вышедшая замуж скорее по расчёту. По убеждениям она являлась вольтерьянкой, не ходила в церковь, хотя и была всей душой за старый режим — ещё одно противоречие, хотя и весьма распространённое в то время. Увлечение идеями Вольтера вовсе не обязательно должно было вести к республиканизму.
Разлад между родителями начался очень скоро: их расхождению способствовали не только несходство характеров и отсутствие взаимной привязанности, но и частые разлуки, вызванные постоянными перемещениями Леопольда, перебрасываемого из гарнизона в гарнизон. Трое родившихся один за другим сыновей — Абель (1798—1855), Эжен (1800—1837) и Виктор — не сблизили их. Любопытно заметить, что все трое детей выжили — редкий случай по тем временам. Но была ещё одна причина отстранения Софи от мужа: она влюбилась в крёстного Виктора — генерала Виктора Клода Александра Фанноде Лагори (1766—1812) (ребёнка назвали в его честь), и между ними начался длительный роман.
Леопольд тоже не терял времени даром и завёл любовницу, некую Катрин Тома. После падения Директории, при которой царили особенно распущенные нравы (были отменены церковные браки), стала ужесточаться мораль — предвестие Империи, но французское жизнелюбие не исчезало никогда, и шлейф постреволюционного эротизма тянулся ещё долго. Правда, армейский политес требовал камуфляжа недозволенных отношений, и Гюго-отец пока что скрывал любовницу от посторонних.
Тем временем Леопольд Гюго был переведён в Марсель, куда уехал с тремя детьми, включая новорождённого Виктора, для которого он нанял кормилицу. Софи осталась в нормандском замке, рядом с де Лагори. Так состоялась первая встреча с морем великого, в будущем, его певца. Гюго посвятил водной стихии бесчисленное множество стихотворений и один из своих романов. Затем вслед за отцом Виктор переплыл на Корсику, а оттуда на другой средиземноморский остров — Эльбу, связанную после с Наполеоном. Стоит отметить, что мир Средиземноморья, в том числе французского, в творчестве Гюго почти не отразился — его не тянуло ни на Лазурный Берег, ни в Прованс, ни в Лангедок — взрослым человеком он побывал на юге Франции лишь однажды.
Империя означала доминирование Франции на континенте и присутствие её войск от Португалии до Польши, а в какой-то момент и в Москве. Виктор Гюго коснулся в своей поэзии русско-французских войн. В 1876 году он написал стихотворение о битве с русскими под Прейсиш-Эйлау — «Кладбище в Эйлау», своего рода аналог лермонтовского «Бородино», зарифмованный рассказ его дяди Луи Гюго, наполеоновского офицера, слышанный в детстве. А почти двадцатью пятью годами ранее, в поэме «Искупление» из сборника «Возмездия», описал зимнее отступление армии Наполеона из Москвы.
Ребёнком Виктор Гюго успел побывать в разных географических точках Европы, следуя за поворотами военной судьбы отца. Леопольда Гюго после Эльбы ждало новое назначение — на юг Италии, в Неаполитанское королевство, недавно захваченное французами. Жозеф Бонапарт, брат императора, ставший королём в Неаполе, поручил ему, учитывая его опыт подавления восстания в Вандее, поимку знаменитого бандита Фра-Дьяволо, возглавлявшего партизанскую войну против захватчиков. 1 ноября 1806 года майор Гюго захватил Фра-Дьяволо, которого позднее повесили в Неаполе. За это достижение он получил звание полковника и должность военного губернатора провинции Авеллино. К тому времени дети вновь жили со своей матерью в Париже. Услышав о подвигах мужа, Софи с сыновьями отправилась к нему, хотя Леопольд её не приглашал, привыкнув к жизни с любовницей.
Поездка в Италию стала для пятилетнего Виктора первым длительным путешествием, которое он запомнил. Предстояло проехать всю Францию, перевалить через Альпы и далее проследовать большую часть Италии через Турин, Флоренцию, Рим. Но жизнь в Неаполе надолго не затянулась, примирения между родителями не произошло, и семья полковника отправилась в обратный путь.
Второе путешествие состоялось спустя три года. К тому времени полковник Гюго уже служил в Испании под началом того же Жозефа Бонапарта, ставшего по воле брата монархом за Пиренеями. Там он продолжил хорошо знакомое ему дело — охоту за повстанцами. В Испании разгорелась партизанская война, куда более масштабная, чем на юге Италии. Главным противником полковника Гюго выступил легендарный глава повстанческих шаек Эль Эмпесинадо (которого ему так и не удалось изловить), постоянно тревоживший французов дерзкими нападениями, нарушая их коммуникации. Борьба велась без правил — Леопольд Гюго арестовал мать и родственников Эль Эмпесинадо как заложников, тот в ответ расстрелял сотню пленных французов. Жестокость той войны ярко отражена в картинах и рисунках Франсиско Гойи. Одному из драматических кровавых эпизодов посвящено стихотворение Виктора Гюго об отце из сборника «Легенда веков» — «После битвы».
В 1811 году Софи с сыновьями вновь отправились в дальнюю дорогу — по приглашению Луи Гюго, желавшего примирения невестки с братом, поддержанного королём Жозефом. Теперь они ехали уже по западной, приморской части Франции, месяц провели в приграничном с Испанией городе Байонна, ожидая конвоя. По опустошаемой войной стране путешествовать иначе как в сопровождении трёх тысяч солдат было недопустимо. Далее путь лежал уже прямо в Мадрид. В памяти мальчика остались города Витория, Бургос, Вальядолид.
В испанской столице семья Гюго разместилась во дворце Массерано, проживая в роскошных условиях и наслаждаясь почётом, полагавшимся Леопольду Гюго, получившему к тому времени титул графа Сигуэнса. Король Жозеф выражал недовольство, что ставший уже генералом Леопольд, который занимал должность губернатора Гвадалахары, открыто живёт с любовницей — в эпоху Империи подобное считалось совершенно неуместным, требовалось соблюдать определённые правила приличия. Монарх потребовал от подчинённого примириться с женой и демонстрировать образцовую семейную жизнь. Для Леопольда приезд жены стал неприятным сюрпризом, он сделал попытку подать на развод, но в итоге ему пришлось временно подчиниться воле короля. Считая, что сыновья находятся под вредным влиянием матери, он определил старшего, Абеля, на службу пажом в королевский дворец, а младших отдал в дворянский колледж. Там Виктор овладел основами испанского языка, который начал изучать ещё перед поездкой. Это был единственный современный иностранный язык, который он худо-бедно знал и на котором порой вёл тайные записи в личных записных книжках.
Испания навсегда осталась в его сердце. Её истории посвящены циклы стихотворений в «Легенде веков», три пьесы, в том числе сделавшая имя Гюго знаменитым «Эрнани» (1830) и самая удачная — «Рюи Блаз» (1838). Взрослым человеком поэт посетит Испанию лишь однажды — в 1843 году, причём не далее её северного пограничного уголка, доехав до столицы Наварры — Памплоны, это путешествие он опишет в разделе «Альпы и Пиренеи» посмертно вышедшей книги «В пути» — своеобразных дневниковых заметок в виде писем. Однако детских впечатлений, дополненных чтением книг об Испании, писателю вполне хватит на всю жизнь. Интересно заметить, что его младшего современника, крупнейшего испанского поэта-романтика Хосе Соррилью-и-Мораля станут называть «испанским Гюго».
