Во всех смыслах она была женщиной незаурядной и не созданной для размеренной семейной жизни. Встреча в 1843 году в одном из светских салонов 23-летней Леони с Гюго стала для обоих важным событием. Он увлёкся молоденькой путешественницей и какой-никакой писательницей, а она получила поклонника, о котором прежде мечтать не могла — первого поэта Франции. Однако через два года их роман подвергся серьёзному испытанию.
5 июля 1845 года влюблённая пара была застигнута в укромной квартирке в самом центре Парижа ревнивым мужем в сопровождении полиции. Гюго пришлось показать комиссару, желавшему его задержать, свою медаль пэра Франции, означавшую иммунитет от ареста. Но Леони была доставлена в тюрьму Сен-Лазар. Через два месяца её оттуда перевели в монастырь Сен-Мишель, а потом — на полгода в монастырь августинок. Так поступали в то время с жёнами, уличёнными в адюльтере.
Происшествие с Гюго моментально стало известно всему Парижу. В нём он не выглядел героем, поскольку дама сердца оказалась в заточении, а он на свободе благодаря своему иммунитету. В скандал пришлось вмешиваться королю, который дал художнику Биару щедрый заказ, чтобы тот не преследовал поэта своими исками. В противном случае коллегам по палате его бы пришлось судить. Но самым интересным в этой истории было поведение Адели, которую очередная неверность мужа вовсе не огорчила. Для неё главным стало то, что изменили Жюльетте, которую она продолжала ненавидеть. И потому жена взяла на себя обязанность попечительства над Леони, навещала её в монастыре, а по выходе из него принимала любовницу мужа у себя дома. Леони поддерживала связь с Гюго на протяжении нескольких лет, вплоть до его изгнания из Франции. Он, в свою очередь, помогал разведённой по его вине женщине вплоть до её кончины в 1879 году, поскольку её литературных заработков (она начала карьеру писательницы) на жизнь не хватало. Плодом романа с Леони стали прекрасные любовные стихотворения, которые вошли в поздние сборники Гюго.
Помимо Леони и Жюльетты Гюго имел связи со многими женщинами, начиная от проституток и горничных. На пятом десятке лет поэт с лихвой наслаждался тем, чего был лишён в юности. Сегодня бы сказали, что он был одержим «сексуальной зависимостью». Но этот новомодный термин ничего не объясняет. Просто в Гюго было сильно мужское начало, и он жил так, как ему велело сердце. Но любовные приключения 1840-х годов, и прежде всего роман с Леони, помогали забыться от ужасной трагедии, постигшей Гюго.
Его старшая дочь Леопольдина, Дидина, как он называл её в детстве, в которой души не чаял, росла весёлой девочкой, любимицей отца. Он позволял ей рыться в своих рукописях и умилялся её словечкам. В 1838 году Дидина вместе с матерью и остальным семейством, за исключением самого Виктора Гюго, отправились на лето в Вилькье — нормандскую деревушку на Сене, в 40 километрах от устья. Там находилось поместье семьи Вакери, пригласивших их отдохнуть.
К тому времени у Гюго появилось два верных последователя — Поль Мерис и Огюст Вакери, учащиеся лицея Карла Великого. Оба были без ума от его стихов и драм и решили поставить у себя в заведении «Эрнани», на что автор дал разрешение. Молодые люди зачастили к поэту с визитами и стали своими в его доме. Огюст Вакери был сыном богатого нормандского судовладельца из Гавра, который имел виллу в Вилькье. Он и пригласил семью поэта погостить. Там четырнадцатилетняя Леопольдина встретила старшего брата Огюста — Шарля, которому был уже 21 год. На следующее лето визит повторился, и уже сам Виктор сопровождал своё семейство в Нормандию, прежде чем, как всегда, отправиться путешествовать с Жюльеттой. Между Леопольдиной и Шарлем вспыхнула симпатия, и вскоре молодые люди заговорили о браке.
Однако ряд смертей в семействе Вакери помешал свадьбе, да и супруги Гюго считали, что их Дидина ещё слишком юна для замужества, хотя против респектабельного Шарля, наследника дела своего отца, родители не имели ничего против. После ряда отсрочек свадьба была сыграна 15 февраля 1843 года.
В сентябре этого же года молодые супруги заехали погостить в Вилькье. 4 сентября Шарлю с дядей и племянником нужно было встретиться с нотариусом по делам наследства — отец Шарля незадолго перед этим умер. Нотариус проживал в соседнем селении Кодбек, выше по Сене на четыре километра, и было решено плыть на парусной лодке. Шарль предложил Леопольдине прокатиться с ними, но та сначала отказалась, сказав, что не одета для подобного путешествия. Уже погрузившись в лодку, Шарль вернулся домой за камнями для балласта, и Леопольдина, передумав, попросила подождать её пять минут — она переоденется и отправится с ними.
Нотариус, когда визитёры собрались из Кодбека в обратный путь, предложил им свой экипаж, отговаривая возвращаться на лодке ввиду безветренной погоды, однако Шарль отказался. Они уже подплывали к Вилькье, на берегу стояла мадам Вакери, встречавшая сына и невестку. Вдруг налетел внезапный порыв бурного ветра и опрокинул лодку, сорвав парус.
Все четверо упали в воду. Крестьяне, наблюдавшие за трагедией с берега, рассказывали, что голова Шарля, отличного пловца, несколько раз появлялась над водой — он, набрав воздух, нырял за Леопольдиной, пытаясь её спасти. Но, поняв, что его усилия напрасны, он отказался плыть к берегу, видимо, решив разделить судьбу с люби мой. Супругов похоронили вместе, в одном гробу. Из находившихся в лодке не спасся никто.
Гюго в это время был вдали и от Парижа, и от Вилькье. Они с Жюльеттой совершали давно задуманное путешествие по Испании и юго-западу Франции. Прежде, пока не закончилась карлистская война, посещать эту страну было опасно. Впрочем, «по Испании» звучит несколько преувеличенно. Путешественники пересекли границу в районе Бискайского залива, посетили города Ирун, Сан-Себастьян, Памплону (столицу Наварры) — всё неподалёку от Франции, в северо-западном уголке Испании. Гюго наслушался баскской речи, посмотрел на горы, долины и море. Затем они вернулись на родину, посетили Пиренеи — Лурд, Котре, Гаварни и другие горные селения, а после проехались по бесконечным равнинам Аквитании и Пуату, откуда вернулись к Атлантическому океану и переплыли на остров Олерон. Оттуда они направились в город Рошфор на реке Шаранте и, находясь по пути в селении Субиз, на противоположном берегу, прочитали в газете ужасную новость.
Гюго был раздавлен этим известием. Потеря дочери стала для него тяжелейшим испытанием всей жизни — «Я был как безумец в первый момент... я горько плакал три дня», — писал он в одном из стихотворений. К этому дню поэт многократно возвращался в своих стихах, одно из которых, «Завтра, на заре», знают наизусть почти все французы. В конце концов он пришёл к успокоительной мысли, что смерти нет и души умерших всё время незримо присутствуют рядом с живыми.
Последующие четыре года до падения Июльской монархии — с 1844-го по 1847-й — были заполнены не только горькими воспоминаниями и эротическими приключениями. Всё это время, точнее сказать, с 1841 года, даты его избрания в академики, Гюго пребывал в противоречивом статусе. С одной стороны, он был не просто знаменитым поэтом, но и официально признанным членом французского истеблишмента — академиком, позже пэром. Но с другой — его наблюдательность, восприимчивость и совестливость никуда не делись. Поэтому, находясь на вершине успеха, Гюго не забывал о малых сих.