Впрочем, и это время можно поделить на этапы. Первые три года Гюго безвыездно прожил на острове Джерси, сняв дом, которому дал название «Марин-Террас». Он стоял на восточной окраине Сент-Хелиера, в довольно пустынном тогда месте. Самое короткое расстояние до французского берега от острова было менее 30 километров, но дом Гюго находился на южном берегу и смотрел не на Нормандию, а на Бретань, до которой было в два раза дальше, но и там можно было различить маяк города Сен-Мало, в котором был похоронен Шатобриан.
Островитяне сохраняли немало древних обычаев. Так, 29 мая 1853 года Гюго увидел телегу, украшенную дубовыми ветками. Оказывается, обряду было уже почти 200 лет — в этот день английский король Карл II спасся в дупле огромного дуба после своего поражения в битве при Вустере в 1651 году. В том же году, в ночь с 1 на 2 апреля, Гюго стал свидетелем крайне редкого события для этих мест — землетрясения.
Однако джерсийская идиллия, наполненная трудом и прогулками по берегу моря и мечтаниями у древних дольменов и менгиров, а также встречами с эмигрантами, среди которых были известные люди, например христианский социалист Пьер Леру, продлилась сравнительно недолго. Виктор Гюго вступился за эмигранта-республиканца Феликса Пиа, который в своей статье довольно грубо высмеял королеву Викторию за визит к Наполеону III, что возмутило чопорных джерсийцев, добропорядочных монархистов, а в «копилке» претензий властей к Гюго их накопилось уже приличное количество, в том числе открытое письмо премьер-министру Пальмерстону с протестом против смертной казни на островах. В итоге 27 октября 1855 года Гюго объявили приказ местного губернатора о том, что он высылается с Джерси. Через четыре дня поэт отправился на остров Гернси. Несмотря на краткость пребывания, Гюго был обязан Джерси написанием большей части сборников «Возмездия» и «Созерцания».
Гернси был менее населённым и несколько меньшим по размерам островом, но в целом очень похожим на Джерси. Чтобы обосноваться прочнее, поэт решил купить недвижимость. В мае 1856 года он стал собственником особняка, названного им Отвиль-хаусом, приобретённого им на гонорар за сборник «Созерцания». Как он объяснял впоследствии, «я купил здесь дом, получив тем самым право убежища и неприкосновенность; в четвёртый раз изгнание мне здесь не угрожает». Теперь его жилище смотрело на восток, то есть на нормандское побережье Франции, находящееся в 50 километрах, которое он порой мог различать. На три года Гюго с головой ушёл в ремонт и переоборудование дома, со вкусом истинного художника создавая интерьеры и подбирая обстановку, превратив его в подлинный шедевр дизайна, говоря современным языком. Отвиль-хаус стал для многих во Франции чем-то вроде Ясной Поляны в России десятилетиями позднее. Сюда приезжали противники режима, чтобы засвидетельствовать своё почтение легендарному поэту и борцу. Недаром французский писатель Анри Труайя отмечал: «...в стране тогда было две власти: Наполеон III во дворце Тюильри и отделённый от Франции морскими волнами Виктор Гюго в “Отвиль-хаусе”». Примерно такими же словами говорили о Льве Толстом и царе Николае II.
Здесь он безвыездно прожил пять лет, не считая краткого плавания на соседний островок Сарк в 1859 году. Первый раз на несколько дней Гюго покинул Гернси в июне 1860 года, посетив Джерси, где состоялась манифестация в поддержку похода Гарибальди — знаменитой «Тысячи». Но в 1860-е годы образ жизни Гюго поменялся. Он стал регулярно выезжать на континент. Первый раз он отправился 25 марта 1861 года и пробыл в Бельгии до 3 сентября. Все последующие годы летние поездки на континент продолжались, за исключением 1862-го. Помимо Бельгии, Гюго посещал Люксембург, прирейнские города Германии, такие как Майнц, Кёльн, Ахен, а также в 1869 году побывал в Швейцарии, где спустя 20 лет он вновь председательствовал на Конгрессе мира в Лозанне. По пути он порой ненадолго заезжал в Лондон. Адель, впрочем, стала покидать Гернси ещё раньше, с 1858 года, и надолго (один раз даже в течение двух лет) приезжала в закрытый для её мужа Париж. Виктор Гюго отверг объявленную в 1859 году Наполеоном III амнистию, заявив: «Я вернусь, когда вернётся свобода».
Таким образом, Гюго не оставался на своём острове в изоляции и был в курсе последних достижений, таких как электрический телеграф. Но раньше всего его внимание привлекла фотография, точнее, появившаяся в самом конце 1830-х годов дагеротипия. Сыновья Шарль и Франсуа Виктор в ноябре 1852 года задумали издать книгу «Джерси и Нормандский архипелаг» со стихами отца и своими фотографиями. В марте — апреле 1853-го Шарль даже специально прошёл в нормандском городе Кане курс обучения фотографии, где узнал о новейших достижениях на этом поприще. Последующие два года прошли у изгнанников под знаком увлечения фотографическими снимками. Гюго-отец выступал и как постановщик сцен, и как главный их герой. Благодаря этому до нас дошло множество фотографий поэта начального периода изгнания. Особенно он любил позировать на фоне приморских скал, с видом отрешённого мыслителя, внимающего Богу, как он сам надписал один из снимков.
На портретных фотографиях, снятых в помещении (а это первые по времени, дошедшие до нас реальные изображения поэта), мы видим ещё не старого человека, с высоким лбом, длинными, зачёсанными назад волосами, большим «утиным» носом, не очень красивого, усталого. На джерсийских снимках ещё нет знаменитой бороды, он отпустил её позже, уже на Гернси. Поэтому портреты Гюго до пятидесяти пяти лет сильно отличаются от его изображений в старости, на которых изображён могучий старец, с жёстким ёжиком седых волос, аккуратно подстриженной бородой и внимательными глазами. Поскольку бороды вошли в моду только при Июльской монархии, многие современники Гюго так и не имели их до конца жизни, как, например, Ламартин и даже представители более молодого поколения — Флобер и Бодлер. Гюго же пусть и не сразу, но принял эту моду, но со своими особенностями — длинной бороды он не носил. Будучи человеком со вкусом, с острой зрительной памятью и природным пониманием композиции, Гюго сумел придать творчеству сыновей-фотографов монументальность и чувство величия природной стихии, особенно океанической. Правда, из проекта ничего не вышло, книгу забросили, а вслед за ней и фотографирование.
Но на смену пришло новое модное увлечение. Осенью 1853 года на Джерси в гости к Гюго приехала Дельфина Жирарден — супруга крупного газетного издателя, редактора популярной ежедневной газеты «Ля Пресс» Эмиля Жирардена, человека ловкого и влиятельного, хотя и беспринципного. Во время переворота 1851 года он успел попасть под раздачу и на какое-то время бежал из Франции, но вскоре вернулся. Дельфина была писательницей, хозяйкой светского салона — как и её мать, также писательница, Софи Гэ. Она поведала семейству Гюго о новой моде — «верчении столов» или вызывании душ умерших. Зимой 1852/53 года спиритизм как раз дошёл до Европы из Америки (где зародился в 1852 году). Англия, а затем Франция были охвачены столоверчением, принявшим в высшем обществе характер помешательства. Вера спиритов в медиумов и общение с душами умерших базировались на кризисе веры — как раз накануне выхода книги Дарвина о происхождении видов, в эпоху быстрого прогресса технологий, однако не приносящих счастья тогдашнему человечеству. Пустоту в душе заполняли всякого рода суеверия. Француз Аллан Кардек стал пророком среди спиритов, кем-то вроде Эммануила Сведенборга своего времени.
