При всем его мощном складе ума, стремлении решать российские и мировые социальные и научные проблемы, он не смог создать достойные условия для жизни своей семьи, а возможно, и не слишком думал о «мелких» проблемах отдельной семьи, берег себя для обмозгования глобальных вопросов. В его с Н.И. Герцен (Захарьиной) браке было 9 детей, причем пятеро из них умерли в раннем детстве. Все их бытовые проблемы приходилось в большой мере решать его жене, которая устала от такой жизни и в начале 1850х гг. увлеклась немецким поэтом и политическим деятелем Георгом Гервегом и хотела уйти к нему от Герцена. В это время высланный из Парижа Герцен, его жена и сын Александр жили в Ницце, где они и познакомились с приехавшими супругами Гервегами. Герцен не сразу, но все же догадался, что отношения Г. Гервега к его жене переходят дружеские, а она сочувствует его милым страданиям и нешуточно увлечена им. В 1849 г. Герцены переселились в Швецарию. Хотя в 1850 г. у них родилась дочь Ольга и отношения в семье более-менее нормализовались, а с Г. Гервегом больше личных встреч не было, он вел себя недостойно по отношению к их семье. Например, он клеветал на несчастную и больную Наталью Александровну, что вело к новым осложнениям в семье Герценых. В этот период в Ницце на их семью обрушилось новое непоправимое горе. В 39 лет Герцен и его семья пережили (1852) гибель во время кораблекрушения его 56летней матери и их младшего 8летнего глухонемого сына Николая.
Постепенно все-таки стали снова налаживаться отношения Герцена с женой, тут Гервер (не отличавшийся большой порядочностью) прислал Александру Ивановичу письмо с вызовом на дуэль. Дуэль не состоялась, но низость и вероломство Гервега окончательно доконали Наталью Александровну. Весной 1852 г. она родила сына, но новорожденный прожил только сутки, а еще через сутки умерла сама она и была похоронена в Ницце. Смерть любимой жены была для Герцена тяжелейшим ударом, до конца оправиться от него он так и не смог. Получилось, что за 5 с половиной месяцев в Ницце (16 ноября 1851—3 мая 1852) А.И. Герцен потерял четырех дорогих людей. На его руках остались трое детей: Александр 13 лет, Наталья 8 лет, Ольга 4 года. Для Герцена наступил трудный период. Он искал спасения в активной общественной деятельности, в подготовке публицистических работ, организации народного движения. Для детей, потрясенных событиями в их семье не меньше, чем он, у него не оставалось необходимых сил, времени, терпения, любви, что сказалось на их психике и общем физическом здоровье. Герцен мечтал вернуться в Россию, но не мог это осуществить. Спасением для него снова стала работа, он начал писать свою книгу-исповедь, ставшую одним из его крупных и значительных художественных произведений – «Былое и думы» (1852—1868), ставшую энциклопедией жизни в России и Европе в первой половине ХIХ в., одним из шедевров русской мемуарной литературы.
Через 5 лет, в 45 лет, Герцен женился снова – его женой стала бывшая жена его друга Н.П.Огарева (они поженились в 1838, расстались в 1856) – Наталья Александровна Тучкова. Похоже, что и во втором браке он больше думал о мировых проблемах, чем о близких людях, нуждавшихся в его внимании, любви, материальной и моральной поддержке и заботе. И этот брак не оказался сполна счастливым. Он себе не мог объяснить, почему снова не мог создать счастливую семью, кто был виноват в проблемах его дома. Герцен не мог знать о сложном характере его второй жены. Она была замкнута на самой себе, ее эгоцентризм не знал пределов, была невероятно ревнива и требовательна. Обо всем этом его предупреждал ее бывший муж Н.П. Огарев, который изо всех сил пытался сглаживать отношения в новой семье. Наталья Алексеевна Герцен (Тучкова) безумно ревновала детей от первого брака Герцена к нему, считала, что им и его работе, а не ей и их общим детям он уделяет основное внимание. Вторая жена родила Герцену дочь Лизу в 1857 г. (она погибла в юности) и в 1861 г. близнецов Елену и Алексея (умерли в возрасте трех лет от дифтерита). Пока дети от второго брака были живы и здоровы, из-за второй жены Герцен не мог соединить всех своих детей в одну семью. Герцен не смог укротить нрав второй жены, которую судьба наказала вскоре гибелью их общих детей. Он разрывался между детьми от первого брака и второй семьей. Дети страдали, спокойствия не было и во второй семье. Получилось, что, создав теорию «русской революции», он в своих двух семьях позитивного сделать не смог почти ничего.
После этого трудно представить, что он мог давать дельные рецепты решения социальных болезней в обществе. Как курьез воспринимается в связи с этим и название его известного и самого значительного романа «Кто виноват?» (1841—1846). В 1847 г., в 35 лет, Герцен уехал за границу, побывал в разных странах В 1852 г. он приехал и обосновался в Лондоне, где в 1853 г. (ему 41 год) основал Вольную русскую типографию (тогда-то он и разработал теорию «русского социализма» – основу народничества). К этому времени он уже стал в Европе довольно популярной, влиятельной политической фигурой, известным общественным деятелем. В Лондоне пребывал в тяжелом состоянии духа, как-то написал в письме: «Мне в будущем ничего нет, и нет мне будущего». В эмиграции Герцен, будучи оторван от родной почвы, написал только несколько художественных произведений, причем не лучших из написанного им.
Получилось, что в России, даже в неволе, в ссылке, он создал свои лучшие произведения, а живя вне ее, за границей, как яркий писатель он себя проявить не смог. Похоже, что заниматься политической и общественной работой ему было интереснее и проще, чем создавать яркие и содержательные литературные произведения. Может быть, в этом сказалась отчасти его нелюбовь к постоянной ежедневной кропотливой работе, тем более что с возрастом все труднее было каждый день плодотворно трудиться, писать, а вдохновение, свежие творческие силы без России приходили все реже и реже.
Нужно учесть и то, что А.И. Герцен никогда, хотя бы относительно длительное время, реально не работал, то есть не был на государевой гражданской службе, не выполнял порученные задания начальства. Когда отец определил молодого Александра на службу к князю Н.Б. Юсупову в канцелярию Кремлевской экспедиции, то молодой человек только подписывал бумаги, никуда на службу не ходил, а через 3 года получил бумагу о повышении на службе. В ссылках в Перми, Вятке, Владимире, Великом Новгороде он также не работал много, хотя был куда-то определен для выполнения каких-то дел, но на службу регулярно не ходил, знать не знал, что такое рабочий график. Положение состоятельного, со связями человека (хотя и политически неблагонадежного) давало ему возможность для относительно свободной жизни, не обремененной трудами на государевой службе-работе. А.И. Герцен нарушил правила, женившись в 26 лет на своей двоюродной сестре, без разрешения родителей с обеих сторон, тайно увез ее, и они обвенчались.
Давала о себе знать яковлевская наследственность, склонность к чрезмерно вольной, в том числе личной, жизни с нарушением нравственных норм, но за это приходилось тяжело расплачиваться.
Отец Герцена – Иван Алексеевич Яковлев – 9 лет служил в гвардии, потом вышел в отставку, затем почти 11 лет жил и развлекался за границей, в 45 лет вернулся в Россию, стал жить без венчания с семьей в Москве. Он любил уединение и однообразие жизни. Имел двух незаконнорожденных детей: А.И. Герцена и старшего, неизлечимо больного сына. Любимый брат отца Герцена и любимый дядя Александра – Л.А. Яковлев (1764—1839) был посланником при вестфальском короле Иерониме Бонапарте, в 1820 г. стал сенатором. Когда вышел в отставку, жил барином в Москве, слыл добрым и приятным человеком. Оба брата гуманно обращались с их крепостными. Старший брат отца Герцена – Александр Алексеевич Яковлев (умер в 1825) был очень хорошо образован, одно время (как и И.А. Яковлев) служил в привилегированном полку, был адъютантом у князя Г.А. Потемкина, занимал пост обер-прокурора Синода (то есть был чиновником очень высокого ранга, стоявшим во главе высшего церковного управления), в его богатом доме в Москве родился А.И. Герцен. А.А. Яковлев был прижимистым, недружелюбным, эгоистичным человеком, жестоким крепостником, все это особенно четко проявилось, когда он вышел в отставку. Он имел нескольких незаконнорожденных детей. В возрасте за 60 лет женился на матери (ей за 50 лет) своего внебрачного совершеннолетнего сына Александра (1795—1868), узаконил его, сделал наследником, но унижал и тиранил его. Женился он и узаконил сына только для того, чтобы лишить своих взрослых младших братьев права на его наследство. Его узаконенный сын Алексей был психически и физически не вполне здоровым человеком, занимался с удовольствием только химией и чтением, ненавидел женское общество, детей не имел, жил один. У А.А. Яковлева была незаконнорожденная дочь – Наталья Александровна Захарьина, приходившаяся двоюродной сестрой А.И. Герцену. Они поженились (1838), нарушили светский и церковный запрет на родственные браки. Неудивительно, что, несмотря на большую любовь поначалу, брак их сполна счастливым не был, были обоюдные разочарования, из их четверых детей (пятеро умерли) один (Николай) был глухонемым. Как мы видим, за несоблюдение духовно-нравственных норм родителей расплачивались их дети. У отца Герцена И.А. Яковлева был еще один, также незаконнорожденный, сын, старше младшего на 10 лет, который был неизлечимо болен. Его 17 лет (с 13 до 30) бесконечно мучительно лечили, подвергли многим хирургическим операциям, он был полностью сломлен морально и физически. У старшего брата отца – А.А. Герцена также был незаконнорожденный сын, которого незадолго до смерти он узаконил. Но его сын Алексей был психически не вполне нормальным, физические болезни у него были серьезные. У семьи А.И. Герцена сын Николай был глухонемым, а младший сын – младенцем умер, едва родившись.