Брак не распался, но супружеская верность потеряла смысл для обоих. В пятидесятые годы промышленник входил в круг тех высокопоставленных господ, которые общались со знаменитой франкфуртской проституткой Роземари Нитрибитт. Ее клиентами были сливки высшего общества, например, Гаральд фон Болен и Хальбах, младший брат Альфрида Круппа. Однажды она появилась на вечеринке в доме Гаральда Квандта. Гюнтер Закс, которому было тогда 25 лет, вспоминал позже: «Ее появление вызвало такую сенсацию, как если бы она въехала на танцплощадку на своем красном автомобиле „Mercedes". Люди спрашивали друг друга, кто это. Некоторые господа осмотрительно покинули праздник раньше обычного, хотя гостья выглядела вполне пристойно».
1 ноября 1957 года Нитрибитт нашли мертвой в ее квартире, с пробитой головой и признаками удушения на шее. Известие распространилось мгновенно. Тут же вспомнили, что среди клиентов проститутки были известные политики и бизнесмены — вся Германия страстно желала сорвать с них маски. Гаральду Квандту также пришлось явиться в управление полиции для дачи показаний. Однако вскоре внимание полицейских привлек к себе человек, который выгуливал пуделя Нитрибитт. Позднее против него в 1960 году было выдвинуто обвинение в убийстве, но процесс закончился тем, что подозреваемого отпустили за недостаточностью улик.
Отношения между супругами Квандт разваливались, их жизненные пути расходились, в том числе и в сексуальном плане. В 1960-е годы в Берлине Гаральд подружился с владелицей бутиков Зигрид Фриденталь, которая была на семь лет младше него. Инге Квандт терпела связь своего мужа. Домашней прислуге в Бад-Хомбурге и на Лазурном берегу было известно не только об этой связи: они, очевидно, все хорошо понимали. После гибели Гаральда Квандта цитировались слова одной экономки: «Нашему папочке действительно нужны были победы».
Инге Квандт также недолго оставалась одна: у нее начался роман с Райнером Гюнцлером. В 1961 году журналист развелся со своей женой. Квандт также терпел связь между женой и другом: Гюнцлер был частым гостем в Бад-Хомбурге.
Особым увлечением Гаральда Квандта было вождение самолетов: он летал на спортивных моделях и планерах. Однажды во время шестинедельного отпуска бывший парашютист освоил управление даже реактивным самолетом и летал по коммерческим и личным делам на зафрахтованных или собственных машинах.
Шесть лет, с 1956 по 1962 год, промышленник возглавлял Немецкий аэроклуб. При этом ему было важно не просто летать: Гаральд Квандт считал, что воздухоплавание связывает народы, и видел в воздушном сообщении движущую силу мировой экономики. Он говорил: «Народ, который не добился в воздухоплавании высоких достижений, не сможет дарить миру духовные и материальные блага».
Гаральд Квандт всю свою жизнь искал приключений, но одновременно был фанатом надежности. «Он всегда планировал все свои дела на много времени вперед», — говорил Шольц. Несмотря на это, Гаральд, переживший четыре года войны, бывший десантником, и позже часто попадал в опасные ситуации. В декабре 1965 года Гаральд был пассажиром частного самолета, потерпевшего аварию в аэропорту Цюрих-Клотен, при этом он получил сильное сотрясение мозга.
Через восемь дней после аварии он снова появился в своем бюро: рана на голове была зашита, сломанные ключица и ребра перевязаны. Его брат и двое других членов четырехугольника настоятельно просили Гаральда в будущем вести себя осторожнее. У них постоянно было чувство, что в его жизни слишком много риска. Предостережения, видимо, возымели действие. «Нам казалось, что мы сумели слегка успокоить его бурлящую радость жизни и тягу к опасности», — вспоминал позже Фивег.
В сентябре 1967 года Гаральд Квандт собирался провести короткий отпуск в своем доме на Лазурном берегу. Были приглашены также супруги Шольц. Но когда Хельга Шольц узнала, что Гаральд намерен взять с собой свою подругу Зигрид Фриденталь, она отказалась. «Я очень хорошо знала Инге Квандт и любила ее», — говорила она позже. Ее муж тоже отказался от поездки, которая могла бы стоить им жизни.
На борту самолета типа «Beechcraft King Air», стартовавшего в 22.28 из аэропорта Рейн-Майн в Ниццу, находились миллиардер, его подруга и еще четыре человека. Над Франкфуртом в этот вечер бушевала непогода. Еще во время взлета 26-летний пилот запросил высоту полета 6300 метров вместо предписанной высоты 7500 метров. Около 22.50 самолет вышел на радиосвязь недалеко от Гейдельберга. Через четверть часа пилот должен был снова выйти на связь из местности Фрейденберг в Шварцвальде, но авиадиспетчерская служба ничего не услышала. Служащие безуспешно старались установить контакт с самолетом. Не удавалось это и наземным диспетчерским постам в Австрии, Швейцарии, Италии и Франции.
Начала действовать первая степень готовности при авариях, и были подключены поисково-спасательные службы люфтваффе в Рамштейне. В Баден-Вюртемберге они еще ночью обратились по радио к гражданам с просьбой помочь в поисках пропавшего самолета. На рассвете в воздух поднялись 12 немецких и два американских вертолета для поисков обломков самолета, а в середине дня в Рамштейн поступило сообщение из авиационно-спасательной службы в Милане, что в горах под Салуццо в Пьемонте рухнул самолет. Его обнаружил пастух. Все шесть человек, находившихся на борту, погибли.
Поначалу причиной катастрофы считали плохую погоду: вывести из строя все приборы мог удар молнии. Многомесячное расследование итальянских и немецких специалистов выявило, однако, другую причину падения самолета: у главного переключателя радиопереговорного устройства и радионавигации вскоре после старта разошлась спайка, поэтому полет практически проходил вслепую. Видимо, пилот и пассажиры думали, что они на правильном пути, и, увидев огни Турина, решили, что это Ницца. Пойдя в таких условиях на посадку, самолет врезался в один из отрогов Альп.
Гаральду Квандту на момент гибели было 45 лет. Он оставил 38-летнюю жену и пятерых дочерей в возрасте от двух месяцев до 16 лет. На траурной церемонии на главном кладбище Франкфурта присутствовали ведущие представители немецкой экономики, среди которых были Абс и Флик. Буби Шольц также участвовал в похоронах. Американские вооруженные силы направили для прощания с предпринимателем, выпускавшим вооружение, офицеров высокого ранга. Аналогично поступил и бундесвер.
Два ведущих менеджера концерна Фивег и Павел выступили с траурными речами. «Гибель Гаральда Квандта поразила нас, как удар молнии, наполнив душу ужасом, так как его жизнь оборвалась внезапно, причем в ее высшей точке, — сказал Павел. — Мы часто волновались за него: опасности притягивали его». Герхард Фивег, ближайший соратник Гаральда, также признался, что он не удивлен этой ранней смертью. Обратившись к погибшему с прочувствованными словами, он, в частности, сказал: «Вот и настал час, которого мы все время боялись, час, когда судьба положила конец твоей бьющей через край радости жизни, твоей отваге, твоей жизни. Что заставляло тебя все время, не обращая внимания на опасность, так напрягать все свои силы?»
Как и во время траурной церемонии прощания с его отцом, в память Гаральда Квандта на всех предприятиях семьи была приостановлена работа. Усопшего кремировали, а урну позже захоронили в семейном склепе на кладбище Вальдфридхоф в Бад-Хомбурге, где покоились останки его отца Гюнтера.
