Подход, который отлично работал, когда мы удваивали показатель с 0,01 до 0,02 или даже с одного до двух, может не сработать, когда мы постепенно увеличиваем показатели с четырех до 128 – просто-напросто ставки крайне высоки, а последствия слишком сложны для осознания людьми.
Представьте последствия, если мы будем активно использовать ИИ, геоинженерию и редактирование генома человека. Представьте участие в гонке вооружений с системой управления и ИИ, способными убивать без контроля со стороны человека. Представьте, что государства-изгои и негосударственные субъекты контролируют погоду и могут стать причиной непоправимого ущерба для атмосферы. Представьте, что исследовательская лаборатория в стране с не слишком прозрачной политикой разработает формулу для программирования суперлюдей.
Джеймс Баррат в своей книге «Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens» резюмирует:
Мы не хотим получить ИИ, который выполнил бы наши краткосрочные задачи (пожалуйста, спаси нас от голода) при помощи мер, вредных в долгосрочной перспективе (к примеру, поджарив одновременно всех кур на планете), или таких, против которых мы возражали бы в принципе (убив нас всех после ближайшей же трапезы).
Слишком много поставлено на кон, чтобы следовать полному и неограниченному технологическому энтузиазму или просто сказать, что это неизбежно или такова наша судьба.
Стоит прочитать оригинальное заявление трансгуманиста Макса Мора по этой теме в 2005 году:
Принцип предосторожности, хоть и связанный с благими намерениями многих его сторонников, по своей сути приводит к смещению институтов принятия решений в сторону статус-кво и отражает реактивный, чрезмерно пессимистический взгляд на технический прогресс. И наоборот, принцип проактивности призывает все стороны обязательно учитывать последствия их деятельности – как хорошие, так и плохие – и применять меры предосторожности к реальным угрозам, с которыми мы сталкиваемся. В то время как предосторожность сама по себе предполагает прогнозирование для приготовления к возможным угрозам, принцип, сформировавшийся вокруг этого явления, угрожает благополучию людей. Принцип предосторожности закреплен во многих международных природоохранных договорах и нормативных актах, что обуславливает острую необходимость предложить альтернативный принцип и набор критериев. Потребность в принципе проактивности станет ясна, если мы поймем недостатки принципа предосторожности161.
С одной стороны, я не могу не согласиться с большей частью аргументов Мора, особенно учитывая мой прошлый опыт в Кремниевой долине как интернет-предпринимателя, пытающегося продвигать инновации. Но с другой стороны, Макс написал это в 2005 году, почти за десять лет до того момента, когда мы достигли точки поворота в развитии быстрорастущих технологий. То, что тогда могло показаться разумным, но немного технико-ориентированным, могло бы привести к опасным решениям сегодня. Вы действительно хотите, чтобы ваше будущее определяли неподотчетное правительство с непрозрачной политикой, руководители Кремниевой долины, жадные венчурные капиталисты или военные организации, такие как Управление перспективных исследовательских проектов Министерства обороны США (DARPA)?
Глава 9. Счастливая случайность
С тех пор как технологии создают ощущение гедонистического удовольствия, как мы можем сохранить более глубокое чувство счастья, которое включает в себя сопереживание, сострадание, самосознание?
Счастье: везение или удача в жизни или в конкретном деле; успех, процветание.
Случайность: случайное событие; совпадение.
– Оксфордский словарь английского языка
Что же такое счастье?
В этой книге я пишу о том, что главной целью технологий должно стать стремление сделать людей максимально счастливыми. Стремление к счастью – это неотъемлемая часть человеческой натуры, то, что объединяет всех нас. Подобно имеющейся у нас морали (и это не только религия), стремление к счастью – универсальный императив, разделяемый всеми людьми, независимо от культуры или системы убеждений. На протяжении всей жизни мы все находимся в постоянной погоне за счастьем. Каждый день при принятии решений мы руководствуемся желанием получить впечатления, которые приносят радость и удовлетворение.
Когда мы столкнемся со слиянием человека и машины, мне кажется, важно не спутать везение со счастьем. Везение больше связано со случайностью, а причиной счастья является правильно заложенная основа. Я твердо убежден, что мы должны стремиться к счастью и процветанию человечества в центре этого спора человека и машины. В чем цель технологий, если они не приведут к процветанию человека? И я считаю, что возможно спланировать наше будущее таким образом, что мы не просто будем зависеть от везения, а сможем создать наилучшие условия для счастья (подробнее об этом далее).
Попытка дать определение счастью может оказаться сложной задачей, потому что это абстрактное и субъективное понятие. В «Википедии» предлагается следующее определение:
Счастье – это психологическое или эмоциональное состояние благополучия, определяемое положительными, приятными эмоциями, от удовлетворенности до сильной радости162.
Исследуя, что же такое счастье, я постоянно сталкивался с разграничением двух видов счастья. Первое, гедоническое счастье – это пик положительных эмоций, обычно временный, часто описывается как удовольствие. Оно может быть мимолетным, оно может быть кратковременным, и оно часто приводит к формированию привычек. Например, некоторые из наших гедонистических удовольствий могут привести к перееданию, алкоголизму, нарко- и никотинозависимостям. Социальные сети, например Facebook, часто называют «ловушками удовольствия», механизмом гедонистской самопрезентации и стимулирования удовольствия.
Второй вид известен как эвдемонистическое счастье – это более глубокое чувство счастья и удовольствия. В «Википедии» эвдемонизм объясняется следующим образом:
Эвдемонизм – это греческое слово, которое обычно переводится как счастье или благополучие163.
«Процветание человека» – еще одно популярное определение эвдемонизма, и для целей нашей книги оно более точное.
Когда я был учеником лютеранского факультета богословия в Бонне в начале 1980-х годов (удивлены?), я был глубоко погружен в учение древнегреческого философа Аристотеля. Когда около 2300 лет назад он написал, что «счастье – это смысл и цель жизни, цель и конец человеческого существования», – он имел в виду эвдемонизм.
Эвдемонизм, как известно, является центральной концепцией философии Аристотеля наряду с терминами арете (ἀρετή, добродетель или превосходство) и фронезис (φρόνησις, практическая или этическая мудрость). Эвдемонизм, арете и фронезис – простите мой греческий – с тех пор стали неизменными целями моей работы, и я думаю, что они являются ключом к пониманию того, по какому пути должно пойти человечество, потому что стремительный технический прогресс идет на него на всех парах – или лучше сказать паропанком
[102]. Другими словами, мы уже заблудились там, где человечество еще никогда не оказывалось. Однако, как сказано выше, сохранилась связь с древней мудростью, которая еще способна помочь нам выбраться из этого техноцентричного лабиринта, в котором мы всё чаще теряемся.
