С субъективной точки зрения — лучше быстрее
Боюсь, что под словами одного из комментаторов в блоге могут подписаться многие:
Мне инстинктивно хочется двигаться быстрее. И не потому что, как мне кажется, мир от этого выиграет. Почему я должен думать о мире, если все равно умру и превращусь в прах? Мне просто хочется, чтобы все двигалось быстрее, черт возьми! Это увеличивает шансы, что я застану более технологически продвинутое будущее
[562].
С субъективной точки зрения у нас есть серьезная причина торопить появление любых радикально новых технологий, с которыми связан экзистенциальный риск. Причина в том, что все, кто сейчас живет, по умолчанию умрут в течение ближайших ста лет.
Особенно сильно желание торопить события, когда речь идет о технологиях, способных продлить нашу жизнь и тем самым увеличить количество ныне живущих людей, способных застать взрывное развитие искусственного интеллекта. Если революция машинного интеллекта пойдет так, как нам хотелось бы, появившийся в ее результате сверхразум почти наверняка найдет способ бесконечно продлевать жизнь людей, которые окажутся его современниками, причем не просто продлевать жизнь, но и делать ее абсолютно качественной, поскольку люди будут совершенно здоровы и полны молодой энергией — тоже благодаря стараниям сверхразума. Более того, сверхразум увеличит возможности человека далеко за пределы того, что можно было бы предположить; кто знает, вдруг он поможет человеку совсем избавиться от своего бренного организма, загрузит его мозг в цифровую среду и подарит ему идеально здоровое виртуальное тело. Что касается технологий, не обещающих продление жизни, то здесь оснований для спешки меньше, но они все равно есть, поскольку появление таких возможностей способно повысить стандарты жизни
[563].
Благодаря такой же логике с субъективной точки зрения кажутся привлекательными многие рискованные технологические инновации, обещающие приблизить момент взрывного развития искусственного интеллекта, даже если они нежелательны с объективной точки зрения. Такие инновации могут сократить «час волка», в течение которого мы должны сидеть на своем насесте в ожидании рассвета постчеловеческой эпохи. Поэтому с субъективной точки зрения быстрый прогресс в области аппаратного обеспечения кажется таким же желательным, как и в области создания КИМГМ. Потенциальный вред из-за повышения экзистенциального риска уравновешивается возможной пользой для отдельно взятого человека благодаря возросшим шансам, что взрывное развитие искусственного интеллекта произойдет еще при жизни живущих сейчас людей
[564].
Сотрудничество
Важным параметром является степень сотрудничества и координации, которую удастся обеспечить в ходе создания машинного интеллекта. Сотрудничество способно принести много пользы. Посмотрим, какое влияние этот параметр мог бы оказать на процесс создания машинного интеллекта и какие рычаги имеются в нашем распоряжении для расширения и углубления сотрудничества.
Гонка и связанные с ней опасности
Ощущение гонки возникает, когда есть страх, что проект обойдут конкуренты. Для этого совсем не обязательно наличие множества сходных проектов. Ситуация, при которой инициаторы проекта находятся в состоянии гонки, может сложиться и в отсутствие реальных конкурентов. Возможно, союзники не создали бы атомную бомбу так быстро, если не считали бы (ошибочно), что Германия крайне близка к этой цели.
Интенсивность ощущения гонки (то есть степень того, насколько конкуренты готовы ставить скорость выше безопасности) зависит от нескольких факторов, таких как плотность конкуренции, относительная важность возможностей и удачи, количество соперников, схожесть их подходов и целей. Также важно, что думают обо всех этих факторах конкуренты (см. врезку 13).
ВРЕЗКА 13. СМЕРТЕЛЬНАЯ ГОНКА
Рассмотрим гипотетическую гонку вооружений с применением ИИ — гонку, в которой несколько команд конкурируют за право первыми создать сверхразум
[565]. Каждая из них сама решает, сколько инвестировать в безопасность, понимая, что ресурсы, потраченные на меры предосторожности, — это ресурсы, не потраченные на создание ИИ. В отсутствие согласия между соперниками (которого не удалось достичь из-за различия позиций или невозможности контролировать соблюдение договора) гонка может стать смертельно опасной, когда каждая команда тратит на безопасность лишь минимальные средства.
