Элиезер Юдковский в работе «Искусственный интеллект как позитивный и негативный фактор глобального риска» описывает возможный сценарий захвата власти ИИ
[290].
Решить задачу синтеза белка, получив возможность создавать цепочки ДНК, полипептидные цепи которых выполняют специфические функциональные роли в сложном химическом взаимодействии.
Отправить по электронной почте наборы цепочек ДНК в одну или несколько лабораторий, предлагающих услуги по синтезу ДНК, секвенированию пептидов и доставку результатов с помощью курьерской службы FedEx. (Сегодня многие лаборатории занимаются этим, причем часто готовы выполнить заказ в течение трех суток.)
Найти через интернет любого человека, которого можно подкупом, шантажом или обманом заставить получить заказ у FedEx, чтобы потом он смешал содержимое пробирок и поместил это содержимое в подходящую среду.
Синтезированные белки сформируют очень примитивную «влажную» наносистему, способную по аналогии с рибосомами выполнять внешние команды, передаваемые, например, посредством определенных акустических вибраций, идущих от направленного на колбу динамика.
Использовать эту чрезвычайно примитивную наносистему для создания более сложных систем, которые, в свою очередь, создадут еще более сложные системы, и так дойти до молекулярных нанотехнологий — или еще дальше.
Сверхразум применяет свою сверхмощь в области технологических разработок, чтобы решить проблему синтеза белка (первый шаг) и создать набор молекулярных «кирпичиков», из которых в водном растворе соберется простейший наноассемблер или микрофабрика (четвертый шаг). Та же самая технологическая сверхмощь снова используется, чтобы повысить уровень нанотехнологий с примитивного на продвинутый, машинный (пятый шаг). Остальные шаги требуют только человеческих интеллектуальных способностей. Содержание третьего шага: найти через интернет доверчивого человека и убедить его выполнить несколько простых действий — такое происходит во всем мире каждый день. Весь сценарий создан человеческим умом, поэтому даже уровень стратегического планирования системы может не превышать человеческий.
ИИ начинает действовать, имея свободный доступ к интернету. Если дело будет обстоять иначе, план следовало бы дополнить еще несколькими шагами. ИИ мог бы, например, воспользоваться своей сверхмощью в области социального манипулирования и убедить людей, которые с ним взаимодействуют, «отпустить» его на свободу. Или добиться этого самостоятельно благодаря умению взламывать системы. Если ИИ не успел овладеть такими способностями, то ему пришлось бы начать с применения своей сверхмощи в области совершенствования интеллекта, чтобы обрести сверхмощь в области социального манипулирования или взлома систем.
Вероятно, ИИ появится в мире, полностью охваченном глобальной компьютерной сетью. Но уже сегодня есть ряд новейших технологий, которые явно пригодятся будущему ИИ в его мировой сверхдержаве: облачные вычисления; сенсорные устройства с подключением к интернету; военные и гражданские беспилотники; автоматизация исследовательских лабораторий и производственных предприятий; электронные платежные системы и цифровые финансовые средства; автоматизированные системы анализа информации и системы принятия решений. Этот активный технологический багаж будущий ИИ приберет к рукам с дискретной скоростью, что явно поспособствует его восхождению к вершине власти (хотя новейшие разработки в области кибербезопасности могут несколько затруднить эту задачу). В конечном счете различия в сценариях вряд ли играют большую роль. Сила сверхразума — в его интеллекте, а не руках. Правда, ИИ все-таки не обойтись без помощников, привыкших взаимодействовать с этим материальным миром, — как показывает приведенный выше сценарий, для завершения фазы скрытой подготовки хватит даже единственной пары рук готового к сотрудничеству сообщника. После чего ИИ перейдет к фазе открытой реализации, в которой построит собственную инфраструктуру, где уже будут действовать самые разные роботы-манипуляторы.
Власть над природой и другими действующими силами
Способность некой действующей силы изменить будущее человечества зависит не только от абсолютной величины ее собственных характеристик и ресурсов: умственных способностей, жизненных сил, объема капитала и прочего, — но и от их относительной величины в сравнении с возможностями и ресурсами других действующих сил, имеющих противоположные цели.
В ситуации, когда отсутствуют какие бы то ни было конкурирующие силы, абсолютный уровень возможностей сверхразума, преодолев некоторый минимальный барьер, становится уже неважным, поскольку система, стартовав с минимально достаточным объемом ресурсов, способна выбрать такой путь развития, который позволит ей приобрести любые дополнительные ресурсы, даже отсутствовавшие изначально. Мы уже упоминали об этом раньше: во-первых, когда обсуждали одинаковую опосредованную досягаемость таких типов сверхразума, как скоростной, коллективный и качественный; во-вторых, когда говорили, что достаточно обладать сверхмощью лишь в одной области, чтобы обеспечить себе ее во всех остальных.
Предположим, появилась сверхразумная сила, управляющая наноассемблером. У нее уже есть довольно мощи для преодоления любых естественных преград, и она прямым путем движется к тому, чтобы существовать вечно. Не встречая сопротивления на интеллектуальном уровне, наша действующая сила, или агент, может выработать безопасный курс развития, который позволит ей овладеть всеми технологиями, необходимыми для осуществления ее целей. Например, создать технологию строительства и запуска зондов фон Неймана — способных к перемещению в космическом пространстве машин, которые используют полезные ископаемые и энергию астероидов, планет и звезд для создания собственных копий
[291]. Запустив зонды фон Неймана, такой агент фактически начнет бесконечный процесс колонизации Вселенной. Копии-потомки, двигаясь со скоростями, близкими к скорости света, в конечном счете колонизируют всю сферу Хаббла — часть расширяющейся Вселенной, которая теоретически доступна из точки, где мы сейчас находимся. После этого вся подконтрольная материя и неограниченное количество энергии будут организованы в ценностные структуры, максимизирующие функцию полезности исходного агента на временных промежутках космического масштаба — то есть как минимум в течение триллионов лет до того момента, когда стареющая Вселенная станет слишком недружелюбным местом для обработки информации (см. врезку 7).
ВРЕЗКА 7. НАСКОЛЬКО БОЛЬШИМ МОЖЕТ БЫТЬ АСТРОНОМИЧЕСКОЕ РАСШИРЕНИЕ?
Рассмотрим технологически зрелую цивилизацию, которая в состоянии создать разумные зонды фон Неймана, описанные выше. Если они способны перемещаться в пространстве со скоростью, составляющей 50 процентов от скорости света, то до того момента, когда расширение Вселенной сделает остальные ее области недоступными, смогут добраться до 6 × 1018 звезд. Если двигаться со скоростью, равной 99 процентам от скорости света, эта величина вырастет до 2 × 1020
[292]. Для перемещения с такими скоростями достаточно лишь небольшой части энергетических ресурсов, имеющихся в Солнечной системе
[293] Невозможность скоростей выше скорости света в сочетании с положительной космологической постоянной (благодаря которой скорость расширения Вселенной растет) означает, что мы получили верхнюю оценку пределов пространства, которое смогут покорить наши потомки
[294].
