Производительность каждой команды можно представить как функцию ее возможностей (к которым относится и удача), штрафной функцией являются затраты на обеспечение безопасности. Первой создаст ИИ команда с наивысшей производительностью. Риски, связанные с появлением ИИ, зависят от того, сколько его создатели инвестировали в безопасность. В наихудшем сценарии все команды имеют одинаковые возможности. В этом случае победитель определяется исключительно по величине его капиталовложений в безопасность: выиграет команда, потратившая на меры предосторожности меньше всего. Тогда равновесие Нэша в этой игре достигается в ситуации, когда ни одна команда ничего не тратит на безопасность. В реальном мире такая ситуация будет означать возникновение эффекта храповика: одна из команд принимает на себя больший риск, опасаясь отстать от конкурентов, последние отвечают тем же — и так несколько раз, пока уровень риска не оказывается максимальным.
Возможности и риск
Ситуация меняется, когда возможности команд не одинаковы. Поскольку различия в возможностях являются более важным фактором по сравнению с затратами на обеспечение безопасности, эффект храповика слабеет: стимулов идти на больший риск в ситуации, когда это не повлияет на расстановку сил, гораздо меньше. Различные сценарии такого рода показаны на рис. 14, иллюстрирующем риски ИИ в зависимости от значимости такого параметра, как возможности разрабатывающих его команд. Инвестиции в безопасность лежат в диапазоне от 1 (в результате получаем идеально безопасный ИИ) до 0 (совершенно небезопасный ИИ). По оси x отображается относительная значимость возможностей команды для определения ее прогресса на пути создания ИИ по сравнению с инвестициями в безопасность. (В точке 0,5 уровень инвестиций в безопасность в два раза значимее возможностей; в точке 1 они равны; в точке 2 возможности в два раза значимее инвестиций в безопасность и так далее.) По оси y отображается уровень риска, связанный с ИИ (ожидаемая доля максимальной полезности, которую получает победитель.)
Рис. 14. Уровни риска в условиях гонки технологий искусственного интеллекта. На рисунке изображен уровень риска опасного ИИ для простой модели гонки технологий с участием а) двух или б) пяти команд в сочетании с относительной значимостью их возможностей (по сравнению с инвестициями в безопасность) для определения того, какой проект станет победителем. На диаграмме отражены три сценария: сплошная линия — нет информации об уровне возможностей; штриховой пунктир — закрытая информация о возможностях; точечный пунктир — открытая информация о возможностях.
Мы видим, что во всех сценариях опасность ИИ максимальна, когда возможности не играют никакой роли, и постепенно снижается по мере роста их значимости.
Сравнимые цели
Еще один способ снизить риск заключается в том, чтобы обеспечить командам большую долю в успехе друг друга. Если конкуренты убеждены, что второе место означает потерю всего, что им дорого, они пойдут на любой риск, чтобы обойти соперников. И наоборот, станут больше инвестировать в безопасность, если окажутся менее зависимыми от результатов гонки. Это означает, что нам нужно поощрять различные формы перекрестного инвестирования.
Количество конкурентов
Чем больше конкурирующих команд, тем более опасной становится гонка: у каждой из команд меньше шансов на то, чтобы прийти первой, соответственно, выше соблазн рисковать. Это видно, если сравнить позиции а и б на рис. 14: две команды и пять команд. В каждом сценарии риск растет с ростом числа конкурентов. Его можно снизить, если команды объединятся в небольшое количество конкурирующих коалиций.
Проклятие избыточной информации
Хорошо ли, если команды будут знать о своем месте в гонке (например, уровень своих возможностей)? И да, и нет. Желательно, чтобы о своем лидерстве знала сильнейшая команда (это будет означать, что отрыв от конкурентов позволит ей больше думать о безопасности). И нежелательно, чтобы о своем отставании знали остальные (поскольку это подтвердит их решимость ослабить меры предосторожности в надежде нагнать конкурентов). Хотя на первый взгляд может показаться, что компромисс возможен, модели недвусмысленно показывают, что информация — это плохо
[566]. На рис. 14 (а и б) отражены три сценария: прямая линия соответствует ситуации, в которой ни одна из команд не имеет информации о возможностях участников гонки, включая свои собственные; штриховой пунктир соответствует ситуации, в которой команды знают только о своих собственных возможностях (тогда они готовы идти на дополнительный риск в случае, если их возможности низки); точечный пунктир показывает, что происходит, если все команды осведомлены о возможностях друг друга (они могут пойти на дополнительный риск в случае, если их возможности близки). С каждым ростом уровня информированности гонка обостряется.
В случае развития машинного интеллекта представляется, что ощущение гонки будет как минимум заметным, а возможно, и очень сильным. От интенсивности этого ощущения зависит, какими могут быть стратегические последствия возможного взрывного развития искусственного интеллекта.
Из-за ощущения гонки проекты могут ускорить свое движение в сторону сверхразума, сократив капиталовложения в решение проблемы контроля. Возможны и другие негативные последствия вроде прямых враждебных действий по отношению к конкурентам. Предположим, что две страны соревнуются в том, какая из них первой создаст сверхразум, и одна вырывается вперед. В ситуации, когда «победитель получает все», аутсайдер может решиться на отчаянный удар по сопернику, вместо того чтобы пассивно ждать поражения. Предполагая это, страна-лидер может нанести упреждающий удар. Если антагонисты обладают достаточной военной мощью, их столкновение приведет к большой крови
[567]. (Даже точечный удар, нанесенный по инфраструктуре проекта разработки ИИ, несет риск более широкой конфронтации, кроме того, он может не достичь своей цели, если страна, в которой ведутся работы над этим проектом, примет соответствующие меры предосторожности
[568].)
