Первая особенность: скорость. Кибератаки происходят слишком быстро для того, чтобы человек мог на них среагировать, поэтому оборонительные системы будут стремиться к автоматизму. Но поскольку нет эффективного способа выявить и устранить все возможные уязвимости, сети должны иметь уровни защиты (во избежание нарушений) и возможность полного отключения.
Вторая особенность: неточная интерпретация. В настоящее время отсутствует глубокое понимание типов кибернетических и ИИ-атак, как и соответствующих ответных мер. Допустим, атака является очень целенаправленной и поражает только военные системы – но будет ли этот факт очевиден до начала ответных действий? Что представляет собой соразмерный ответ и сможет ли ИИ точно оценить его? Военная доктрина США о реагировании на нападение «теми способами и в те сроки, которые мы посчитаем нужными» подразумевает соразмерность ответа, этого требует и международное право.
Третья особенность: принятие решений, в особенности автоматическое. Фактор скорости означает, что системы должны реагировать быстрее, чем способен отреагировать человек. Использование ИИ для целеуказания или анализа – не то же самое, что использование ИИ для автоматического принятия решений. И если ИИ рекомендует ответные действия, на человека будет оказано огромное давление.
Четвертая особенность: эмерджентное поведение. ИИ может генерировать результаты, которых люди не ожидают и не могут смоделировать с помощью существующих систем. ИИ, которому поставлена цель, может использовать непредвиденную тактику для ее достижения, нанося непредвиденный сопутствующий ущерб или вызывая непредвиденную эскалацию со стороны противника. Это значит, что перед развертыванием ИИ он должен быть проверен на предмет точности выполнения отданных команд.
Пятая особенность: невидимость и непрозрачность. Новое оружие, созданное на компьютере, может быть невидимым, его легко хранить в полном секрете. Когда же о нем станет известно, возникнет опасность упреждающей атаки. Современная военная доктрина требует предотвращать применение оружия противником. Целью программы, которая работает по этому принципу, может быть уничтожение кибер- или ИИ-возможностей противника до их использования. Но как это будет работать, если ИИ невозможно идентифицировать? Где проходит грань между допустимым упреждением и неоправданной агрессией и как страны будут преодолевать эти трудности?
И над всем этим, как дамоклов меч, нависает ядерная угроза. Страна, которой угрожает полное поражение в киберконфликте, может пойти на ядерную эскалацию. Как возможности кибернетики и ИИ соотносятся с существующими военными силами? Какие категории кибератак могут вызвать ответ обычным или ядерным оружием? Какие категории атак потребуют такого ответа?
Мы задаем эти вопросы, пытаясь обозначить проблемы разработки стратегии, создаваемые ИИ. Договоренности (и сопутствующие им механизмы коммуникации, принуждения и контроля), достигнутые в ядерную эпоху, могли и не быть заключены – но они появились благодаря человеческим усилиям, изобретательности и взаимному признанию опасности.
Когда наступит кризис, будет слишком поздно начинать обсуждение этих вопросов. Если в военном конфликте будет применен ИИ, это практически гарантирует, что дипломатия не успеет принять никаких мер. Ведущие державы должны пойти на обсуждение кибернетического оружия и оружия на основе ИИ хотя бы для того, чтобы выработать общий набор стратегических концепций и некоторое представление об ограничениях. Ограничения нужно устанавливать сейчас, когда человечество начинает создавать новые интеллектуальные средства уничтожения, способные к эволюции. Если случится трагедия, слишком поздно будет обсуждать ограничительные меры. Стремление к национальному превосходству в эпоху ИИ должно идти рука об руку со стремлением сохранения человечества.
Глава 6
Человеческая идентичность
Машины все чаще делают то, на что раньше был способен только человек. Что же теперь будет составлять нашу идентичность как человеческих существ? Как мы показали в предыдущих главах, ИИ расширит наши представления о мире. Он изменит то, как мы знакомимся, общаемся и обмениваемся информацией. Он изменит разрабатываемые нами стратегии и применяемые нами военные доктрины. Как мы будем воспринимать себя и свою роль в мире, когда мы станем исследовать и формировать реальность не в одиночку, а с помощью ИИ? Как это будет сочетаться с присущими нам самодостаточностью и достоинством?
Человек всегда считал себя центральной фигурой. Признавая свое несовершенство, мы тем не менее были уверены в том, что наши способности и наш опыт – наивысшая точка развития, к которой могут стремиться живые существа в этом мире. Мы чествовали людей, которые становились образцами человеческого духа, – именно такими мы хотели себя видеть. В разное время и в разных странах это были разные герои – лидеры, исследователи, изобретатели, мученики, – и каждый из них воплощал в себе разные аспекты человеческих достижений и человеческой самобытности. Сегодня наши первопроходцы, исследующие и меняющие мир силой разума, – это астронавты, изобретатели, предприниматели, политические лидеры.
Сейчас мы вступаем в новую эпоху, когда искусственному интеллекту – творению человека – все чаще поручают задачи, которые человеческий разум раньше выполнял или пытался выполнять сам. Результаты ИИ часто не уступают результатам человеческого интеллекта и иногда превосходят их, что ставит под сомнение определяющий признак того, что значит «быть человеком». Более того, ИИ способен учиться и развиваться, что позволяет ему выполнять сложные проекты, которые до сих пор были под силу лишь человеку.
С приходом ИИ изменится сама роль человека, его цели и способы его самореализации. Мы пока не знаем, какие человеческие качества станут для нас образцом и какими будут руководящие принципы этой эпохи. У нас было два традиционных способа познания мира – вера и разум – и теперь появляется третий, ИИ. Наши основные представления о мире и нашем месте в нем подвергнутся серьезной проверке и в некоторых случаях изменениям. Разум произвел революцию не только в науке, он изменил общественную жизнь, искусство и веру. Благодаря разуму рухнула иерархия феодализма и в мир пришла демократия – принцип организации общества разумных людей, контролирующих свои правительства. Теперь ИИ проверит на прочность принципы, на которых зиждется наше видение самих себя.
В эпоху, когда реальность может быть предсказана, приближена или смоделирована ИИ, который умеет оценивать, что в действительности происходит сейчас, предсказывать, что будет дальше, и решать, что делать, роль человеческого разума, вероятно, изменится. Это может трансформировать нашу идентичность и наше понимание целей каждого человека и человеческого общества в целом. В некоторых областях ИИ может дополнить человеческий разум. В других областях ИИ может вызвать у человека ощущение, что тот не управляет ситуацией. Представьте себе ощущения водителя, автомобиль которого самостоятельно и по неизвестным причинам перестраивается в другую полосу или меняет маршрут. Представьте себе, что чувствует клиент банка, которому ИИ отказал в кредите, или кандидат на должность, которому ИИ отказал в собеседовании, или ученый, которому ИИ сообщил о наиболее вероятном результате его исследований до того, как они были начаты, – это может быть эффективно, но будет ли такой опыт удовлетворять человека? ИИ бросит вызов самовосприятию людей, привыкших к самостоятельности, централизованности и монополии на сложный интеллект.
