Благодаря оружию с поддержкой ИИ станут возможными исключительно быстрые цифровые атаки с использованием цифровых уязвимостей. У государств может фактически не остаться времени на оценку признаков готовящейся атаки, им придется реагировать немедленно, чтобы не потерпеть поражение, поэтому они будут создавать системы на базе ИИ, отслеживающие признаки атак и способные контратаковать до того, как произошла атака
[62]. Как и в начале XX в., информация о существовании такой системы может послужить толчком к разработкам параллельной технологии или технологии, основанной на других алгоритмах. Стороны, вынужденные напасть первыми, могут сознательно пренебречь необходимостью действовать разумно – если человек вообще будет участвовать в принятии таких решений.
Известно, что новейшие «квантовые» алгоритмы ИИ, используемые на фондовом рынке, могут выявлять рыночные закономерности и реагировать на них со скоростью, превосходящей возможности самых искусных трейдеров. Компании, использующие такие алгоритмы, передали им контроль некоторых аспектов торговли ценными бумагами. Во многих случаях эти системы обеспечивают весьма значительные прибыли, но иногда они допускают грубые ошибки в расчетах – потенциально более серьезные, чем самая грубая человеческая ошибка.
Такие ошибки, происходящие в финансовом мире, все же относительно безопасны для жизни. Но аналогичный сбой в военной сфере может стать катастрофой. Если для защиты от цифровой атаки ИИ перейдет в наступление и проникнет в сеть противника, чтобы пресечь нападение на его территории, может быть непреднамеренно запущена эскалация.
Попытки использовать новые технические возможности в рамках некой стратегии и с сохранением международного равновесия осложняются тем, что знания, необходимые для технологического превосходства, больше не сосредоточены исключительно в правительственных или академических учреждениях. У новых стратегических технологий широкий круг создателей – от традиционных государственных подрядчиков до индивидуальных разработчиков, предпринимателей, стартапов и частных исследовательских лабораторий. Не все они будут считать себя обязанными работать исключительно ради поддержки национальных интересов, определенных федеральным правительством. Открытое взаимодействие промышленности, научных кругов и правительства может помочь преодолеть этот разрыв и обеспечить понимание стратегического влияния ИИ. Сегодняшние стратегические и технологические вызовы беспрецедентны – ведь у нас нет единого мнения ни о характере этих вызовов, ни даже о словаре для их обсуждения.
Нерешенной проблемой ядерной эпохи было то, что человечество разработало технологию, для которой стратеги не могли найти жизнеспособной оперативной доктрины. Дилемма эпохи ИИ будет противоположной – ее определяющая технология будет повсеместно приобретаться, осваиваться и применяться. В этих условиях сдерживание – или даже достижение коллективного определения сдерживания – будет сложнее, чем когда-либо прежде.
Человек владеет ядерными технологиями совсем недавно и не решил всех проблем управления ядерным оружием. Тем не менее задача оценки ядерного баланса была сравнительно простой – боеголовки можно было подсчитать, их мощность была известна. В отличие от этого, возможности ИИ динамичны, а обнаружить его присутствие или проверить его отсутствие при нынешних технологиях сложно или невозможно. Сдерживание в новую эпоху, скорее всего, будет основано не на таких простых инструментах, как подсчет боеголовок, а на существенно более сложных, таких как оценка скорости реакции ИИ и множества векторов, по которым может пойти атака.
Чтобы управлять ИИ, стратегам придется решить, как интегрировать ИИ в ответственную модель международных отношений. Если оружие будет применено хоть раз, то можно не сомневаться в том, что оно будет применяться и дальше, поэтому еще до первого применения стратеги должны разобраться в том, какие последствия будет иметь неоднократное применение, к чему может привести эскалация и как обеспечить деэскалацию. Политики будут вынуждены решать целый комплекс вопросов – вооружений, оборонительных технологий и стратегий, а также контроля над вооружениями. И поскольку по мере интеграции ИИ в новые виды оружия, стратегии и тактики контроль вооружений будет становиться пропорционально сложнее, доктрины должны быть сформулированы заранее, и решения должны приниматься до применения оружия.
Каковы будут требования к сдерживанию? Очевидной отправной точкой будет наложение ограничений – во времена холодной войны этот подход был успешным. Некоторые возможности были ограничены (например, пусковые установки ракет не имели боеголовок), другие (например, ракеты средней дальности) были полностью запрещены. Но ни ограничение существующих возможностей ИИ, ни ограничение их количества не повлияют на их гражданское использование и непрерывное развитие. Дополнительные ограничения придется наложить на возможности ИИ по обучению и поиску целей.
США уже провели различие между оружием с поддержкой ИИ, которое позволяет человеку более успешно вести войну, и оружием с ИИ, которое принимает смертоносные решения независимо от человека. Цель США – ограничить использование ИИ первой категорией, чтобы никто в мире не обладал оружием второй категории
[63]. Это ограничение разумно. Решающее значение в этом случае будет иметь определение характера и способа ограничения оружия с поддержкой ИИ, чтобы ограничения не устарели сразу после их принятия из-за способности технологии к обучению и развитию.
В XIX–XX вв. государства выработали ограничения на определенные формы ведения войны, например с использованием химического оружия или с массовыми жертвами среди гражданского населения. Поскольку оружие на базе ИИ делает возможными новые виды военных действий или значительно меняет существовавшие ранее способы ведения войны, страны мира должны срочно выработать новые ограничения. Эти соглашения должны быть достигнуты до того, как ИИ окажется способным их нарушить. Если конечной целью является баланс, переговоры должны быть многосторонними, а не двусторонними, чтобы учесть широкое распространение ИИ и его постоянное обучение и развитие. Простого реагирования на то, что уже существует, недостаточно.
Старая борьба в новом мире
Каждая крупная технологически развитая страна должна признать, что она стоит на пороге стратегической трансформации, которая вызовет еще более разнообразные и непредсказуемые последствия, чем появление ядерного оружия. Каждая страна, которая совершенствует технологии ИИ, должна создать национальный орган для изучения аспектов обороны и безопасности в условиях существования оружия на базе ИИ, а также общих перспектив различных секторов, определяющих создание и развертывание ИИ. На этот орган должны быть возложены две функции: обеспечение конкурентоспособности по отношению к остальному миру, координация действий с аналогичными органами в других странах, включая противников, и оценка того, как избежать эскалации или кризиса.
