По мере развития и распространения трансформационных возможностей ИИ ведущие страны будут стремиться к достижению и сохранению превосходства
[58]. Следует ожидать, что противники будут стремиться к тому же, не ограничиваясь полумерами. Важно понимать, что распространение ИИ, как во благо, так и во вред, обязательно произойдет: любые новые функции ИИ будут распространяться быстро и неподконтрольно правительствам.
Поскольку ИИ имеет двойное (гражданское и военное) назначение и может легко копироваться, распространение этих технологий будет крайне сложно контролировать. Попытки контроля будут подавляться наступательным оружием, кроме того, средства контроля будут естественным образом устаревать по мере технологического прогресса. Кроме того, новые пользователи ИИ будут адаптировать базовые алгоритмы к совершенно новым целям. Коммерческий ИИ можно легко перепрофилировать с гражданского использования на военное – например, для целей безопасности или информационной войны. Поскольку разработчиками ИИ по большей части будут негосударственные субъекты, обладающие специальными навыками и знаниями, – университеты, исследовательские лаборатории, операторы сетевых платформ, о которых мы говорили в главе 4, правительства не всегда смогут определять стратегически важные аспекты развития передовых ИИ в соответствии с их концепциями национальных интересов.
Определить «кибербаланс сил» или осуществить «сдерживание ИИ» сейчас очень трудно, если вообще возможно, – хотя бы потому, что эти понятия пока не определены, а планирование будет носить абстрактный характер. Это значит, что стороны будут стремиться сдержать противника угрозой оружия, последствия применения которого не очень хорошо известны. В таком случае менее технологически развитые страны, столкнувшись с державой, обладающей оружием с поддержкой ИИ, о возможностях которого, по сути, ничего не известно, могут не выдержать психологического воздействия такой ситуации и либо постараются вооружиться аналогичными средствами, либо применят непредусмотренные виды оружия и тактики.
Самый революционный и непредсказуемый эффект может вызвать взаимодействие ИИ и человеческого интеллекта. Раньше военные, планируя боевые действия, всегда могли в той или иной степени понять доктрину, тактику и стратегию своего противника. Основываясь на общих для всех людей возможностях и подходах, военные разрабатывали стратегию и тактику противодействия, а также символический язык демонстративных военных действий, таких как перехват самолета, приближающегося к государственной границе, или ввод кораблей в спорные воды. Но если военные будут использовать для планирования или ведения военных действий ИИ – даже как вспомогательное средство во время патрулирования или военного конфликта, – знакомые концепции и символы потеряют смысл, поскольку речь идет о взаимодействии с интеллектом, методы и тактика которого неизвестны. В тех случаях, когда военные будут передавать ИИ определенные функции, очень важно будет уметь прогнозировать и описывать ожидаемые последствия.
Переход к ИИ и системам вооружений с поддержкой ИИ означает как минимум частичную зависимость от интеллекта с огромным аналитическим потенциалом и принципиально иной парадигмой опыта, а в крайних случаях – передачу ему полномочий. В самом мягком случае ИИ будет способствовать обучению военнослужащих, помогая им оттачивать навыки и обнаруживать закономерности, которых люди ранее не замечали. Но даже такой способ использования ИИ может быть рискованным. Программное обеспечение для распознавания лиц на базе ИИ уже приводило к ошибочным арестам – подобные сбои военного ИИ могут привести к тому, что обычные действия сил противника будут идентифицированы как признаки готовящегося вторжения. Это значит, что операторы-люди обязательно должны отслеживать и контролировать действия ИИ, которые могут привести к непоправимым последствиям. Даже если это не позволит избежать всех ошибок, то, по крайней мере, у человека останутся моральная ответственность и подотчетность – те самые ограничения, которые предотвращают беспричинный ущерб и позволяют наказывать злоумышленников.
Однако самый глубокий вызов может быть философским. Чем больше ИИ будет задействован в концептуальных и аналитических аспектах стратегии, недоступных человеческому разуму, тем менее понятными для человека будут его процессы, влияние и результаты деятельности. Если политики придут к выводу, что помощь ИИ необходима для выяснения возможностей и намерений противника (который может иметь собственный ИИ) и своевременного реагирования на них, может оказаться неизбежным делегирование машинам критически важных решений и функций. Скорее всего, каждая страна самостоятельно нащупает свой предел подобного делегирования и соответствующих рисков и последствий. Ведущие державы не должны ждать войны, чтобы начать диалог о последствиях – стратегических, доктринальных и моральных – всех этих перемен.
Управление ИИ
Эти практические и философские вопросы необходимо рассмотреть и понять до того, как ИИ отправится на войну. Их актуальность растет, поскольку военные действия с участием кибернетики и ИИ уже не ограничены полями сражений, они в некотором смысле возможны везде, где есть цифровая сеть. Сегодня программное обеспечение управляет весьма обширной сферой физических систем, многие из которых – иногда вплоть до дверных замков и холодильников – объединены в сеть. Благодаря элементарной возможности цифровых схем передавать информацию и команды другим схемам возникла система потрясающей сложности и масштаба.
Военным силам, вооруженным ИИ, очень важно научиться находить некое взаимопонимание и сдерживать друг друга. Поскольку цифровые системы легко и относительно незаметно изменяются путем доработки компьютерного кода, крупные державы имеют право предполагать, что их противники могли продвинуть стратегически важные разработки и внедрение ИИ несколько дальше, чем они признали публично или пообещали конфиденциально. В чисто техническом смысле ИИ не так сложно переключить с разведки и поиска целей на активные военные действия, поэтому задачу создания систем взаимного сдерживания и контроля нужно решить во что бы то ни стало.
В процессе поиска решения этой проблемы придется учитывать динамичную природу ИИ. Допустим, кибероружие, созданное ИИ, сможет самостоятельно адаптироваться и обучаться. Это означает, что по мере того, как ИИ реагирует на окружающую обстановку, будут меняться возможности оружия, включая выбор цели. Если вид оружия или сфера его применения окажутся иными, чем предполагали или предупреждали его создатели, будет бессмысленно пытаться просчитывать меры сдерживания или эскалации. Вот почему люди должны сохранять контроль над диапазоном действий, которые способен предпринять ИИ, – как на начальном этапе проектирования, так и путем сохранения контроля над системой, которая стала отклоняться в сторону нежелательных действий. Такие ограничения должны быть взаимными.
