В 2015 году на Совместной международной конференции по вопросам искусственного интеллекта космолог Макс Тегмарк в открытом письме призывал к полному повсеместному запрету автономного оружия13. Письмо подписали 2500 специалистов в области робототехники и искусственного интеллекта по всему миру. Поскольку способностью выбирать и преследовать цели будет управлять искусственный интеллект, в течение следующих лет она продолжит совершенствоваться. Ученые боятся гонки вооружений, в результате которой появится недорогое и легкодоступное оружие массового поражения. И несмотря на то что некоторые страны полностью откажутся от его использования, оно неизбежно появится на черном рынке, чем непременно воспользуются террористы и диктаторы по всему миру. Подписавшиеся под открытым письмом заявляют: «Автономные комплексы вооружения идеально подходят для политических убийств, дестабилизации обстановки в стране, запугивания населения и геноцида определенных этнических групп». В последующей статье авторы говорят: если оружие запрограммировано с учетом этической функции, то в наших интересах помнить о том, что враги могут и отключить эту функцию, несмотря на запрет международного законодательства.
Точно такой же будет ситуация с роботами и искусственным интеллектом, способными к переживанию эмоций и эмпатии. Поскольку практически любую систему или устройство можно взломать и перепроектировать, мы должны ожидать худшего, по крайней мере от некоторых людей.
Многие считают, что появление эмоциональной осознанности у дронов и роботов снизит уровень их злонамеренного использования в боевых действиях и количество жертв среди гражданского населения. Однако существует множество ситуаций, в которых автономное оружие, обладающее эмоциями, может быть не менее ужасным. Человекоподобный робот с развитым эмоциональным интеллектом и внешностью друга, родственника или даже ребенка может легко проникнуть на охраняемую территорию и убить множество людей. В фантастическом рассказе Филипа К. Дика «Вторая модель» (Second Variety), вышедшем в 1953 году и ставшем классикой жанра, жители мира постапокалиптической антиутопии сталкиваются с засильем самовоспроизводящихся роботов-убийц. Некоторые из этих машин, предназначенных для шпионажа и убийства, внешне неотличимы от людей. Как и многие произведения Филипа Дика, с течением времени этот сценарий представляется все более правдоподобным. Не стоит даже говорить о том, что это не то будущее, которое мы все хотели бы увидеть.
К сожалению, разнообразие современной военной техники предполагает множество средств ведения войны. Кибероружие – одно из новейших. Оно стало совершеннее с развитием и расширением интернета. Большинство из нас никогда не думали об эмоциях, слыша слова «киберпреступление» и «кибероружие», но на самом деле эмоции здесь – решающий элемент. Любой компетентный хакер скажет, что самое слабое звено в безопасности – это человек. Хакеры говорят о манипулировании этой слабостью как об использовании навыков социальной психологии. Они могут воспользоваться слабостью человеческой натуры, чтобы подобрать недостаточно тщательно продуманный пароль, хотя подглядывание через плечо или получение доступа к веб-камерам, чтобы прочитать пароли на приклеенных листочках тоже успешно работают. Они могут завести с человеком абсолютно невинный разговор, чтобы добыть безобидную, но важную информацию. Это творческий подход, основанный на знании людей и того, как ими манипулировать. Иными словами, эмоциональный интеллект.
По мере того как компьютерные программы станут обретать все большую эмоциональную осознанность, хакеры будут активно их применять. Способность автоматизировать процесс означает, что одновременно можно обратиться ко многим людям, например по телефону или электронной почте. (Сейчас программы синтеза речи, использующие голосовой поиск, нельзя отличить от речи живого человека14.) За счет эмоциональной уязвимости массовая психологическая обработка может привести к многочисленным утечкам информации, которые можно использовать для обхода систем безопасности.
Поскольку эмоции – ключевой элемент в состоянии человека, наши противники будут стремиться использовать их против нас, а мы будем пытаться использовать эмоции против них. Несмотря на самые благородные намерения изобретателей любой новой технологии, найдутся и те, кто попытается использовать их и с другими целями. Мы можем делать прогнозы и планировать, как будут применяться аффективные технологии, но невозможно сказать, что нам точно известны все варианты условий будущего, поскольку наш опыт прошлого слишком мал. Современное вооружение – целиком и полностью продукт технологии и цивилизации. Существуют согласованные на международном уровне правила поведения, методы уничтожения и способы предотвратить уничтожение, которых не существовало до новейшей истории человечества. В середине XX века человечество выпустило из бутылки атомного джинна и с тех пор живет, помня о нем. Какую цену пришлось заплатить за это наследие – в жизнях, в долларах и здравом рассудке? У нас есть небольшой шанс предотвратить распространение автономного оружия, и если мы его упустим, все прогнозы бессмысленны. Методы и материалы для создания такого оружия будут намного дешевле и доступнее, чем те, что были необходимы для создания ядерного оружия. Предотвращение или, по крайней мере, предупреждение возникновения гонки автономных вооружений – безусловно, самое мудрое и цивилизованное наше решение.
Тем не менее человечество, по всей видимости, будет продолжать конфликты, битвы и войны в обозримом будущем, и применение некоторых приложений, разработанных в рамках аффективных технологий, было бы гуманным для обеих сторон конфликта. Например, войска психологических операций (PSYOP) в силах по проведению спецопераций армии США ориентированы на победы в умах и сердцах. (PSYOP недавно был переименован в MISO – силы проведения операций военно-информационного обеспечения.)
Их миссия – «воздействие на эмоции, мотивы, цели, аргументацию и даже поведение зарубежных правительств, организаций, групп и отдельных личностей»15. В свете того, на что способны сейчас и будут способны в будущем эмоциональное программирование и эмоциональный искусственный интеллект, разумно предположить, что PSYOP захочет воспользоваться этой технологией независимо от того, на какую сторону конфликта они собираются влиять. Явная польза этой технологии в том, что с ее помощью можно будет быстрее разрешать конфликты и таким образом снизить потери, но очевидно, что это одна сторона битвы и, следовательно, одна сторона в уравнении. В зависимости от того, насколько убедительной станет эта технология и того, какое влияние она приобретет, она может превратиться в значительную угрозу.
Другое применение технологии, которое определенно необходимо развивать, – это ее использование в лечебных целях. В конце концов, мы просим людей в форме рисковать и жертвовать жизнью, а потому должны исправить причиненный им вред – физический, психический или тот и другой вместе. Восстановление потерянных на войне конечностей и ощущений значительно шагнуло вперед. Если возможно излечить их сознание и изгнать из него демонов, мы должны это сделать. Но поступая так, мы должны сделать все, чтобы избежать подводных камней на своем пути. Изменяя эмоции, связанные с воспоминаниями, мы изменяем и саму память. Вмешиваясь во что-то столь важное, как воспоминания и эмоции, мы ходим по очень тонкой грани между лечением и причинением вреда.
