В то же время автомобили – главный источник газов, создающих парниковый эффект, который стал причиной глобальных изменений климата. Только в США каждый год свыше тридцати тысяч человек гибнет в автокатастрофах. Несчетное множество людей страдает и умирает от болезней органов дыхания, вызванных по большей части выбросом в атмосферу выхлопных газов от транспортных средств. Загрязняющие вещества, такие как бензол и свинец, отрицательно влияют на развитие мозга и вызывают врожденные пороки развития, рак и снижение иммунитета.
Этот список далеко не полный, но он дает некоторое представление о распространенных и далеко идущих последствиях лишь одного изобретения1. Важно отметить, что автомобили развивались не сами по себе, а вписались в обширную технологическую экосистему2. В результате, как почти всегда и бывает, изобретению нашли множество других применений помимо того, для которого оно было задумано. Проблемы возникают в тех случаях, когда человеческая изобретательность направлена на поиск криминального или антиобщественного применения новой технологии.
Большинство изобретателей разрабатывают свои идеи по ряду причин: сделать лучше собственную жизнь, сделать лучше общество и (или) получить прибыль. Лишь в очень редких случаях изобретатель может предвидеть все способы применения своей разработки. Автомобили использовались как транспорт, на котором можно быстро убраться с места ограбления, и даже как смертельное оружие. Интернет использовался для переговоров между преступниками и торговли контрабандой. Даже такую безобидную вещь, как шпилька, можно использовать в качестве отмычки. Так что для нас не должно быть сюрпризом, что в будущем эмоциональное программирование и социальные роботы будут применяться в незаконных и (или) аморальных целях.
Если мы считаем, что можем предсказать и предотвратить такую вероятность, нас ждет жестокое разочарование. Это не значит, что не нужно прилагать совсем никаких усилий. Очевидное решение – создать защиту для новых устройств и процессов, но, разумеется, и она не устоит перед человеческой изобретательностью. Полуавтоматический пистолет можно сравнительно легко превратить в автоматический. Предупреждения о не пристегнутом ремне безопасности можно отключить. Методы шифрования можно обойти. Тем не менее в каждом отдельном случае защита выполняет свою функцию для подавляющего большинства пользователей. Например, совмещение сигнала о ремне безопасности с системой штрафов повысило эффективность меры: с 11 % в 1980 году до 90 % в настоящее время.
В контексте социальной робототехники часто предполагается, что мы обратимся к творчеству Айзека Азимова, на чьи знаменитые Три закона робототехники3 опиралась вся научная фантастика последних пятидесяти лет. (Подробнее о законах Азимова – в главе 16.) Разумеется, это только фантастика. Пока она преследует свою замечательную цель, позволяя нам играть в «что, если», она не будет осуществимым жизнеспособным решением. Точно так же, как герои Азимова постоянно сталкивались с непредвиденными исключениями, нарушениями и откровенным абсурдом при соблюдении жестко заданных правил, мы обнаружим, что смысл наших изобретений искажают. Проблема уязвимости программного обеспечения возникает снова, но в этот раз она усложняется человеческой хитростью и инициативой.
Другой подход – попытаться предсказать, как можно использовать технологию со злым умыслом. Точно ответить на вопрос практически невозможно, но, применив некоторые инструменты, такие как анализ статистических данных, можно пролить свет на некоторые угрозы и уязвимости. Один из особенно полезных инструментов – общий морфологический анализ, метод «структурирования и изучения всех связей, которые содержатся в многомерных комплексах задач, не поддающихся количественному измерению»4. Специалисты в области прогнозирования применяют этот метод, чтобы исследовать так называемые злостные проблемы – сложные, не ограниченные по времени задачи, состоящие из ряда взаимосвязанных условий. Общий морфологический анализ эффективен для решения задач, которые нельзя решить с помощью причинно-следственного моделирования и имитации (из-за сложности переменных). Он полезен при изучении социальных, организационных и прочих проблем нашего мира.
В Тель-Авивском университете использовали общий морфологический анализ для прогнозирования технологий. Группа под руководством научного сотрудника Роя Цезаны применила метод к многочисленным зарождающимся технологиям, их временным рамкам и взаимному влиянию, возможным комбинациям, взаимодействию и сочетаниям. Цезана отмечает: «Программисты могут создать интересные приложения для общего морфологического анализа, способные обработать миллионы сценариев». Результаты его собственных комбинаторных исследований содержат пугающие выводы о возможностях использования и злоупотребления новыми технологиями. В одном исследовании группа Цезаны установила временные рамки, в пределах которых различные комбинации зарождающихся технологий могут превратиться в потенциальную угрозу, а также просчитала вероятность их появления и тяжесть последствий. Большинство последствий попало в категорию киберпреступлений из-за цифровой природы нашего мира, в котором постоянно растет число взаимосвязей. Однако есть элементы, которые относятся к другим категориям, например биотерроризм, 3D-печать оружия и технология летающих дронов-разведчиков. Вероятность применения технологий для совершения разного рода преступлений оценили в порядке возрастания, а затем изучили повторно, уже в контексте связи каждой отдельной технологии с двумя, тремя или четырьмя другими. В конце концов был открыт ряд новых уязвимостей и угроз.
Те же методы можно применить к аффективным технологиям и социальной робототехнике, что поможет точнее спрогнозировать их применение со злым умыслом, в частности в сочетании с другими технологиями. Затем, в зависимости от уровней риска и уязвимости, можно определить, стоит ли разрабатывать и встраивать в подобные технологии определенную защиту. Разумеется, мы отлично знаем, что всё равно найдется кто-то, кто попытается обойти защиту и наверняка преуспеет в этом.
Культурное развитие происходило независимо от биологического, благодаря чему человечество осознало, что заботиться о предках и почитать их полезно.
Подобную реакцию можно увидеть на примере новых медицинских приборов. Различные беспроводные перепрограммируемые имплантируемые медицинские устройства: кардиостимуляторы, имплантируемые кардиовертердефибрилляторы, внешние инсулиновые помпы – потенциально уязвимы для удаленных попыток злонамеренного перепрограммирования5. На ранних стадиях разработки практически ничего не предпринималось для их защиты от взлома и использования в преступных целях. Хотя это может показаться фантастикой, в высших правительственных кругах к такой уязвимости относятся крайне серьезно. Например, в 2013 году бывший вице-президент Дик Чейни сказал в интервью для программы «60 минут» (60 Minutes), что именно по этой причине в 2007 году его врач распорядился отключить беспроводное функционирование его кардиостимулятора. Врач опасался, что террорист гипотетически мог отправить кардиостимулятору сигнал, который бы спровоцировал у вице-президента остановку сердца. В последние годы возросло понимание подобных уязвимостей у кардиостимуляторов и других имплантируемых медицинских устройств, что привело к шифрованию их сигналов во избежание грязной игры.
