Но гипотеза экономистов подтвердилась. Поисковая реклама почти не влияла на продажи, ее рентабельность оставалась отрицательной. Клиенты eBay достаточно сообразительны, чтобы при отсутствии рекламы воспользоваться обычным поиском Google, ссылки на сайт в любом случае оказывались в первых строках. То же самое получилось у BMW и Amazon. Единственная польза от рекламы заключалась в привлечении новых клиентов на eBay.
Суть приведенного примера в том, что ИИ – опирающийся не на причинно-следственные эксперименты, а на взаимосвязи – угодил в ту же ловушку, что и любой, кто пользуется данными и элементарной статистикой. Если вы хотите убедиться в эффективности рекламы, проверьте, приводит ли она к продажам. Но этого недостаточно – необходимо выяснить, как пойдут продажи без рекламы. ИИ, обученный на данных о большом объеме рекламы и продаж, не знает, что происходит, когда рекламы меньше. У него нет об этом данных. Это неизвестные известные – одна из слабых сторон прогностических машин, для преодоления которых требуется человеческое суждение. В настоящее время только внимательные люди способны выяснить, не попал ли ИИ в эту ловушку.
Риск безопасности
В ПО всегда присутствовал риск безопасности, а для ИИ он возникает из-за возможности манипулирования данными. Для прогностических машин необходимы три типа данных: входные, обучения и обратной связи, и у всех существует потенциальный риск безопасности.
Риск входных данных
Прогностические машины потребляют входные данные, объединяя их для создания прогноза с моделью. Поэтому – как гласит старая компьютерная присказка «что на входе, то и на выходе» – прогностические машины ошибаются, если данные или модель неточны. Хакер может вызвать сбой в работе машины, подсунув неверные данные или изменив прогностическую модель, иногда машина выходит из строя. Это плохо, но по крайней мере известно, когда это произошло. А манипуляции прогностической машиной не всегда заметны (иногда вплоть до катастрофы).
У хакеров много способов манипулировать прогностической машиной и направлять ее по ложному пути. Исследователи Вашингтонского университета продемонстрировали, что новые алгоритмы Google для определения содержания видео легко одурачить – машина делает ошибку в классификации, если на доли секунды в записи мелькают случайные изображения
[152]. Например, если в видео с зоопарком вставить фотографии машин, человек, в отличие от компьютера, не успеет их увидеть. Это уязвимость высокой степени риска, если необходимо знать содержание опубликованного контента для контекстной рекламы.
Машины генерируют прогноз для принятия решений; компании применяют машины в ситуациях, когда прогноз играет в них важную роль. А зачем изначально брать на себя труд по составлению прогнозов без привязки к решениям? Хитроумные и непорядочные люди в таких случаях поймут, что могут влиять на решение посредством прогноза. Например, если ИИ рассчитывает дозу инсулина для больного диабетом, то в случае некорректных данных о человеке он может предложить снизить ее, когда в действительности ее следует повысить, и таким образом больной подвергнется серьезному риску. Вот идеальный способ навредить человеку!
Чаще всего прогностические машины используются, когда прогноз сделать сложно. Злоумышленник не всегда располагает необходимыми ему данными для искажения прогноза, машина может отталкиваться в нем от совокупности факторов. Маленькая ложь в большой правде не принесет заметного вреда. Но в большинстве случаев получить данные для манипуляций прогнозом достаточно легко, если это, скажем, место, дата или время. Но важнее всего личные данные. Если прогноз делается для конкретного человека, подмена данных чревата печальными последствиями.
Технологии ИИ будут развиваться параллельно со способами идентификации личности. Стартап Nymi, с которым мы работаем, создал технологию машинного обучения, опознающую людей по сердцебиению. В других используется сканирование сетчатки глаза, лица или отпечатков пальцев. Компании также идентифицируют личность пользователя смартфона по походке. В результате удачного слияния технологий могут появиться способы одновременной настройки ИИ с учетом личных предпочтений и надежной идентификации личности.
Не только персональный прогноз уязвим для манипуляций – у общего тоже есть свои риски, связанные с махинациями на уровне популяции. Экологи утверждают, что гомогенная популяция подвержена риску заболеваний и уничтожения больше
[153]. Приведем классический пример из области сельского хозяйства: если все фермеры региона или страны выращивают один вид культуры, это принесет краткосрочную выгоду; скорее всего, его и выберут потому, что здесь он растет лучше других. Выбрав лучший вид, фермеры снижают индивидуальные риски. Однако в такой гомогенности кроется опасность распространения болезней и влияния неблагоприятных климатических условий. Если все фермеры выращивают один вид конкретного растения, то все поля становятся уязвимыми к какой-либо одной болезни, следовательно, масштабы вероятного бедствия возрастают. Монокультурные хозяйства выгодны владельцам, но увеличивают риск для системы в целом.
Эта концепция применима к IT вообще и прогностическим машинам в частности. Если какая-то одна система машин окажется полезнее других, она распространится на организацию в целом или даже на весь мир. На автомобили могут установить самую безопасную прогностическую машину, что снизит индивидуальные риски и повысит безопасность, но также усилит вероятность масштабного сбоя, намеренного или нет. Если все автомобили работают на одном алгоритме, то его можно взломать, изменить каким-либо образом данные или модель, и все они выйдут из строя одновременно. Как и в сельском хозяйстве, гомогенность улучшает результаты на индивидуальном уровне за счет умножения вероятности общего краха системы.
Вроде бы несложное решение проблемы сбоя системы заключается в разнообразии используемых прогностических машин. Это снижает угрозу безопасности, но за счет пониженной эффективности и к тому же повышает риск случайных мелких сбоев из-за отсутствия стандартизации. Разнообразие машин, как и биологическое, включает в себя компромисс между результатами на индивидуальном и системном уровнях.
В большинстве случаев системный сбой происходит вследствие одновременной атаки на несколько прогностических машин. Например, атака на один беспилотный автомобиль угрожает личной безопасности, а на несколько сразу – внутренней безопасности государства.
Еще один способ защиты от одновременной массированной атаки, подходящий для стандартизированной системы гомогенных прогностических машин, – отсоединение устройства от облака
[154]. Мы уже рассказывали о плюсах внедрения прогнозов в устройства вместо облака для ускорения контекстного обучения (в ущерб точности прогнозов в целом) и обеспечения конфиденциальности.
