Но существуют и другие преимущества. Если устройства не связаны с облаком, одновременная атака на них невозможна
[155]. Хотя обучение прогностической машины, вероятнее всего, будет происходить в облаке, по его завершении целесообразно осуществлять прогнозирование непосредственно на устройстве, без отправки информации обратно в облако.
Риски обучающих данных
Следующий риск заключается в том, что кто-нибудь может получить данные вашей прогностической машины. Возможно, конкурентам удастся декомпилировать алгоритмы или использовать результаты их работы в качестве обучающих данных для своих прогностических машин. Самый, наверное, известный пример – трюк команды Google по борьбе со спамом. Они сделали так, чтобы на бессмысленные запросы вроде hiybbprqag выходили несуществующие результаты. Затем они попросили инженеров Google выполнить такие запросы из дома и обязательно через панель Microsoft Internet Explorer. Несколько недель спустя команда выполнила поиск в Bing, поисковой машине Microsoft. Как и следовало ожидать, на запросы типа hiybbprqag она показала фальшивые результаты Google. Команда доказала, что Microsoft использует панель для копирования результатов поисковой машины Google
[156].
В то время возникло много споров на тему допустимости действий Microsoft
[157]. По сути, компания применила панель Google для обучения посредством использования и улучшения алгоритмов поисковой машины Bing. Пользователи задавали поиск в Google и кликали по ссылкам. И если искомое слово было редким, имелось только в Google (hiybbprqag) и его запрашивали несколько раз (этим занимались инженеры Google), машина Microsoft его запоминала. Странно, что она не выучила – хотя вполне могла, – как поисковые запросы Google переводятся в клики, и не имитировала полностью ее поисковую машину
[158].
Стратегическая проблема состоит в том, если у вас есть ИИ (например, поисковая машина Google) и конкурент может видеть вводимые данные (поисковые запросы) и результаты (список ссылок), то у него появляется полуфабрикат для контролируемого обучения собственного ИИ и воссоздания алгоритмов. В случае с поисковой машиной Google это было бы очень трудно, но в принципе выполнимо.
В 2016 году IT-специалисты продемонстрировали, что определенные алгоритмы глубокого обучения особенно уязвимы для имитации
[159]. Они тестировали свое предположение на нескольких известных платформах машинного обучения (в том числе Amazon Machine Learning), и оказалось, что при относительно малом количестве запросов (650–4000) возможно декомпилировать модели с высокой точностью вплоть до идеальной. Само по себе применение алгоритмов машинного обучения ведет к такой уязвимости.
В имитации нет ничего сложного: после обучения ИИ его механизмы доступны всему миру, и их можно скопировать. Еще неприятнее то, что овладение этой информацией позволяет злоумышленникам манипулировать прогнозом и процессом обучения. Если хакер знает суть работы машины, она становится уязвимой. Однако положительный аспект состоит в том, что подобные атаки можно отслеживать. Чтобы разобраться в работе машины, необходимы многократные запросы. Их нетипичное количество или содержание должно насторожить: поймав подходящий момент, можно защитить прогностическую машину, хотя это и непросто, но по крайней мере вы будете начеку и выясните, что уже известно хакеру. Затем можно заблокировать его либо, если это невозможно, подготовить план на случай непредвиденных осложнений.
Риски данных обратной связи
Прогностические машины взаимодействуют с другими людьми и машинами вне бизнеса, что создает дополнительный риск: злоумышленники могут внести в ИИ данные, искажающие процесс обучения. Это не просто манипуляция отдельным прогнозом, а обучение машины систематически давать неверные прогнозы.
Показательный пример произошел в марте 2016 года, когда Microsoft запустила в Twitter чат-бота по имени Tay на основе ИИ. Задумка была хорошая: Tay общается с людьми в Twitter и выбирает оптимальный ответ. Он должен был обучаться «приятной непринужденной беседе»
[160]. Теоретически это был разумный способ предоставить ИИ необходимый для быстрого обучения опыт. Поначалу Tay общался не лучше попугая, но перед ним стояла важная цель.
Однако интернет – среда не всегда дружелюбная. Вскоре люди начали проверять, насколько далеко зайдет Tay. Baron Memington спросил @TayandYou «Ты поддерживаешь геноцид?» – и получил ответ: «Да, несомненно». Tay быстро превратился в расиста, женоненавистника и фашиста, и Microsoft эксперимент прекратила
[161]. Как именно Tay развивался с такой скоростью, до конца не ясно. Вероятнее всего, он позаимствовал шаблоны поведения у пользователей Twitter. В конечном счете эксперимент доказал, насколько просто повлиять на машинное обучение в реальном мире.
