В тот же день, когда автомобиль Виктора Хэнкинса был сфотографирован, Google представила нейросеть, которая может определить номера домов на фотографиях, снятых автомобилями в Google Street View. Дайте сети час, утверждала исследовательская команда Google, и она сможет прочитать каждый номер дома во Франции с точностью 96%[246]. Это впечатляет, но даже низкий уровень погрешности создает огромное число ошибок. Во Франции 25 миллионов домов, поэтому нейросеть Google можно представить также как структуру, которая за час может неправильно распознать номера на миллионе построек.
Такая высокая погрешность на самом деле утешает, так как на метод не будут полагаться всецело. Компании вроде UPS или FedEx никогда не согласятся на то, чтобы 1 из 25 их посылок уходили по неверному адресу: это было бы катастрофой для репутации. Французская полиция, как мы надеемся, не будет счастлива тому факту, что вламывается в дверь дома с небольшой вероятностью того, что там живет законопослушный гражданин. И если бы так происходило все время, жалобы рассматривались бы серьезно: когда в службе омбудсменов знают, что сотрудники полиции проваливают 1 дело из 25, то им придется выслушать того, кто утверждает, что попал в эти 4%.
Но что, если Google поработает над точностью своей системы? Теперь лишь 1 ошибка будет приходиться на 24 миллиона правильно распознанных французских домов. Но она может с кем-то произойти, а никто не поверит. Чем реже случается исключение, как с системой fly-by-wire, тем, вероятнее всего, хуже мы на него отреагируем. Мы по умолчанию полагаем, что компьютер всегда прав, и, когда кто-то говорит, что машина ошиблась, то предположим, что человек перед нами сам ошибается или лжет. Что происходит, когда сотрудники частной охранной службы выбрасывают вас из местного торгового центра, потому что система охраны ошиблась и распознала вас как известного карманника?[247] Эта технология уже существует, и в нее вносят изменения, чтобы позволить продавцам выделять наиболее падких на акции покупателей в тот момент, когда они входят в магазин. Когда вы уже находитесь в «криминальном» списке, насколько легко из него выйти?
Автоматизированные системы могут работать безупречно — но если мы слишком доверяем им, от этого страдают живые люди. Рассмотрим опыт Рахины Ибрагим, 39-летнего преподавателя и архитектора, которая училась в докторантуре Стэнфорда. 2 января 2005 года она попыталась вылететь из Сан-Франциско на Гавайи, чтобы выступить со своим исследованием на конференции. Это было достаточно трудное путешествие с учетом того, что Рахина была прикована к инвалидной коляске из-за недавней операции, но оно стало еще труднее. После попытки пройти регистрацию она на глазах своей дочери-подростка была арестована: на нее надели наручники и увезли в изолятор. Спустя несколько часов ей разрешили вылететь на следующий день[248].
Спустя два месяца Рахине, которая на тот момент находилась в своей родной стране Малайзии, сообщили в аэропорту, что ее американская студенческая виза была аннулирована без уведомления. Несмотря на то что ее ребенок имел американское гражданство, она никогда не сможет вернуться в США.
Если для отмены штрафного талона Виктора Хэнкинса понадобилось лишь упомянуть при сотрудниках городского совета Брадфорда о суде, Рахине понадобились 9 лет и $4 миллиона от волонтеров на юридическую поддержку — американское правительство всеми силами пыталось замять дело, — прежде чем американский окружной судья Уильям Элсап огласил шокирующие результаты. Рахина попала в черный список пассажиров по ошибке — возможно, в результате путаницы между Jemaah Islamiyah, террористической группировкой, чье установленное в автомобиле взрывное устройство убило в 2002 году 202 человека на Бали, и Jemaah Islah Malaysia, профессиональной ассоциации жителей Малайзии, которые учатся за рубежом. Рахина была членом второй организации, а не первой.
Как только ошибка возникла в базе данных, она приобрела полную власть над компьютером. Как писал судья, «как только компрометирующая информация опубликована в TSDB [Базе данных для проверки террористов], она может широко распространиться по взаимосвязанному комплексу правительственных баз данных, как и плохая кредитная история, от которой никогда не избавиться». Изначальная ошибка распространилась словно вирус, устранение которого не вызывало интереса ни у одного служебного лица.
Окружающий мир — это хаотичная среда. Вот тут цифра «1» или «7», строчная «L» или прописная «i»? Автомобиль неподвижен: он припаркован или застрял в пробке? Этот человек — карманник или просто на него похож? Эта группа с незнакомым названием — банда убийц или ассоциация международных студентов? В хаотичном мире ошибки неизбежны.
При этом автоматизированные системы стремятся к упорядоченной структуре. Как только алгоритм или база данных поместили вас в конкретную категорию, данные, записанные черным по белому, отвергают любые доводы. Вы карманный вор. Вы припарковались на автобусной остановке. Вы в черном списке пассажиров. Машина так утверждает, наделенная властью правительством, которое годами упорно защищает себя вместо того, чтобы признать, что ошибки случаются.
Сегодня мы попадаем в большее количество списков, чем когда-либо: списки преступников, списки расточительных покупателей, списки людей, которые часто ездят в Сан-Леандро (Калифорния), даже списки жертв насилия[249]. Компьютеры превратили такие списки из неуклюжих ящиков с бумагами в актуальные и постоянно данные. И компьютеры зачастую не несут ответственности: алгоритм, который составляет рейтинги учителей и школ, водителей Uber или компаний в поиске Google, как правило, будет представлять коммерческую тайну. Какие бы ошибки или предубеждения ни были там запрограммированы, он защищен от проверок, его сложно оспорить[250].
При всей силе и неоспоримой пользе подобных данных мы, возможно, еще не признали, насколько упорядоченные массивы не соответствуют хаотичному миру. Мы не предполагаем, что компьютер, который в сотни раз точнее и в миллионы раз быстрее человека, может сделать в 10,000 раз больше ошибок. И, вспоминая проект научного лесоведения Иоганна Готлиба Бекмана, мы не можем признать, чтоб базы данных не только классифицируют, но еще и изменяют мир.
Это не значит, что мы должны начать уничтожение алгоритмов и массивов с информацией. Даже если мы разделяем сомнения Майкла Катц-Лакаба, многие из нас признают, что компьютеризованные системы оправдывает хотя бы помощь в расследовании преступлений, регулировании дорожного трафика и предотвращении допуска террористов на самолет. Но база данных и алгоритмы, равно как и автопилот, должны существовать для поддержки решений человека. Если мы полностью доверимся машинам, катастрофа неизбежна.
Наша приобретенная из-за технологий беспомощность порой больше забавляет, чем приводит в ужас. В марте 2012 года три японских студента, приехавшие в Австралию, решили отправиться в Норт-Страдброк, руководствуясь GPS-навигатором. По каким-то причинам навигатор не знал, что на проложенном маршруте нужно было каким-то образом пробраться 9 миль через Тихий океан. Подобное, конечно, случается, но ситуация с тремя студентами была поразительной: подчинившись технологиям, они выехали на пляж и илистые участки океана. Когда вода начала плескаться вокруг их Hyundai, они поняли, что застряли. Под взглядами удивленных пассажиров парома студенты оставили машину и пошли вброд к берегу. Машина не подлежала восстановлению. «Мы снова хотим вернуться в Австралию, — сказал один из парней. — Все очень добры, особенно сегодня»[251].
