Весело смеяться над несведущими туристами. Но стоит также задаться вопросом, как три разумных существа могут заехать в Тихий океан по инструкциям вышедшего из строя GPS-навигатора
. Автоматизированные системы склонны вводить нас в состояние пассивности. В других ситуациях у нас есть хорошо известная тенденция принимать параметры по умолчанию — например, в странах, где людей регистрируют в список доноров органов автоматически, только если они не поставят галочку в пункте об отказе, практически все соглашаются на это. В странах, где вы должны поставить галочку в пункте согласия, процент согласившихся гораздо меньше. То же самое верно и в отношении корпоративных пенсионных программ. Если параметры отличаются от заданных по умолчанию, мы ведем себя иначе — несмотря на тот факт, что это жизненно важные решения[252].
Как оказалось, такая тенденция применима и к автоматизированным процессам: психологи называют ее погрешностью автоматизации. Проблема — в Стэнфорде, в черном списке США, где угодно — заключается в том, что, как только компьютер предложил вариант решения, возникает непреодолимый соблазни принять его без раздумий.
Завести машину в море является крайним примером погрешности автоматизации, но многие пользователи GPS-навигаторов знакомы с менее драматичными последствиями. Когда вы используете навигатор в первый раз, то действуете осторожно. Вы проверяете карту, возможно, распечатываете некоторые направления, знакомитесь с территорией и самостоятельно подсчитываете, сколько займет ваша поездка. Но после трех-четырех успешных выездов наступает привыкание: зачем суетиться, когда навигатор построит маршрут быстрее и достовернее?
GPS-навигатор не будет подводить часто, но когда это произойдет, то случай будет серьезный. Как-то раз я направлялся в отель в центре Йорка, прекрасного средневекового города, окруженного стенами, которые не дают автомобилям заполонить город. Я прибыл поздно ночью и обнаружил, что на моем маршруте идут ночные работы по замене дорожного полотна. Навигатор не понимал этого и рекомендовал двигаться дальше, снося заграждения. К счастью, у меня хватило ума не следовать этим указаниям и ложиться под встречный асфальтоукладчик, но на большее я оказался неспособен, поскольку доверял компьютеру и не озаботился запасными вариантами. Я не знал, где находился сам и где находился мой отель. У меня не было карты — это случилось до возникновения смартфонов, — поэтому я был вынужден бесцельно ездить по округе в надежде, что устройство в конце концов предложит альтернативный маршрут.
После нескольких менее проблемных поездок я вновь начал доверять навигатору — он безукоризненно работал годами до тех пор, пока недавно я не направился к месту проведения загородной свадьбы, вооруженный лишь почтовым кодом. Как выяснилось, компьютер его не знал. Не понимая, почему навигатор подвел меня, я не в состоянии предсказать, когда он может вновь ошибиться.
Гэри Клейн, психолог, который специализируется на исследовании экспертного и интуитивного процесса принятия решений, так формулирует проблему: «Когда алгоритмы принимают решения, люди зачастую прекращают самосовершенствоваться. Алгоритмы усложняют диагностирование причин неудач. По мере того как люди становятся более зависимыми от алгоритмов, здравый смысл может ослабевать, в еще большей степени повышая зависимость. Так создается порочный круг. Люди становятся пассивными и менее бдительными, когда решения принимают алгоритмы»[253].
Аналитики в области решений вроде Кляйна жалуются, что многие разработчики программного обеспечения усиливают проблему, преднамеренно разрабатывая системы, которые вытесняют человеческий опыт параметрами по умолчанию. Если мы хотим использовать их для поддержки человеческого опыта, нужно бороться с системой. Например, GPS-устройства могут предлагать все виды поддержки принятия решений, позволяя водителю изучить варианты, рассмотреть карты и изменить маршрут. Но эти функции становятся все более скрытыми. Нужно потратить время, чтобы их найти, тогда как гораздо легче нажать на «Начать движение» и доверить машине все остальное.
Системы, которые вытесняют, а не поддерживают процесс принятия решений человеком, распространены повсюду. Нас беспокоит, что машины отбирают нашу работу, но не менее серьезная проблема состоит в том, что они захватывают и наш здравый смысл. На огромных складах, так распространенных за кулисами современной экономики, грузчики торопятся схватить продукты с полок и отнести их туда, где их можно упаковать и отправить. В ушах людей находятся наушники: голос «Дженнифер», части программного обеспечения, говорит им, куда идти и что делать, контролируя любое движение. « Дженнифер» разбивает инструкции на крошечные части, чтобы минимизировать ошибки и максимизировать продуктивность, — например, вместо того чтобы взять 18 копий книги с полки, рабочий получит инструкции о том, что нужно пять. Затем еще столько же. И еще. Затем еще три. Работа в подобных условиях превращает людей в машины, состоящие из плоти. Вместо того чтобы просить нас думать или приспосабливаться, компонент программы «Дженнифер» захватил наш мыслительный процесс и обращается с работниками как с дешевым источником визуальной обработки и парой рук[254].
Можно даже предположить, что финансовый кризис 2007-2008 годов, который поверг мир в рецессию, был аналогичен рассеянному движению автомобиля в Тихий океан. Одним из слабых мест, способствовавших кризису, был провал финансовых продуктов под названием «обеспеченные залогом обязательства» (CDO) — чрезвычайно сложные структуры, стоимость которых скрытым образом зависит от здоровья американского ипотечного рынка. Бывалый маркетолог может взглянуть на быстро растущие цены на жилье и задуматься о том, что возможно резкое падение, хотя США не испытывали прежде общенационального синхронного краха. И если тот человек мог обратиться к компьютерам, компьютеры могли бы продемонстрировать катастрофическое воздействие такого краха на стоимость CDO. К сожалению, здесь нет единства взглядов: компьютеры не обладали неявными знаниями опытных людей, поэтому они не могли разработать идею вероятности краха тогда, когда опытные люди не понимали, как их интуиция повлияет на стоимость CDO.
Можно сопротивляться зову алгоритмов. Психолог Ребекка Плиске обнаружила, что опытные метеорологи создают прогнозы погоды, вначале рассмотрев данные и сформировав собственное суждение. Лишь потом они смотрят на прогноз компьютера, чтобы увидеть, заметил ли он то, что они пропустили (обычно этого не происходит). Составляя прогноз вручную, эти ветераны сохраняли свои навыки отточенными, в отличие от пилотов Airbus 330. Тем не менее молодое поколение метеорологов радо возможности доверять компьютерам. Как только ветераны уйдут на пенсию, способность интуитивно делать верные выводы там, где компьютеры допустят ошибку, будет утеряна навсегда[255].
Мы наблюдали проблемы GPS-систем и автопилотов. Объедините две системы воедино, и вы получите беспилотный автомобиль.
Крис Армсон, возглавляющий программу Google по разработке беспилотных автомобилей, надеется, что вскоре автомобили будут настолько широкодоступны, что его детям никогда не понадобится получать водительские права (его старшему сыну будет 16 в 2020 году — Армсон очень торопится). В отличие от автопилотов самолета, беспилотному автомобилю никогда не будет нужно передавать контроль человеку. Как и все продукты Google, автономные транспортные средства компании не оборудованы рулем, однако будем надеяться, что из них можно будет хотя бы выпрыгнуть, если машины начнут двигаться в сторону океана[256].
