Не все считают полную автономность транспортного средства хорошей идеей — по крайней мере, сын Армсона еще не скоро увидит подобное устройство. Раж Ражкумар, эксперт в области автономного вождения из Университета Карнеги-Меллон, считает, что полностью автономные транспортные средства появятся через 10-20 лет. До этого момента нас ожидает постепенный процесс, когда машины смогут работать на автопилоте в простых ситуациях, позволяя человеку взять контроль в сложных случаях.
«Количество автоматизированных сценариев будет со временем увеличиваться, и в один прекрасный день транспортное средство сможет полностью контролировать себя. Но этот последний шаг будет настолько незначительным, что вряд ли кто-то заметит его», — сообщил Ражкумар в подкасте «99% Invisible». Позже он добавил: «Всегда будет сохраняться вероятность каких-либо экстремальных случаев, когда вещи нельзя будет держать под контролем».
Звучит зловеще, но, возможно, так оно и есть. На первый взгляд кажется разумным, что автомобиль передает контроль в руки водителя в сложной ситуации. Но это незамедлительно создает две проблемы. Если машина знает, когда нужно передавать контроль, то осознает и пределы своей компетентности — на что она способна, а на что нет. На это далеко не всякий человек способен, что уж говорить о компьютере.
Кроме того, если мы ожидаем, что водитель вмешается и возьмет контроль, как он сможет отреагировать должным образом? С учетом того, что мы знаем о сложностях, с которыми могут столкнуться высококвалифицированные пилоты в необычных ситуациях с выключенным автопилотом, способность человека отследить момент, когда компьютер собирается допустить ошибку, под большим вопросом. «Люди не привыкли управлять автоматизированными транспортными средствами, поэтому мы в действительности не знаем, как будут вести себя водители, когда управление будет возложено на автомобиль», — говорит Ануж Прадхан из Мичиганского университета[257]. Представляется вероятным, что мы будем заняты видеоиграми и телефонными разговорами, а не наблюдать ястребиным взором за системами, — возможно, не в первую нашу поездку на беспилотном автомобиле, но в сотую точно уж.
И когда компьютер передает контроль водителю, он вполне может это делать в самых экстремальных и сложных ситуациях. У пилотов Air France было 2-3 минуты на троих, чтобы разобраться с указаниями автопилота. Каковы шансы, что когда борткомпьютер автомобиля предупредит об отключении автоматического режима, мы оторвемся от смартфонов, чтобы увидеть несущийся по встречной автобус?
Ануж Прадхан выдвинул идею о том, что люди должны иметь за плечами несколько лет опыта самостоятельного вождения, прежде чем получить право управлять автономным автомобилем. Однако сложно понять, как это решит проблему. Неважно, сколько лет опыта у водителя, он будет постепенно терять навыки, если передаст управление компьютеру. Предложение Прадхана сочетает два худших фактора: мы разрешаем подросткам лихачить на автомобилях с ручным управлением, где они с большей вероятностью попадут в аварию. И даже когда они достигнут мастерства, им, как пассажирам обычно надежного автономного автомобиля, не понадобится долго ждать, прежде чем они из асов превратятся в дилетантов.
Вспомним, что говорил Эрл Винер: «Цифровые устройства исправляют незначительные ошибки, создавая возможности для крупных»[258]. В случае с автопилотами и автономными транспортными средствами можно добавить: это происходит именно по той причине, что незначительные ошибки исправляются. Лишенные обратной связи, любых несерьезных проблем, которые позволяли нам сохранять наши навыки, в кризисных обстоятельствах мы обнаруживаем себя совершенно неподготовленными.
Каждое применение идеи Винера о крупных и маленьких ошибках предусматривает компромисс. GPS-навигатор регулярно избавляет меня от побочных хлопот, связанных с подготовкой к поездке, но иногда отправляет меня в сельскую церковь прямо перед свадебной церемонией. Стоит ли случайное разочарование сэкономленного времени? С учетом того, что я вновь начал доверять навигатору, я могу заключить, что стоит.
Когда речь заходит об упорядоченных базах данных, компромисс чреват последствиями. Автоматизация упрощает наказание за нарушения парковки и удерживает потенциальных террористов подальше от самолетов. Но она создает ситуации, в которых люди должны отстаивать неправдоподобные истории: «Я не нарушал правила парковки, я стоял в пробке» или «Это не террористическая группировка, это ассоциация выпускников». Оправдывает ли более эффективное обслуживание в большинстве случаев вовлечение небольшой группы людей в сражения против бюрократии в стиле Кафки? На этот вопрос непросто ответить. Но сам факт его наличия говорит, что нужно прислушиваться к людям, которые утверждают, что стали жертвами редкой и необычной ошибки, и создавать механизмы быстрого устранения этих ошибок.
С системой fly-by-wire гораздо легче оценить стоимость компромисса. До конца 1970-х можно было уверенно ждать как минимум 25 смертельных крушений коммерческих самолетов в год. В 2009 году рейс Air France 447 был одним из восьми произошедших крушений — исторический рекорд! Анализ затрат и выгод кажется очевидным: страшные катастрофы вроде рейса 447 оправдывают свою цену — твердая кремниевая рука компьютера предотвратила многие другие.
Однако по-прежнему нельзя не задаться вопросом, есть ли способ совместить адаптируемость, здравый смысл и интуицию человека с надежностью компьютеров с целью дальнейшего сокращения количества происшествий. Один из приоритетов мог включать создание полуавтоматизированных систем, которые осуществляют обратную связь более явным образом. Экипажу рейса 447 Air France 75 раз сказали, что самолет заваливается — STALL, STALL, STALL, но они не чувствовали этого интуитивно. Если бы на экранах появилось огромное изображение самолета с носом, направленным вверх, это бы отобразило опасность. Схожим образом рычаги системы управления не повторяли действия пилотов, поэтому старший пилот не осознавал, что Бонэн отменял его решения. Систем объявила, что пилоты давали самолету противоречивые инструкции, но ее проигнорировали — более явное предупреждение, возможно, привлекло бы внимание.
Некоторые старшие пилоты требуют, чтобы их младшие коллеги иногда выключали автопилоты, поддерживая тем самым свои навыки. Это кажется хорошим советом. Но если младшие пилоты будут выключать автопилот только в безопасных ситуациях, это значит, что они не будут практиковаться в сложных ситуациях. И если они выключат автопилот в трудных условиях, то могут спровоцировать ту самую катастрофу, которой всеми силами старались избегать.
Альтернативное решение — поменять роль компьютера и человека. Вместо того чтобы позволять компьютеру управлять самолетом с человеком, готовым перенять контроль в тех случаях, когда компьютер не может справиться, возможно, будет лучше позволить человеку управлять самолетом, а машина будет отслеживать ситуацию, готовая вмешаться в нужный момент. В конце концов, компьютеры не устают, терпеливы и не нуждаются в практике. Так почему мы просим людей наблюдать за машинами, а не наоборот? Именно так вели себя лучшие метеорологи в исследовании Ребекки Плиске: человек составлял прогноз и затем просил машину предоставить второе мнение. Подобное решение не будет работать во всех областях, но его стоит изучить.
