Автоматизация полетов уже стала обычным делом вследствие того, что большинство авиакатастроф после 1970-х произошли в результате ошибок людей. С тех пор человек устранен из контрольного цикла, однако по иронии теперь пилоты получают еще меньше опыта и подготовлены еще хуже.
Для экономиста Тима Хартфорда решение очевидно: автоматизацию следует сокращать. По его мнению, автоматизировать необходимо рутинные процессы, а чрезвычайные ситуации требуют вмешательства человека, и с ними нельзя научиться справляться на повседневных примерах. Самолет Air France попал в экстремальную ситуацию, а опытного человека в кабине экипажа не оказалось.
Хартфорд подчеркивает, что автоматизация не всегда чревата проблемами:
«В большинстве ситуаций автоматизация не создает такого парадокса. Веб-страница клиентской службы справляется с обычными жалобами и запросами, что избавляет сотрудников от рутинной работы, поэтому они эффективнее решают сложные вопросы.
Но с самолетами все по-другому. Благодаря автопилотам и прочим видам компьютерного управления у экипажа появилось свободное время, но теперь пилотам особенно нечем заняться. В итоге они спят за пультом в прямом и переносном смысле. Всем известен случай в конце 2009 года, когда автопилот пролетел мимо аэропорта в Миннеаполисе больше чем на 100 миль, потому что пилоты не отрывались от своих ноутбуков»
[144].
Закономерно, что другие примеры, обсуждаемые в нашей книге, в том числе беспилотные автомобили, попадают в категорию самолетов, а не обращений в службу поддержки. Что мы станем делать без опыта вождения, когда машина в экстремальной ситуации переложит ответственность на нас? И как придется поступать нашим детям?
Людям необходимо развивать и сохранять навыки и снижать влияние автоматизации на процесс обучения. Опыт по сути своей – ресурс дефицитный, и его частично следует выделить человеку во избежание потери квалификации.
Обратное тоже верно. Прогностические машины должны получить ценный опыт событий, потенциально ведущих к катастрофе. Но откуда он возьмется, если в цикл включен человек? Возникает еще один компромиссный выбор – между опытом человека и машины.
Данные компромиссы раскрывают подтекст ориентированности на ИИ, провозглашенной руководством Google, Microsoft и других компаний. Они готовы инвестировать в данные для обучения прогностических машин, чье усовершенствование возводится в приоритет, даже в ущерб опыту пользователя и обучению сотрудников. В стратегии ИИ первое место занимают данные.
Выводы
• Переход на стратегию, ориентированную на ИИ, означает смещение прежних приоритетов. Ориентация на ИИ – не просто модная фраза, за ней кроется фактический компромисс. В такой стратегии организации на первое место ставится максимальная точность прогнозов, даже в ущерб другим целям, таким как увеличение прибыли, количество пользователей или опыт пользователя.
• ИИ представляет собой подрывную технологию, поскольку у действующих компаний экономические стимулы к его освоению слабее, чем у стартапов. Качество оснащенных ИИ продуктов поначалу невысокое – чтобы прогностическая машина работала так же эффективно, как жестко запрограммированные устройства, подчиняющиеся человеку, ей требуется время на обучение. При этом запущенный ИИ непрерывно учится и совершенствуется, оставляя позади своих неинтеллектуальных конкурентов. У давно существующих компаний возникает соблазн выждать, оставаясь в стороне и наблюдая за прогрессом ИИ в своей сфере. Для некоторых такой подход приемлем, но другим фирмам впоследствии окажется сложно догнать конкурентов, преуспевших в обучении и внедрении инструментов ИИ.
• Одно из стратегических решений касается времени, когда можно выпускать инструменты ИИ в реальный мир. Сначала их обучают внутри компании без привлечения пользователей. Но в реальных условиях коммерческого применения с большим притоком данных они учатся быстрее. Преимущество раннего выпуска – быстрое обучение, а издержки – более высокий риск (для имиджа компании или безопасности пользователя из-за недостаточно обученного ИИ). В некоторых случаях, например с Google Inbox, решение очевидно: плюсы быстрого обучения перевешивают издержки низкой эффективности. Но в других сферах, таких как автономное вождение, компромисс между преимуществами скорой коммерциализации продукта и высокой ценой ошибки слишком раннего выпуска найти не так просто.
Глава 16. Управление рисками ИИ
Латания Суини – бывший технический руководитель Федеральной торговой комиссии США, а ныне профессор Гарвардского университета. Однажды коллега искал в Google статью, вбил фамилию Суини в поисковую строку и увидел в результатах сообщение о ее аресте
[145]. Удивленная Латания кликнула на ссылку, заплатила за просмотр и прочитала о том, что ей и так известно: никакого ареста не было. Заинтригованная, она ввела имя коллеги Адама Таннера, и появилась ссылка на ту же компанию, но без информации об аресте. Задав еще несколько запросов, она пришла к предположению, что сообщение об аресте появлялось в запросах на афроамериканские имена. После планомерной проверки гипотезы Суини сделала вывод, что если искать имена, принадлежащие темнокожим, например Лакиша или Тревон, то вероятность появления информации об аресте на 25 % выше, чем при поиске обычных имен, таких как Джилл или Джошуа
[146].
Такие отклонения чреваты неприятными последствиями. Предположим, работодатель ищет информацию о соискателе. Увидев заголовок вроде «Латания Суини арестована?», он может усомниться в кандидатуре. Это дискриминация и явная клевета.
Почему это случилось? Google предоставляет ПО, позволяющее рекламодателям тестировать и использовать конкретные ключевые слова. И они могут создавать рекламу в соответствии с классификацией имен по расовому признаку, хотя Google это отрицала
[147]. Возможно, что такая закономерность возникла как следствие алгоритмов Google, продвигающих рекламу с высоким «показателем качества» (на которую вероятнее всего кликнут). Здесь могли сыграть роль прогностические машины. Например, если бы потенциальные работодатели, вбив имя в поиск, с большей вероятностью кликали на сообщение об аресте с афроамериканскими именами, чем с другими, то показатель качества размещения таких сообщений рядом с этими ключевыми словами вырос бы. Google не собиралась проявлять дискриминацию, но ее алгоритмы могли усугубить существующие в обществе предубеждения. Таков пример риска, связанного с применением ИИ.
