При работе с прогностической машиной прогноз требуется сообщить тому, кто принимает решение. Но если прогноз непосредственно приводит к очевидным действиям («думать нет необходимости»), потребность в человеческом суждении в данном цикле отпадает. Если машину относительно несложно запрограммировать на суждение и осуществление последующих действий, то целесообразно возложить на нее задачу полностью.
Это привело к разнообразным инновациям. На Олимпийских играх 2016 года в Рио новая автоматическая камера снимала пловцов под водой, отслеживая их действия и передвигаясь одновременно с ними по дну бассейна
[89].
Раньше камерой управлял оператор, но ему приходилось предполагать расположение спортсменов в воде, а сейчас это делает за него прогностическая машина. И плавание было только началом. Современные исследователи работают над автоматизацией камеры для более сложных видов спорта, таких как баскетбол
[90]. И опять же потребность в скорости и возможность закодировать суждение способствуют переходу к полной автоматизации.
Что общего у предотвращения несчастных случаев и автоматических камер для спортивной съемки? В обоих случаях за прогнозом мгновенно следует действие, а суждение поддается кодированию или предсказуемо. Автоматизация целесообразна, когда отдача от возложения всех функций на машину выше отдачи от включения в процесс человека.
Автоматизация также имеет смысл при высоких издержках коммуникации. Возьмем космические исследования. Робота гораздо проще отправить в космос, чем человека, и сегодня несколько компаний изыскивают способы добычи полезных ископаемых на Луне, но им предстоит преодолеть множество технических преград. Нас интересует, как роботы будут ориентироваться и действовать на Луне: чтобы радиосигнал достиг планеты и вернулся обратно, требуется как минимум две секунды, поэтому управление роботом с Земли – медленный и трудоемкий процесс. В этом случае он не сможет реагировать на новые обстоятельства немедленно. Если, двигаясь по лунной поверхности, робот внезапно приблизится к обрыву, любые задержки в коммуникации могут стать фатальными. Решение проблемы – в прогностических машинах. При условии качественных прогнозов деятельность робота на Луне возможно автоматизировать, и людям не придется контролировать каждый его шаг с Земли. Без ИИ подобные коммерческие проекты вряд ли воплотятся в жизнь.
Когда закон требует от человека действий
В научно-фантастических сюжетах полная автоматизация обычно приводит к проблемам. Даже если всех нас абсолютно устраивает полная автономия машин, закон может этого не позволить. Знаменитый писатель-фантаст Айзек Азимов предвидел вопрос нормативно-правового регулирования и придумал три закона робототехники, остроумно исключающих возможность нанесения вреда человеку
[91].
Аналогично современные философы излагают многочисленные, на первый взгляд, отвлеченные этические дилеммы. Рассмотрим задачу с вагонеткой: предположим, вы стоите у переключателя, переводящего стрелку с одних рельсов на другие. На рельсах, по которым едет вагонетка, стоят пять человек. Можно переключить стрелку, но на других рельсах стоит один человек. Нет ни других вариантов, ни времени на размышления. Как вы поступите? Большинство людей этот вопрос ставит в тупик, и, как правило, никому вообще не хочется на него отвечать. Однако с беспилотными автомобилями такая ситуация вероятна. Кому-то придется разрешить дилемму и запрограммировать соответствующее действие. Проблема неизбежна. Кто-то – скорее всего, представители закона – будет определять, кто останется жив, а кто погибнет.
Пока мы предпочитаем сохранять в цикле человека, а не кодировать этический выбор в программу. Вообразите, например, полностью автономное беспилотное оружие, которое самостоятельно идентифицирует объект, наводит на цель и убивает. Даже если генерал армии найдет прогностическую машину, умеющую отличать мирных граждан от военных, сколько времени понадобится последним, чтобы научиться сбивать ее с толку? Требуемый уровень точности в ближайшем будущем, вероятно, невозможен, поэтому в 2012 году Министерство обороны США выдвинуло директиву, которую большинство расценивает как требование сохранить человека в цикле принятия решений об атаке
[92]. Пока неясно, нужно ли будет соблюдать данное требование всегда, но необходимость вмешательства человека по какой бы то ни было причине ограничит автономность прогностических машин в случаях, когда они могли бы действовать самостоятельно
[93]. Даже ПО автопилота Tesla, несмотря на способность управлять автомобилем, сопровождается юридическим требованием водителю постоянно держать руки на руле.
С экономической точки зрения целесообразность отсутствия в данном цикле человека зависит от степени потенциального вреда. К примеру, управление беспилотным транспортным средством в отдаленной шахте или на производстве очень отличается от такового на автомобильных дорогах. Обстановку «на производстве» и «на дороге» разделяет наличие так называемых экономистами экстерналий – издержек, больше ощутимых для окружающих, чем для лица, принимающего решения.
Экономисты разработали ряд решений для проблемы экстерналий. Одно из них – возложение ответственности на ключевое лицо, принимающее решение, чтобы оно присвоило себе внешние издержки. Например, налог на вредные выбросы в атмосферу выполняет эту роль в контексте присвоения экстерналий, связанных с изменением климата. Но в отношении автономных машин трудно определить ответственную сторону. Чем выше потенциальная угроза от машины для людей, не входящих в организацию (и, разумеется, риск физического ущерба для сотрудников), тем вероятнее, что с точки зрения закона и здравого смысла разумнее сохранить человека в цикле.
