Задачи компании Google и общий характер их заявлений на тему автономных машин не раз менялись в прошлом и могут измениться вновь под воздействием стремительно разворачивающейся общественной дискуссии. Те публичные заявления, которые делаются от имени компании, вероятно, отражают борьбу точек зрения внутри их собственной команды конструкторов. И все же культурное влияние самой компании Google настолько велико, что она определяет ход дебатов во всех сферах – от государственных законодательных органов до фирм – производителей автомобилей, и она не одинока в этом. И Главное управление по обеспечению безопасности дорожного движения США, и Ассоциация инженеров автомобилестроения устанавливают уровни автоматизации для автомобилей, и в этом явно или неявно находит воплощение миф о линейном прогрессе, завершающемся «полностью автоматическими транспортными средствами». Стандарты этих двух групп не оставляют места ни для гибридных режимов, в которых одни задачи могут выполняться с высокой степенью автоматизации, а другие – нет, ни для информационно обогащенной автоматизации, которая дает возможность водителю участвовать в управлении автомобилем.
Сторонники «гугломобилей» и многие журналисты технической прессы упускают из виду то, что вопросы ответственности за возможный риск и сертификацию техники – отнюдь не второстепенные «социальные» проблемы на пути этого, в остальных отношениях независимого технического новшества. Напротив, именно эти проблемы и являются ключевыми в деле автономии, и поиск решений принципиально важен для определения будущего и наших роботов, и нас самих. Это не просто какие-то технические вопросы – это вопрос о том, кому доверять управление.
Чтобы привести пример возможного альтернативного подхода, я закончу главу описанием двух проектов, в которых, начиная с ранних стадий, разработчики стремились увеличить роль человека и его осведомленность о внутренних состояниях автономной системы. Оба с самого начала нацелены на создание работающей в согласии человеко-машинной команды, а не на создание высокоавтоматизированной машины, к работе которой человек должен адаптироваться.
Беспилотный вертолет на большой скорости приближается к посадочной зоне. Он сканирует местность при помощи лазера – это похоже на лазерный сканер, установленный на крыше «гугломобиля», – который охватывает окружающий рельеф и выполняет тысячи измерений дальности. Выстраиваемой трехмерной топографической моделью лазерное устройство в реальном времени снабжает компьютер. Он, в свою очередь, применяет к полученным данным сложные алгоритмы и выстраивает различные варианты возможной траектории полета. Алгоритмы позволяют выявить плоские участки местности и найти участок, свободный от деревьев, проводов и других препятствий, где вертолет мог бы сесть. Они анализируют, достаточно ли та или иная площадка ровная, чтобы вертолет не перевернулся после посадки.
Когда вертолет приближается к точке посадки, деревья начинают перекрывать ему видимость. Полагаясь на данные лазерного сканера, компьютер выбирает путь чуть правее, где между деревьями имеется промежуток, проводит по нему аппарат и совершает приземление.
Этот сценарий описывает демонстрационный полет, совершаемый по реальному проекту: полноразмерный автономный транспортный вертолет, создаваемый компанией Aurora Flight Sciences из города Манассас, штат Вирджиния. Эта фирма занимается созданием беспилотных аппаратов в рамках правительственной программы исследований. В реальном полете система была испытана в феврале 2014 года. Цель программы – создать беспилотные вертолеты, которые могли бы летать в опасных зонах, доставляя грузы, а также, возможно, вывозить пострадавших, не ставя под угрозу жизни пилотов. Я принимал участие в разработке этого проекта и создал в его рамках архитектуру взаимодействия человека с автономной системой. Идея заключалась в том, чтобы рассматривать автономную систему как часть человеко-машинной команды при проектировании не только схемы ее взаимодействий с человеком, но и ключевых алгоритмов ее работы.
После успешной демонстрации в The Wall Street Journal вышла статья о проекте со следующим заголовком: «Военно-морские беспилотники живут своим умом». Кажется, среди журналистов процветает миф о достижимости полной автономии.
Но где же тут действовали люди? Оказывается, везде. Поскольку летал рабочий прототип, в пилотском кресле вертолета для безопасности находился пилот. Он сидел сложив руки и наблюдал за тем, как компьютер ведет машину в воздухе, но в любой момент был готов перехватить управление и вывести компьютер из процесса контроля за полетом. Хорошо обкатанная в полевых условиях система по идее вовсе не нуждается в пилоте. Но «пилот-дублер» может оказаться вовсе не таким бесполезным, как нам может на первый взгляд показаться, – этот человек просто занят работой другого рода.
Еще более важно то, что, когда вертолет приземляется, его ждут в точке прибытия. В конце концов, какой толк от доставки груза, если нет никого, кто бы мог его принять, распаковать и использовать по назначению? Встречающие должны иметь мужество и доверие к машине, поскольку стоять на летном поле и наблюдать, как к тебе приближается здоровенный вертолет под управлением компьютерной программы, – занятие не для слабонервных. В нашей команде побывали на собеседовании десятки людей, которые постоянно работают на летном поле и зарабатывают на жизнь тем, что принимают на земле обычные пилотируемые вертолеты. Большинство из них прошли войны в Ираке и Афганистане, и не раз с ними бывало так, что они, глядя в небо, видели, как в нем кружат различные беспилотные аппараты. При этом они испытывали тревожное чувство из-за того, что невозможно было понять, кому принадлежат те или иные машины и какие задачи они выполняют. Последнее, с чем летные техники хотели бы столкнуться на театре военных действий, был как раз «беспилотник, живущий своим умом». Напротив, они мечтали о надежном партнере, который безукоризненно выполнял бы данные ему поручения.
Это означало, что люди, находящиеся в зоне посадки аппарата, должны были получить возможность отменить посадку. Так мы оснастили техника с летного поля iPad. После пятиминутной тренировки он или она могли взаимодействовать с вертолетом в рамках короткой процедуры обмена информацией. Человек предлагает вертолету зону для посадки. Компьютер имеет возможность не согласиться, если выбранная зона не отвечает его действующим ограничениям по безопасности. Взамен он может предложить несколько альтернатив. Человек в ответ должен или принять одну из предложенных альтернативных зон, или скомандовать вертолету улетать.
Как выяснилось, создание схемы этого обмена, интерфейса и программного комплекса, с которым пользователь мог бы выполнить задачу меньше чем за минуту, а также набора понятных человеку внутренних состояний автономной системы, оказалось одной из наиболее сложных задач во всей программе.
Вдобавок успешная демонстрация испытательной посадки вертолета вызвала у вертолетчиков вопрос: если у нас есть сканер и алгоритмы, которые так надежно определяют подходящие для приземления области, то, может, и простому пилоту-человеку они не помешают? По мере того как программа развивается, автономные возможности, вполне вероятно, появятся и у пилотируемых вертолетов, а не только у беспилотных. Например, тем вертолетам, которые в наших городах используются как скорая помощь для эвакуации пострадавших в больницу, приходится садиться в крайне сложных и неопределенных условиях. Мы только начинаем понимать, какую выгоду с точки зрения повышения скорости и безопасности сулят новые наборы датчиков и алгоритмов, которые мы исследуем.