Однажды я шел по дороге от нашего дома в Беркли к супермаркету. Дорога шла под уклон, и я заметил, как и наверняка большинство людей, что наличие уклона немного меняет походку. Более того, неровный тротуар — следствие многих десятков лет мини-землетрясений — также вносил изменения в мою походку: я чуть выше поднимал ноги и ставил их менее жестко из-за непредсказуемого уровня поверхности. Занимаясь этими обыденными наблюдениями, я понял, что мы можем применить их в обратном направлении. Если обучение с подкреплением формирует поведение посредством вознаграждения, то мы в действительности хотим противоположного — узнать из поведения, в чем заключается вознаграждение. Поведение у нас уже есть, это действия мушек и тараканов; мы хотим узнать конкретный вознаграждающий сигнал, который оптимизируется этим поведением. Иными словами, нам нужен алгоритм обратного обучения с подкреплением (Inverse Reinforcement Learning, IRL)
[254]. (В то время я не знал, что аналогичная проблема изучается под менее известным названием структурная оценка процессов принятия решений Маркова и что первопроходцем в этом направлении стал нобелевский лауреат Том Сарджент в далеких 1970-х гг.
[255]) Подобные алгоритмы смогли бы не только объяснить поведение животного, но и предсказать, как оно будет вести себя в новых условиях — например, как будет бежать таракан по ухабистой беговой дорожке с уклоном.
Перспектива ответить на эти фундаментальные вопросы вызвала у нас восторг, с которым мы едва могли справиться, тем не менее нам далеко не сразу удалось разработать первый алгоритм для IRL
[256]. С тех пор было предложено много формулировок и алгоритмов IRL. Имеются формальные гарантии, что алгоритмы работают, то есть могут принести достаточно информации о предпочтениях существа, чтобы быть способными действовать столь же успешно, что и наблюдаемое существо
[257].
Пожалуй, самый простейший путь к пониманию IRL состоит в следующем: наблюдатель отталкивается от некоего общего предположения об истинной функции вознаграждения и уточняет это предположение по мере дальнейшего наблюдения за поведением. На языке Байесова подхода
[258]: начнем с априорной вероятности возможных функций вознаграждения и будем уточнять это распределение вероятностей по мере появления данныхВ. Предположим, например, что робот Робби наблюдает за человеком Гарриет и гадает, в какой степени она предпочитает место у прохода месту у иллюминатора. Первоначально он находится в неопределенности по этому вопросу. Теоретически Робби может рассуждать так: «Если бы Гарриет действительно хотела сидеть ближе к проходу, то изучила бы схему расположения мест, чтобы узнать, доступно ли место у прохода, вместо того чтобы согласиться на место у иллюминатора, которое предложила ей авиакомпания. Однако она этого не сделала, хотя, вероятно, заметила, что это место у иллюминатора, и вроде бы не торопилась. Следовательно, сейчас значительно более вероятно, что ей все равно, где сидеть, или она даже предпочитает место у прохода».
Самым потрясающим примером IRL в действии является работа моего коллеги Питера Эббила по обучению исполнению фигур высшего пилотажа на вертолете
[259]. Опытные пилоты могут заставить модели вертолетов делать потрясающие трюки: петли, спирали, маятникообразные движения и т. д. Оказалось, что попытки копировать действия человека не приносят особого результата из-за невозможности точно воспроизвести условия — если повторять те же последовательности управляющих действий в других обстоятельствах, это может закончиться катастрофой. Вместо этого алгоритм изучает, чего хочет пилот, в форме ограничений траектории, движение по которой может осуществить. Этот подход дает даже лучшие результаты, чем у эксперта, поскольку у людей более медленная реакция и они постоянно совершают мелкие ошибки, которые вынуждены исправлять.
Игры в помощника
Метод IRL уже является важным инструментом создания эффективных ИИ-систем, но в нем делается ряд упрощающих допущений. Первое — что робот воспримет функцию вознаграждения, когда изучит ее путем наблюдения за человеком, следовательно, сможет выполнять то же задание. Это прекрасно работает в случае управления автомобилем или вертолетом, но не относится к питью кофе: робот, наблюдающий за моим утренним ритуалом, усвоит, что я (иногда) хочу кофе, но не научится сам его хотеть. Решить эту проблему легко — нужно лишь сделать так, чтобы робот ассоциировал предпочтения с человеком, а не с самим собой.
Второе упрощающее допущение IRL состоит в том, что робот наблюдает за человеком в ситуации «единственного принимающего решения агента». Например, предположим, что робот учится в медицинском институте, чтобы стать хирургом, наблюдая за специалистом. Алгоритмы IRL предполагают, что человек выполняет операцию обычным оптимальным способом, как если бы робота рядом не было. Однако это не так: хирург мотивирован помочь роботу (как и любому другому студенту) обучиться хорошо и быстро и соответственным образом меняет свое поведение. Он может объяснять свои действия, обращать внимание на ошибки, которые следует избегать, — скажем, делать слишком глубокий разрез или шить слишком туго, — может описывать манипуляции в нештатной ситуации, если во время операции что-нибудь случилось. Никакие из этих действий не имеют смысла, если выполняешь операцию без студентов, и алгоритмы IRL не смогут понять, какие предпочтения за ними стоят. Поэтому мы должны будем обобщить IRL, перейдя от ситуации одного агента к ситуации с множественными агентами, а именно — создать алгоритмы обучения, работающие в случае, когда человек и робот являются частью общей среды и взаимодействуют друг с другом.
