В то время исследователи ИИ часто использовали примеры, в которых фигурировала сборка из игрушечных блоков. Я представила, как два ребенка строят башню, при этом у одного есть набор синих блоков, а у другого – красных. В случае суммы индивидуальных планов мы получим абсурдную ситуацию: у ребенка с синими блоками есть план, как расположить их в пространстве, который четко совпадает с тем, где по плану ребенка с красными блоками остаются пустые места.
Мы с Сиднер поняли, что для системы, состоящей из нескольких участников, нужен новый способ обдумывания планов и представления их в компьютерной системе. Именно с этого началась разработка многоагентных систем.
В 1980-х гг. в этой области в основном рассматривались ситуации с несколькими роботами или компьютерными агентами и ставились вопросы конкуренции и координации.
М. Ф.: Под компьютерным агентом вы понимаете программу, которая запускает и выполняет какое-то действие?
Б. Г.: В общем случае это система, способная действовать автономно. Первоначально большинство компьютерных агентов были роботами, но постепенно в исследованиях ИИ стали появляться и программные агенты. Сегодня они выполняют поиск, торгуются на аукционах и решают множество других задач.
Например, Джефф Розенхейм рассматривал ситуацию с роботами-курьерами, пытаясь понять, как скажется на эффективности их работы возможность обмена пакетами. Он задавался вопросом, будут ли роботы всегда говорить правду о стоящих перед ними задачах, ведь в некоторых случаях, солгав, можно добиться лучшего результата.
Сейчас в области многоагентных систем решаются задачи, связанные со стратегическим мышлением и командной работой. Приятно, что в последнее время многие начали рассматривать вопросы взаимодействия компьютерных агентов с людьми, а не только с другими компьютерными агентами.
М. Ф.: Я правильно понимаю, что именно эта работа привела к компьютерной модели сотрудничества?
Б. Г.: Да, первая компьютерная модель сотрудничества появилась как следствие работы с многоагентными системами.
Нужно было ответить на вопрос, что такое сотрудничество. Люди делят общую задачу на набор более мелких задач, которые делегируются разным участникам. Каждый обязуется выполнить свою часть, не забывая об общем деле.
Вместе с Сарит Краус мы формализовали все эти вещи в рамках компьютерной модели, что породило множество новых вопросов: как распределить задачи, что произойдет в нестандартной ситуации и какие обязательства перед командой имеет каждый участник.
В 2011–2012 гг. во время академического отпуска я решила посмотреть, могут ли мои разработки на тему сотрудничества изменить мир. С этого началась моя работа в сфере здравоохранения. Вместе с педиатром из Стэнфорда Ли Сандерсом мы стали искать новые методы координации. Особое внимание мы уделили детям со сложными заболеваниями, которые посещают множество врачей. Нужно было создать систему, которая поможет этим врачам обмениваться информацией и успешно координировать свои действия.
М. Ф.: На мой взгляд, здравоохранение – одна из наиболее перспективных областей для применения ИИ.
Б. Г.: Правильно. Как и в сфере образования, здесь важно сосредоточиться на создании систем, дополняющих, а не замещающих людей.
М. Ф.: Как вы относитесь к тому, что сейчас везде говорят о глубоком обучении? Мне кажется, что в результате у людей складывается впечатление, что глубокое обучение – это синоним ИИ.
Б. Г.: Если брать философские смыслы, глубокое обучение не позволяет получить систему, которая мыслит глубже, чем системы, обученные другими способами. Оно хорошо функционирует благодаря большей математической гибкости и подходит для выполнения задач по принципу сквозной обработки: на вход поступает сигнал, на выходе мы получаем ответ. Но этот ответ зависит от того, на каких именно данных система обучена.
М. Ф.: Не приведет ли признание всех этих ограничений к движению против глубокого обучения?
Б. Г.: Как человек, уже переживавший «зимы ИИ», я чувствую страх и надежду. Чтобы избежать «зимы», нужно четко определить, какое место в создании ИИ занимает глубокое обучение.
М. Ф.: Думаю, нужно работать над системами, умеющими обучаться на меньших количествах данных.
Б. Г.: При этом вопрос не столько в количестве данных, сколько в их разнообразии. Сейчас мы имеем системы, качество работы которых зависит от того, к какой группе принадлежит пользователь.
М. Ф.: Вы сейчас имеете в виду систему распознавания лиц, которая испытывает трудности при работе с изображениями представителей негроидной расы?
Б. Г.: Это простейший пример, который сразу приходит на ум. Но проблема смещения данных присутствует во всех областях. Скажем, при разработке нового лекарства исследования в основном проводятся на молодых людях. В результате сложно определить корректную дозировку для пожилых.
М. Ф.: Систематическая ошибка в данных, обусловленная решениями, которые принимались в процессе исследований, имеет место не только в сфере ИИ.
Б. Г.: Именно так. Компьютерная система может «прочесть все документы», извлечь из них нужную информацию и провести статистический анализ. Но если в большинстве статей описываются результаты опытов на самцах мыши, система не сможет прийти к обобщенным выводам.
Кроме того, существуют ограничения, связанные с правовым полем, с охраной данных и с законностью их использования. Об этом тоже нужно думать на стадии построения ИИ-систем.
М. Ф.: В отличие от вас, многие специалисты заинтересованы в создании независимых машин.
Б. Г.: Мне кажется, они читают слишком много научно-фантастических романов!
М. Ф.: Тогда сильный ИИ – тоже научная фантастика? Что, с вашей точки зрения, мешает его создать?
Б. Г.: В конце 1970-х гг., когда я заканчивала работу над диссертацией, мой однокурсник сказал: «Хорошо, мы не ставим перед собой цель заработать денег, ведь за нашу работу никогда не будут много платить». Я часто вспоминаю этот прогноз и понимаю, что хрустального шара, позволяющего заглянуть в будущее, не существует.
С моей точки зрения, не нужно стремиться к сильному ИИ, потому что его появление влечет за собой такие вещи, как массовая безработица и выход роботов из-под контроля. Эти вопросы отвлекают специалистов от актуальных этических проблем с уже существующими ИИ-системами.
Разумеется, люди в течение многих сотен лет задумывались над тем, можно ли создать нечто такое же умное, как человек. Вспомните хотя бы пражского Голема или Франкенштейна. Невозможно запретить людям фантазировать, главное не тратить на это наши ресурсы и интеллект.
М. Ф.: А все-таки, какие препятствия стоят на пути к созданию сильного ИИ?
Б. Г.: Выше я уже упоминала одно из главных препятствий. Нужно получить широкий спектр данных, но это означает, что придется, как Большой Брат, следить за поведением огромного количества людей. Пока непонятно, как перейти к общему интеллекту, умеющему гибко перемещаться из одной области в другую и думать не только о настоящем, но и о будущем.
