Кто-то скажет, что прозрачность на самом деле не нужна. У нас нет детального понимания того, как работает человеческий мозг, и все же он работает хорошо, и мы прощаем себе эту скудость понимания. В таком случае, почему не использовать системы глубокого обучения, чтобы создать новый вид интеллекта, не понимая, как он работает? Я не могу утверждать, что это неверный подход. В настоящий момент «неряхи» взяли на себя инициативу. Тем не менее скажу, что лично мне не нравятся непрозрачные системы, и поэтому я не собираюсь их исследовать.
Оставив в стороне мои предпочтения, к аналогии с человеческим мозгом можно добавить еще один фактор. Да, мы прощаем себе скудное понимание работы человеческого мозга, но все еще можем общаться с другими людьми, учиться у них, наставлять их и мотивировать на нашем родном языке причин и следствий. Мы делаем это, потому что наш мозг работает так же, как и у них. Но если все наши роботы будут такими же непрозрачными, как AlphaGo, мы не сможем вести с ними содержательные разговоры, а это будет весьма прискорбно.
Когда мой домашний робот включает пылесос, пока я еще сплю, и я говорю ему: «Не надо было меня будить», я хочу, чтобы он понял: не стоило пылесосить. Но я не хочу, чтобы он интерпретировал эту жалобу как указание никогда больше не пылесосить наверху. Он должен понимать то, что прекрасно понимаем мы с вами: пылесосы шумят, шум будит людей и некоторые люди этому не рады. Другими словами, наш робот должен понимать причинно-следственные связи — по сути, контрфактивные отношения вроде закодированных во фразе «не надо было».
Действительно, обратите внимание на богатое содержание этого короткого предложения с инструкцией. Нам не нужно сообщать роботу, что то же самое относится к уборке пылесосом внизу или где-либо еще в доме, но не когда я бодрствую или отсутствую и не в случае, если пылесос оснащен глушителем и т. д. Может ли программа глубокого обучения понять всю полноту этой инструкции? Вот почему я не удовлетворен очевидно прекрасной производительностью непрозрачных систем. Прозрачность обеспечивает эффективное общение.
Но один аспект глубокого обучения меня все-таки интересует: теоретические ограничения этих систем и, в первую очередь, ограничения, проистекающие из их неспособности выйти за пределы первого уровня на Лестнице Причинности. Это ограничение не препятствует работе AlphaGo в узком мире игры го, поскольку описание доски вместе с правилами игры составляет адекватную причинную модель для мира го. Тем не менее это препятствует системам обучения, которые действуют в средах, управляемых насыщенными сетями причинных сил, но имея при этом доступ только к поверхностным их проявлениям. Медицина, экономика, образование, климатология и социальная сфера — типичные примеры таких сред. Подобно узникам в знаменитой пещере Платона, системы глубокого обучения исследуют тени на стене и учатся точно предсказывать их движения. Им не хватает понимания того, что наблюдаемые тени — лишь проекции трехмерных объектов, движущихся в трехмерном пространстве. Сильный ИИ требует этого понимания.
Исследователи глубокого обучения знают об этих основных ограничениях. Так, экономисты, использующие машинное обучение, отметили, что их методы не отвечают на ключевые вопросы нынешнего времени, положим не позволяют оценить, как подействуют неопробованные пока методы и меры. Типичные примеры здесь — новые принципы ценообразования, субсидии, изменение минимальной заработной платы. С технической точки зрения методы машинного обучения сегодня обеспечивают эффективный способ перейти от анализа конечных выборок к распределениям вероятностей, но нам еще только предстоит перейти от последних к причинно-следственным связям.
Когда мы начинаем говорить о сильном ИИ, причинные модели превращаются из роскоши в необходимость. Для меня сильный ИИ — это машина, которая может размышлять о своих действиях и извлекать уроки из совершенных ошибок. Она должна понимать высказывание «Надо было поступить иначе» независимо от того, говорит ли это ей человек или она сама приходит к такому выводу. Контрфактивная интерпретация этого утверждения выглядит так: «Я сделал X = X, и результат был Y = Y. Но если бы я действовал иначе, скажем, X = X¢, то результат был бы лучше, возможно, Y = Y¢». Как мы уже увидели, оценка таких вероятностей была полностью автоматизирована при наличии достаточного объема данных и адекватно обозначенной причинной модели.
Более того, я думаю, что очень важной целью для машинного обучения будет более простая вероятность P (YX = X1 = Y¢ | X = X), когда машина наблюдает X = X, но не результат Y, а затем спрашивает о результате альтернативного события X = X¢. Если машина способна вычислить эту величину, то это преднамеренное действие можно рассмотреть как наблюдаемое событие (X = x) и спросить: «А если я поменяю решение и сделаю вместо этого X = X¢?» Это выражение математически эквивалентно эффекту лечения на уже пролеченных (упоминается в главе 8), и у нас есть масса результатов, которые показывают, как его оценить.
Намерение — очень важная составляющая в процессе принятия решений. Если бывший курильщик чувствует позыв зажечь сигарету, ему стоит очень хорошо подумать о том, какие причины стоят за этим намерением и спросить, не приведет ли противоположное действие к лучшему исходу. Способность формировать собственное намерение и использовать его как доказательство в причинно-следственных рассуждениях — это уровень осознанности (если не самосознания), которого не достигла ни одна из известных мне машин. Я хотел бы иметь возможность ввести машину в искушение и увидеть, как она говорит: «Нет».
Обсуждение намерения неизбежно ведет к еще одной проблеме, стоящей перед сильным искусственным интеллектом, — проблеме свободы воли. Если мы попросим машину заиметь намерение сделать X = x, осознать его и выбрать вместо этого X = x¢, то представляется, что мы попросим ее проявить свободную волю. Но как у робота может быть свобода воли, если он просто следует инструкциям, записанным в программе?
Философ Джон Сёрл из Калифорнийского университета в Беркли назвал проблему свободы воли «скандалом в философии» отчасти потому, что со времен античности не произошло никакого прогресса в ее разработке, и отчасти потому, что мы не можем отмахнуться от нее как от оптической иллюзии. Вся наша концепция «себя» предполагает присутствие такой вещи, как свобода выбора. Например, нет никакого очевидного способа примирить мое яркое, безошибочное ощущение возможности (скажем, прикоснуться или не прикоснуться к носу) с пониманием реальности, которая предполагает каузальный детерминизм: все наши действия вызваны электрическими нейронными сигналами, идущими от мозга.
В то время как многие философские проблемы со временем исчезли в свете научного прогресса, свободная воля упрямо остается загадкой, такой же свежей, какой она казалось Аристотелю и Маймониду. Более того, хотя основания для свободного волеизъявления порой находили в сфере духовности или теологии, эти объяснения не подошли бы для программируемой машины. Поэтому появление свободной воли у роботов непременно будет результатом ухищрений — по крайней мере, такова догма.
