М. Ф.: Это интересно.
Г. М.: В книге «Клуг» я утверждаю, что существует два вида памяти, и людям достался менее эффективный. Но нельзя перестроить ее с нуля, поэтому новые конструкции приходится строить поверх существующих. Это напоминает аргументы, которые Стивен Джей Гулд приводил в своей книге о большом пальце панды.
Наша память несет с собой и такие вещи, как предвзятость подтверждения. Люди склонны лучше помнить факты, которые согласуются с их точкой зрения. Компьютер же ищет все, что соответствует заданному критерию. При этом он умеет пользоваться оператором НЕ. Например, я могу найти в базе данных все понятия, не попадающие в заданный критерий. А человеческий мозг легко умеет искать только совпадения.
Или другой пример когнитивных искажений – эффект фокусировки. Скажем, ответы на два вопроса – насколько вы счастливы в браке и насколько вы довольны своей жизнью, будут зависеть от того, в каком порядке они будут заданы.
М. Ф.: Это напоминает эффект привязки, который иллюстрируется экспериментом Даниэла Канемана. Когда сообщенное людям случайное число влияет на их дальнейшие предположения.
Г. М.: Да, это вариация того, о чем я говорю. Если я попрошу вас посмотреть последние три цифры на банкноте, а затем спрошу, когда была подписана Великая хартия вольностей, с большой вероятностью увиденное повлияет на ваш ответ.
М. Ф.: Изначально вы работали над вопросами понимания человеческого языка, а затем основали стартап и помогали запуску ИИ-лабораторий в компании Uber.
Г. М.: Я ощущаю себя как Джозеф Конрад, который писал по-английски, хотя его родным языком был польский. Он понимал, как этот язык функционирует. Я пришел в ИИ из когнитивистики.
В детстве я занимался программированием, но к моменту поступления в аспирантуру стал больше интересоваться тем, как устроено мышление. Моим научным руководителем стал Стивен Пинкер – популяризатор науки, специалист в области экспериментальной психологии, психолингвистики и когнитивных наук. Мы исследовали, как дети знакомятся с прошедшим временем, а затем учились применять двухслойные и многослойные персептроны.
В 1986 г. Дэвид Румельхарт и Джеймс Макклелланд опубликовали статью Parallel Distributed Processing: explorations in the microstructure of cognition («Параллельно распределенная обработка: исследование микроструктуры познания»), в которой показывалось, что нейронную сеть можно научить, как ребенка, использовать прошедшее время английского языка. Проблема была в том, что дети делают другие ошибки. Мы предположили, что у детей работает гибридная система из формально применяемых правил и принципа, по которому работают нейронные сети.
М. Ф.: Вы говорите о том, что дети образуют прошедшее время неправильных глаголов, пользуясь правилом для обычных глаголов?
Г. М.: Да, дети иногда придают неправильным глаголам свойства правильных. Машинный анализ 11 000 фрагментов детской речи привел нас к гипотезе, что дети склонны использовать для образования прошедшего времени некое правило. С одной стороны, они добавляют стандартное окончание «-ed», но одновременно используют ассоциативную память: если в прошедшем времени человек употребляет глагол sing как sang, ему будет проще вспомнить, что глагол ring в прошедшем времени звучит rang. Но если встречается новое слово, которое не похоже на слова, слышанные ранее, для образования прошедшего времени будет использовано стандартное правило.
Дело в том, что нейронные сети очень хорошо распознают сходство, но испытывают трудности при распознавании вещей, которые ни на что не похожи, но подпадают под некое правило. Так было в 1992 г., и, по сути, ситуация до сих пор не изменилась. Работа большинства нейронных сетей определяется данными, при этом они не обладают высоким уровнем абстракции. Например, система распознавания объектов на изображениях приняла дорожный знак, покрытый наклейками, за холодильник с едой и напитками.
М. Ф.: Вы исследуете механизмы, отвечающие за понимание речи и обучение языку. Расскажите об экспериментах, которые вы проводили.
Г. М.: С 1999 г. изучая взрослых, детей и младенцев, я обнаружил, что люди хорошо подмечают общие тенденции. Например, семимесячные дети после двух минут прослушивания примеров искусственной грамматики обучались распознавать правила построения предложений. Прослушав предложения вида «la ta ta» и «ga na na», построенные по схеме ABB, младенцы замечали, что «wo fe wo» построено уже по другой схеме (ABA), в то время как предложение «wo fe fe» использует ту же конструкцию.
Критерием служила длительность взгляда. Оказалось, что после изменения схемы младенцы смотрели на экспериментатора дольше. Получается, дети с самого раннего возраста умеют распознавать довольно глубокие языковые абстракции. Позднее другой исследователь показал, что этим свойством обладают и новорожденные.
М. Ф.: Насколько я знаю, вы снова заинтересовались ИИ благодаря суперкомпьютеру Watson фирмы IBM.
Г. М.: Я скептически относился к этому проекту и сильно удивился, когда в 2011 г. суперкомпьютер победил в телевикторине «Своя игра». Я снова заинтересовался сферой ИИ и, в конце концов, понял, чем был обеспечен успех Watson. Дело в том, что перед ИИ была поставлена более узкая задача, чем казалось на первый взгляд. Так происходит почти во всех случаях, когда ИИ демонстрирует впечатляющие успехи. В телевикторине примерно 95 % ответов представляли собой заголовки страниц «Википедии».
Примерно в то же время я начал писать для еженедельника The New Yorker статьи о нейробиологии, лингвистике, психологии, а также ИИ. Тогда, пять лет назад, я сомневался, что глубокое обучение сможет освоить повышение уровня абстракции и выстраивание причинно-следственных связей. Сейчас эти вопросы все еще не решены.
М. Ф.: В 2014 г. вы основали стартап Geometric Intelligence, который приобрела компания Uber, а вы после этого стали главой их ИИ-лаборатории. Расскажите, как все происходило.
Г. М.: В январе того года я решил основать собственную компанию. Пригласил замечательных людей, в том числе одного из лучших специалистов по машинному обучению – моего друга Зубина Гахрамани. За следующие несколько лет я многое узнал о машинном обучении. Мы искали более совершенные способы обобщения и обучали алгоритмы извлекать информацию из данных. Мы научили машины решать произвольные задачи, такие как распознавание символов из базы MNIST, используя вдвое меньший объем данных, чем методы глубокого обучения.
О наших успехах начали говорить, и в декабре 2016 г. стартап купила компания Uber. Я некоторое время работал в ней, помогая с запуском Uber AI labs. Сейчас я оттуда ушел, изучаю возможности использования ИИ в медицине и много думаю о робототехнике.
В январе 2018 г. я написал две статьи, а также пару вещей для платформы социальной журналистики Medium. В одной я рассказывал, что глубокое обучение не приведет нас к общему ИИ. Вторая статья была посвящена тому, что по крайней мере в биологии все системы начинаются с некой внутренней структуры. И для понимания мира важна врожденная структура, присутствующая в нашем мозге.
