Это одна из причин, по которой я работаю в Google. Тут есть доступ к миллиарду примеров изображений собак, кошек и других вещей. Хотя остается и множество вещей, для которых ничего подобного не существует. Скажем, у нас есть многочисленные примеры естественного языка, но их значения не снабжены аннотациями. Да и как это можно сделать для языков, которых мы изначально не понимаем? Для решения некоторых задач можно обойтись без огромного набора маркированных данных. К таким задачам относится, например, игра го. Когда систему, созданную компанией DeepMind, пытались обучать на примере всех онлайн-ходов, нашлось порядка миллиона примеров. Система научилась играть на любительском уровне. Для дальнейшего обучения требовалось еще 999 млн примеров, а где их брать?
М. Ф.: Вы утверждаете, что современное глубокое обучение сильно зависит от наличия маркированных данных, то есть все сводится к обучению с учителем.
Р. К.: Именно так. Это ограничение можно обойти, если получится смоделировать мир, в котором вы работаете. В этом случае появится возможность создавать собственные обучающие данные. Так и поступили в DeepMind. Они просто стали играть все новые и новые партии. Ходы маркировались традиционными методами. В результате без предварительно представленных людьми данных нейронную сеть удалось обучить настолько, что алгоритм AlphaZero смог сто раз подряд победить алгоритм AlphaGo.
Вопрос в том, в каких ситуациях работает такой подход? Например, симулировать можно математические правила: аксиомы теории чисел не сложнее правил игры го. А процесс вождения намного сложнее. Но в компании Waymo применили комбинацию методов и создали достаточно хороший беспилотник, а затем проехали миллионы миль с водителем, готовым в любой момент взять управление на себя. В результате накопилось достаточно данных для создания точного симулятора. После этого порядка миллиарда миль было пройдено в симуляторе, чтобы сгенерировать обучающие данные для глубокой нейронной сети, предназначенной для улучшения алгоритмов.
Теперь очередь за моделированием биологического и медицинского миров. Подобные симуляторы позволили бы проводить клинические испытания за часы, а не за годы, и генерировать собственные обучающие данные.
Это не единственный подход к проблеме обучающих данных. Например, у людей работает технология переноса обучения (transfer learning), то есть они умеют использовать накопленный опыт для решения задач другого типа. Я придумал собственную модель на базе приблизительного представления о работе неокортекса. Первые идеи появились в 1962 г., и последующие 50 лет я всячески их обдумывал. Вместо одной большой нейронной сети можно обучить на шаблонах множество модулей. В книге «Как создать разум» я описываю неокортекс как 300 млн модулей, последовательно распознающих образ и допускающих определенную степень изменчивости. Они образуют иерархическую структуру. Для такого обучения требуется меньше данных. Машина, как человек, сумеет обобщать информацию и переносить ее из одной предметной области в другую. После выхода книги Ларри Пейдж пригласил меня в Google, чтобы я попробовал применить свои идеи к распознаванию естественного языка.
М. Ф.: На базе этих концепций уже созданы какие-то продукты?
Р. К.: Функция Smart Reply в сервисе Gmail, которая предлагает три базовых варианта ответа на каждое письмо, использует именно такую иерархическую систему. Недавно мы запустили сервис Talk to Books, позволяющий получать ответы из книг. Пользователь задает вопрос, а система за полсекунды читает 100 тысяч книг (примерно 600 млн предложений) и возвращает наиболее подходящий ответ. Все это базируется не на ключевых словах, а на семантическом понимании.
В Google мы сильно продвинулись в работе над естественным языком. Язык создается и понимается неокортексом. Он иерархичен, благодаря чему мы можем делиться друг с другом возникающими в неокортексе идеями. Я думаю, что тест Тьюринга проводится на естественном языке, потому что в понимании речи задействован весь спектр человеческого мышления и интеллекта.
М. Ф.: Ваша конечная цель – создать машину, способную пройти тест Тьюринга?
Р. К.: Мою точку зрения многие не разделяют, но я считаю, что правильно подготовленный тест Тьюринга действительно позволяет проверить, обладает ли сущность интеллектом на уровне человека. Проблема в том, что в кратком документе 1950 г. Тьюринг не описал процедуру тестирования. Я поспорил с Митчем Капором на 20 тысяч долларов, что ИИ пройдет тест Тьюринга к 2029 г. Победитель отдаст выигрыш на благотворительные нужды.
М. Ф.: Но согласитесь, что эффективным тест Тьюринга станет только после снятия ограничения по времени. В течение 15 минут не так уж сложно водить экзаменатора за нос.
Р. К.: Вы совершенно правы. Согласно правилам, которые придумали мы с Митчем, тест занимает несколько часов, и даже этого может оказаться недостаточно. Машина должна убедить экзаменатора, что она – человек. Такую иллюзию вполне можно создать с помощью несложных уловок.
М. Ф.: Тест покажет, что машина обладает интеллектом, не найдя в ней сходство с человеком.
Р. К.: Киты и осьминоги проявляют интеллектуальное поведение, но никогда не смогут пройти тест Тьюринга. Китаец, который не говорит по-английски, тоже не пройдет. Невозможность пройти тест не указывает на отсутствие развитого интеллекта, но чтобы его пройти, нужно обладать развитым интеллектом.
М. Ф.: Вы верите в то, что комбинация глубокого обучения и вашего иерархического подхода позволяет двигаться в сторону сильного ИИ или для этого нужен какой-то сдвиг парадигмы?
Р. К.: Я думаю, что люди используют именно иерархический подход. Каждый из модулей способен обучаться, и в книге я подчеркиваю, что в человеческом мозге происходит не глубокое обучение, а какой-то эквивалент марковского процесса. При этом глубокое обучение результативно. В системах Google мы с его помощью создаем векторы, представляющие собой шаблоны для каждого модуля иерархии, а затем начинается сама иерархия, которая в парадигму глубокого обучения уже не вписывается. Я думаю, что для сильного ИИ этого достаточно. На мой взгляд, иерархический подход отражает процессы, которые протекают в мозге человека, и проекты по реверсивному воспроизведению мозга это подтверждают.
Существуют доказательства того, что мозг использует систему, основанную на правилах, а не ту, что предлагают коннекционисты. Именно поэтому люди способны четко отличать вещи друг от друга и логически мыслить. При этом коннекционистская система в определенных ситуациях настолько уверена в своих суждениях, что действует как система, основанная на правилах, и при этом справляется с исключениями и нюансами.
Обратное при этом неверно. Система, основанная на правилах, не может эмулировать коннекционистскую систему. Проект Cyc (читается «сайк») Дугласа Лената очень впечатляет, но, на мой взгляд, он страдает от ограничений системы, основанной на правилах. В какой-то момент неизбежно достигается предел сложности. То есть правила становятся настолько сложными, что при попытке исправить одну вещь ломаются три другие.
