Название «нейронные сети» говорит о том, что эти искусственные модели стремятся имитировать работу живого мозга. Хотя ученые иногда называют их случайными, мы-то знаем, что в действительности они не являются таковыми ни в машинах, ни в живом мозге – просто мы пока не знаем всех правил, по которым они работают. Нам известно, что между искусственными и живыми нейронными сетями есть много общего: те и другие состоят из множества слоев (перцептронов или нейронов). В биологических системах многократная стимуляция одинаковыми входными сигналами приводит к усилению синаптических связей между нейронами. Машинные сети также способны становиться умнее благодаря настройке связей (усилению одних и ослаблению других) между отдельными элементами в процессе обучения.
Как мы увидели, важнейшую роль в машинном обучении играет процесс обратного распространения. Получив ввод от учителя («Это буква А»), современная нейронная сеть производит вычисления в обратном направлении – от выходного слоя к входному, настраивая связи между десятками и даже сотнями скрытых нейронных слоев. (Их называют скрытыми, потому что они, в отличие от входного и выходного слоев, не контактируют напрямую с внешним миром.) Так что теперь перед нейробиологами стоит задача: узнать, делает ли мозг то же самое и, если да, как именно.
* * *
Надеюсь, мои друзья, работающие в сфере машинного обучения, простят меня за столь примитивный рассказ, потому что современные системы искусственного интеллекта гораздо, несравнимо сложнее, чем я вам здесь показал. Взять хотя бы тот факт, что синаптические связи между элементами искусственной сети невозможно усиливать до бесконечности: рано или поздно система достигает предела, выше которого повышение эффективности связей становится невозможным. В этом случае решение состоит в том, чтобы разрешить отрицательную настройку связей – использовать тормозные «анти-Хеббовские» синапсы.
Современные нейронные сети могут принимать любой ввод, выраженный в понятной компьютеру форме: изображения (двумерные матрицы пикселей), объемные объекты (трехмерные матрицы пикселей, называемых вокселями), звуки (последовательности волн давления, оцифрованные надлежащим образом) и даже малограмотную болтовню в социальных сетях. Одним из удивительных ранних примеров стала нейронная сеть, способная обнаруживать начинающиеся эпидемии гриппа. Входными данными для этой сети были написанные разговорным, зачастую неграмотным языком сообщения пользователей на страницах городских форумов в Facebook. В качестве «учителя» использовались отчеты об эпидемиологической обстановке, публикуемые Центрами по контролю и профилактике заболеваний (США). Пройдя обучение, нейронная сеть научилась определять, что в данном городе началась эпидемия гриппа, еще до того, как официальная статистика показывала всплеск заболеваемости. Я не знаю, как именно это делалось, но предполагаю, что среди огромного множества постов на Facebook увеличивалось количество сообщений, связанных со здоровьем, а также частота употребления конкретных слов, таких как «простудился», «провалялся», «разбитый» и т. п. Здесь нет никакой магии; в принципе, такие корреляции мог бы выявить и человек, если бы задался целью проанализировать содержание всех этих миллиардов постов. К счастью, для этого у нас есть компьютеры, а человеческий мозг может заняться более интересными делами.
Как и живой мозг, системы ИИ стремятся быть устойчивыми к повреждению. Если компьютерная нейронная сеть насчитывает мириады соединений, потеря небольшой их части, как правило, незначительно отражается на ее производительности, поскольку каждое соединение содержит лишь крошечную долю от всей совокупности «знаний» сети. Конечно, это неизбежно влечет за собой небольшую функциональную потерю в каком-либо месте, но машина продолжает работать. Как вы помните, такую же удивительную отказоустойчивость нейрохирург Пенфилд обнаружил и у человеческого мозга, который оказался способным функционировать практически нормально даже при удалении значительных участков.
Наконец, как это ни парадоксально, нам вовсе не обязательно знать, что делает каждый скрытый слой в многослойной нейронной сети. Насколько мне известно, никто точно не знает, как нейронная сеть Siri от Apple превращает устную речь в символы на экране айфона. В принципе, это можно узнать: весь секрет кроется в наборе весовых коэффициентов, определяемых для соединений сети. Но, поскольку в этой сети миллиарды соединений, отслеживание того, как именно она распознает фонемы (звуковые единицы), скажем, в произнесенном слове «собака», вряд ли стоит усилий. Если машина работает, значит, она работает.
ТЕРРИ СЕЙНОВСКИ И ГОВОРЯЩАЯ НЕЙРОННАЯ СЕТЬ
Несмотря на «зиму искусственного интеллекта», небольшая группа ученых во главе с Джеффри Хинтоном из Торонто продолжала упрямо разрабатывать концепцию нейронных сетей. Одним из них был Терренс Сейновски, в то время работавший в Университете Джонса Хопкинса. По словам Терри, к счастью, он не читал работу того авторитетного автора, который доказал, что нейронные сети не могут научиться ничему важному. Поэтому он продолжал ими заниматься
[27].
Терри Сейновски – выдающаяся и необычная личность. Научную деятельность он начал на знаменитом факультете физики в Принстонском университете, где опубликовал серию теоретико-математических работ о поведении нейронов в головном мозге. После чего неожиданно поступил в аспирантуру на кафедру Стивена Куффлера в Гарварде.
Это был серьезный поворот в научной карьере Терри. Вечный экспериментатор, Куффлер предпочитал изучать нервную систему, в буквальном смысле слова закатав рукава, и не очень любил теоретизировать. Тем не менее из орды соискателей докторской степени он почему-то выбрал Сейновски.
Возможно, Куффлер увидел в нем те же качества, ту же сущностную простоту, которая была присуща ему самому. Сейновски относится к разряду людей, которых сейчас принято называть убергиком (uber-geek, где geek – это фанат, а немецкое слово uber означает «сверх» или «супер»). Он влюблен в свою науку и, кажется, занимается ею днями и ночами напролет. Терри интересует буквально все, он мыслит сразу во всех масштабах, всегда ищет новый угол зрения, скрытый пробел, новаторский путь. Он белая ворона в лучшем смысле этого слова – в науке и в жизни.
Взять хотя бы его манеру одеваться: Терри предпочитает белые рубашки, темные костюмы и классические черные туфли. Большинство ученых жаждут подчеркнуть свою индивидуальность – носят джинсы с биркенштоками, футболки и свитера, водят малолитражки, и многие отращивают бороды. У этого клана свои жесткие нормы и обычаи. Постдок, который приходил на работу на кафедру Куффлера в строгом темно-синем костюме, совершенно явно следовал своим собственным путем. Однажды я пригласил его покататься на яхте, и он явился в элегантных шерстяных брюках и черных туфлях на кожаной подошве.
В общении Терри поразительно раскован: кажется, он говорит все, что думает, и, хотя порой случаются неловкие моменты, это нисколько его не смущает. К тому же у него замечательный гогочущий смех, который слышен издалека. На кафедре нейробиологии не знали, что делать с Терри. В соавторстве с Куффлером он опубликовал интересную и ныне забытую статью о синаптической передаче в простой модели нервной системы. Но эмпирические подходы, культивировавшиеся на кафедре нейробиологии, все же остались для Терри чужими.
