После Гарварда Сейновски получил место преподавателя в Университете Джонса Хопкинса и примерно в то же время познакомился с Джеффри Хинтоном, который вместе с Дэвидом Румельхартом и другими изобрел метод обратного распространения ошибки. Этот метод, как мы уже знаем, играет решающую роль в обучении нейронной сети, позволяя уточнять значения синаптических весов в обратном направлении, от выхода через все скрытые слои к входному слою. Сейновски позаимствовал этот замечательный инструмент, чтобы использовать его в своей лаборатории.
Трудясь на поприще клеточной нейробиологии, я ничего не слышал о Терри в начале 1980-х гг. Но в 1985-м я посетил его лабораторию, где он продемонстрировал мне нейронную сеть, которая сама научилась говорить. Я был потрясен.
В нейросеть вводились буквы, по одной за раз. Например, исследователи просили сеть произнести букву c как в слове cat (кот).
Почему эта задача вызывает особый интерес? Потому что английский язык славится своим вариативным произношением, мало подчиняющимся правилам (об этом хорошо знают все иностранцы, которые пытаются его изучать). Например, у нас есть правило, что гласные становятся долгими, если на конце слова есть буква е, как в словах gave и brave. Но в аналогичном случае в слове have буква а произносится совершенно иначе. Мы по-разному произносим букву o в словах mow и cow. Как носители языка, мы этого не замечаем, потому что привыкаем такому с детства. Но для компьютеров все различия подобного рода очень важны – как и для лингвистов, которые не поленились составить длинные перечни правил, исключений из правил и исключений из исключений из правил.
К счастью, они также составили словарь транскрипций, содержащий 20 000 английских слов с их стандартным произношением. Именно этот словарь Терри Сейновски и Чарльз Розенберг использовали в качестве «учителя» для своей нейронной сети. После того как сеть выдавала свой вариант произношения буквы c в слове cat, учитель сверялся со словарем и, если сеть произносила ее как /k/, оценивал ответ как верный. Затем сеть запускала процесс обратного распространения и усиливала связь между фонетическим выводом /k/ и буквой c в слове cat.
Чтобы сделать работу нейросети доступной для внешних наблюдателей, Сейновски и Розенберг (весьма разумно) подключили ее к «диктору» – компьютерной программе, которая преобразует транскрибированные английские фонемы и слова в звуки. Этот последний шаг ничего не давал с точки зрения науки, но позволял убедительно продемонстрировать процесс обучения нервной сети, в котором мог поучаствовать каждый.
До обучения выход нейронной сети, как вы могли догадаться, представлял собой даже не словесную окрошку, а кашу из несвязанных фонем. После нескольких раундов обучения сеть начала выдавать нечто очень похожее на детский лепет: «Га, ба, та». Еще через несколько раундов она начала говорить словами, часто ошибаясь, но постепенно увеличивая количество правильно произнесенных слов. И наконец она заговорила почти на идеальном английском – правильно произнося не только выученные слова, но и любой текст. Самое поразительное, что нейросеть научилась этому, не зная никаких правил английского произношения, только посредством обучения на множестве примеров.
Интересно, что анализ нескольких скрытых слоев показал, что сеть знала даже некоторые словосочетания, хотя в ее архитектуре не были заложены правила английской речи. Создавалось впечатление, будто нейросеть училась говорить по-английски почти так же, как это делают в детстве носители английского языка. Несмотря на то, что мы, англоговорящие, не знаем (за исключением лингвистов) правил английского произношения, мы без особого труда и ошибок читаем вслух по-английски. Другими словами, при изучении английского языка нейронная сеть Сейновски вела себя так же, как человеческий мозг.
Все это делалось на компьютерах начала 1980-х гг. – медленных, как черепаха, по современным меркам. Сегодня компьютеры стали в десятки тысяч раз быстрее, а нейронные сети могут содержать сотни и даже тысячи скрытых слоев. Но, несмотря на возросшую сложность, в основе этих нейросетей лежит все тот же базовый принцип, который использовался Розенбергом, Сейновски, Хинтоном и Хеббом.
Говорящая нейронная сеть поразила не только меня. Сейновски стремительно взлетел на олимп научной славы (и остается там до сих пор). Он стал частым гостем на национальных телеканалах, а метод обратного распространения превратился в стандартный инструмент обучения нейросетей. Вскоре Терри перебрался из Университета Хопкинса в замечательный Институт биологических исследований Солка на побережье Южной Калифорнии, где работает по сей день.
Он по-прежнему носит темные костюмы и ездит на большом черном лимузине немецкого производства. В свои 70 с лишком лет он по-прежнему смеется громким кудахчущим смехом и, несмотря на многочисленные регалии и связанные с этим формальности, остается все тем же убергиком с неискоренимым налетом юношеского задора. Он любит хвастаться своими успехами в работе, но тут нет и тени самолюбования: Терри – скромный человек, который искренне увлечен наукой. Хотя налицо все предпосылки для черной профессиональной зависти, я не знаю никого, кто бы ни обожал Терри Сейновски.
КОМПЬЮТЕРЫ, КОТОРЫЕ УМЕЮТ ВИДЕТЬ
Наверняка вы слышали о видящих компьютерах. Такие компьютеры умеют управлять беспилотными автомобилями и распознавать лица в толпе. Фантасты-паникеры любят рисовать страшное будущее, когда при входе в универмаг Macy’s компьютер будет по изображению с видеокамеры устанавливать вашу личность, изучать ваши покупательские предпочтения, после чего каким-то образом побуждать вас покупать больше товаров.
Могу вас успокоить, что на этот счет не стоит волноваться… пока не стоит. Помните, что капчи
[28] все еще служат надежным средством защиты
[29]. На самом деле капчи наглядно показывают пределы способностей современных компьютеров (конечно, компьютеры АНБ наверняка могут идентифицировать большинство капчей, но для обычных любительских ботов, пытающихся прорваться на обычные сайты, они не по зубам).
Как бы то ни было, уже сегодня видящие компьютеры удивляют нас своими возможностями – и они продолжают стремительно совершенствоваться. В качестве иллюстрации я расскажу вам о двух способах решения проблемы распознавания лиц, которая, как было сказано в начале этой книги, является Эверестом визуальной нейробиологии.
