Вскоре мы вернемся к живому мозгу, но сначала давайте рассмотрим еще один способ машинного обучения, использующий немного другой принцип. Создатели польстили своим алгоритмам, назвав их «обучение с подкреплением»: это название отсылает нас к механизму обучения, который впервые был описан великим русским физиологом Павловым и глубоко изучен его последователями, в частности, Б.Ф. Скиннером из Гарвардского университета. Суть обучения с подкреплением проста: когда и если определенное поведение вознаграждается, оно начинает повторяться. Повторение поведения приводит к усилению синаптических связей в соответствующей нейронной сети. В принципе, подкрепление является формой обратного распространения, а обучение с подкреплением отличается от контролируемого обучения лишь тем, что компьютер сам генерирует себе учителя.
Компьютеры тоже можно вознаграждать. Например, компьютеру задают некую задачу. Он делает первую попытку, как правило, неудачную. Но, если попытка хотя бы немного приближает его к поставленной цели, его вознаграждают. Конечно, его не балуют каким-то лакомством, а вместо этого говорят: «Окей, увеличь синаптические веса того, что ты только что сделал». Затем компьютер делает новую попытку, на этот раз с новыми весами. Так, попытка за попыткой, компьютер уточняет свои веса, пока в конце концов не научится выполнять поставленную задачу.
Хотя этот процесс кажется примитивным, основанные на обучении с подкреплением алгоритмы уже овладели поразительно сложными умениями: они научились играть в шахматы и даже в го (игру, которая по сложности превосходит шахматы). Эти компьютеры не только играют на сверхчеловеческом уровне (они уже доказали свою способность победить любого человека), но и научились играть совершенно самостоятельно. В журнале Nature незадолго до Рождества 2018 г. рассказывалось об одной из таких программ под названием AlphaZero. Программе задавались только правила игры – определение игрового поля, правила ходов для каждой фигуры и т. д., после чего она начинала играть в шахматы или го сама с собой. Звучит немного странно, но хитрость заключалась в том, что каждое из двух «я» не знало, что думает другое «я», – оно видело только сделанный ход. Вместо внешнего учителя использовались внутренние правила, которые говорили программе, был ли данный ход удачным или нет и кто выиграл игру. AlphaZero понадобилось всего четыре часа, чтобы научиться играть в шахматы не хуже гроссмейстеров мирового уровня.
Эта удивительная способность применима не только к настольным играм, но к множеству других задач. В одной из своих лекций Дэвид Силвер из команды Google AI показал видео, на котором AlphaZero дистанционно управляет игрушечным вертолетом, заставляя машинку выполнять фигуры высшего пилотажа. Наблюдая за акробатическими трюками вертолета в воздухе, вы готовы поверить всем мрачным прорицаниям по поводу ИИ.
Но может ли AlphaZero соперничать в уме с моим внуком? Нет, даже отдаленно (если только мой внук не решит сразиться с ним в шахматы). Компьютеру нужна очень узко поставленная задача. Его мозг намного больше, чем мозг моего внука, и для работы ему требуется куда больше энергии, чем тарелка молочной каши. По оценке Кэтрин Ву в журнале Smithsonian, оборудование AlphaZero потребляет около одного миллиона ватт; мозг моего внука – меньше 20 ватт. Зачем же тогда я вообще затронул тему нейронных сетей и обучения с подкреплением (AlphaZero также построена на внутренних нейронных сетях)? Дело в том, что они служат так называемыми доказательствами принципа действия – доказательствами того, что данный тип логики может генерировать функциональность, хотя бы отдаленно приближающуюся к функциональности живого мозга.
Может ли человеческий мозг выполнять те же манипуляции, что и глубокие нейронные сети или AlphaZero? Разумеется, может, хотя и гораздо медленнее. Человеческий мозг – это компьютер, созданный за миллионы лет эволюции, которая довела до совершенства и миниатюризировала его синаптические связи. Если что-то может быть сделано громоздкими компьютерными микросхемами, это может быть сделано и мозгом.
Разработчики ИИ прекрасно осознают, что на сегодняшний день мой внук превосходит их компьютеры по всем параметрам, поэтому трудятся в поте лица. Я думаю, что машины в конце концов станут чертовски умными – но что именно они научатся делать, пока мы можем только гадать. Сегодня ведется разработка удивительных способов машинного обучения без учителя. Вопрос только в том, сколько времени это займет и насколько машины смогут сымитировать работу мозга. И, самое главное: сможет ли компьютерное оборудование хотя бы немного приблизиться в экономичности к нейронному? Я без страха смотрю в будущее. На самом деле именно фактор энергопотребления позволяет мне не бояться того, что однажды компьютерный сверхразум захватит мир.
ВИНФРИД ДЕНК И КОННЕКТОМ
Мало кто может сравниться с Винфридом Денком, директором Института нейробиологии Общества Макса Планка в Мартинсриде, Германия, в креативности научного мышления. Вот его секрет: самые плодотворные творческие идеи приходят ему в голову между полуночью и четырьмя часами утра.
Денк – высокий, крепкого телосложения человек с взъерошенной шевелюрой и аккуратной бородкой. Его редко увидишь без улыбки. Поиск в Google выдает всего одну фотографию. На ней Винфрид предельно серьезен, одет в белую рубашку, пиджак и галстук, притом что обычно он предпочитает джинсы и рубашки в стиле кэжуал. Строгий официальный портрет был сделан по случаю присуждения исследователю премии Кавли, одной из самых престижных наград в области нейронаук, – вероятно, учредители премии потребовали, чтобы Денк предстал в образе «настоящего» серьезного ученого.
Эту и другие награды Денк получил за замечательную серию научных разработок, в основном в области физики и оптики. Его первым достижением стало усовершенствование конфокального микроскопа. Конфокальный микроскоп, о котором уже упоминалось выше, представляет собой разновидность светового микроскопа, но с гораздо более высоким разрешением. Конфокальная микроскопия соединяет оптическую микроскопию и компьютерный анализ – в ней нет изображения в традиционном смысле; вместо этого производится точечное сканирование образца, и эти серии отсканированных точек собираются вновь и дают цифровое изображение. Технология быстро завоевала сердца исследователей и в настоящее время стала отраслевым стандартом.
Эту работу Денк проделал, будучи постдоком в Корнеллском университете, под руководством наставника Уотта Уэбба. Конфокальная микроскопия существовала и раньше, но скорее в виде полутеоретических разработок; Винфрид превратил ее в удобный, полезный инструмент для биологов. Следующее изобретение – двухфотонный лазерный микроскоп – он разработал и запатентовал вместе с Дэвидом Танком во время короткого периода работы в знаменитом исследовательском центре Bell Labs, который сегодня, к сожалению, лишился своего статуса мировой фабрики идей и инноваций, пав жертвой интересов большого бизнеса. Двухфотонная микроскопия обладает гораздо большей проникающей способностью, чем конфокальная: она позволяет глубже заглянуть внутрь толстых образцов, с меньшим повреждением тканей.
Затем Денк вернулся в Германию и возглавил Институт медицинских исследований Макса Планка в Гейдельберге. Получив в свое распоряжение значительные ресурсы, он нанял команду инженеров, программистов и техников и расширил масштабы своей научной деятельности, занявшись не одним, а сразу двумя крупными проектами.
