К 1949 году Дональд Хебб уже какое-то время обдумывал эту идею и нашел способ усовершенствовать ее. Он предположил, что если клетка А устойчиво участвует в активации клетки B, то связь между ними усиливается (потенцируется)3. Иными словами, кто вместе возбуждается, те вместе соединяются (см. также главу 3).
В те времена, когда Хебб выдвинул свою гипотезу, экспериментальных доказательств в ее поддержку не существовало. Позже, в 1973 году, двое ученых открыли некое явление, которое могло указывать, что Хебб со своей гипотезой попал в самое яблочко. После стимуляции нервных волокон в гиппокампе они обнаружили усилившийся электрический ответ от принимающей (постсинаптической) клетки. Этот сигнал сохранялся до десяти часов. Исследователи назвали это явление долгосрочным потенцированием, каковое и стало первой демонстрацией изменения силы связей в результате их недавней активности4.
Следующий шаг в исследованиях был очевиден: то, что усиливается, должно обладать и свойством ослабляться. Если синаптическая связь способна потенцироваться, ей требуется и способность подавляться, иначе сеть достигнет насыщения и утратит потенциал сохранять что-то новое. К 1990-м годам удалось показать, что различные манипуляции (например, А возбуждается при отсутствии ответа со стороны B) могут повлечь за собой долговременное подавление, то есть сила связи между двумя клетками ослабнет. Ученые заключили, что найдены физические основы памяти5. В самом деле, мельчайшие изменения в связях способны радикально изменить реакцию сети на выходе. Активность передается по системе на основе происходившего ранее. Если правильно настроить параметры, сеть может создать связи между одновременно происходящими активностями. Идея в том, что такого рода простой механизм может лежать в основе всех ваших жизненных воспоминаний.
Возьмем, например, вашего лучшего друга и его дом. Вид друга запускает в действие одну популяцию нейронов, а при виде дома приходит в действие уже другая. И поскольку, когда вы приходите домой к другу, обе группы одновременно активны, между видом друга и видом дома выстраивается ассоциативная связь; в этом и лежит основа ассоциативного обучения. Когда одно из понятий приводится в действие, оно пробуждает к жизни связанное с ним второе. Но что еще примечательнее, каждое из этих понятий может активировать множество других ассоциаций, скажем воспоминание о ваших разговорах, совместных трапезах или о чем-то развеселившем вас обоих.
В начале 1980-х годов Джон Хопфилд[54] предпринял попытку определить, сможет ли очень упрощенная искусственная нейронная сеть сохранить небольшой набор «воспоминаний»6. Он обнаружил, что если предъявить ей ряд паттернов (например, буквы алфавита) и усилить синапсы между нейронами, которые возбуждаются одновременно, то сеть сможет запомнить паттерны. Каждая буква (пусть это будет Е) запускала конкретное созвездие нейронов, и связь между ними усиливалась. В отличие от Е, буква S будет представлена другим паттерном. Обучив сеть алфавиту, Хопфилд перешел к следующему этапу: предъявлял сети поврежденную версию одного из паттернов (скажем, Е со срезанной верхушкой), и каскад активности в сети приводил к восстановлению ее полного паттерна. Иными словами, сеть сама приводила ущербный паттерн в соответствие уже выработанным предшествующим опытом представлениям о том, как полагается выглядеть паттерну, кодирующему букву Е. Более того, выяснилось, что подобные сети поразительно устойчивы к разрушению: если удалить несколько узлов, распределенная память сети все равно будет способна выдавать «воспоминания». Таким образом, Хопфилд представил мощное доказательство того, что простая искусственная сеть способна хранить воспоминания, что послужило стимулом к многочисленным исследованиям сетей Хопфилда7.
В последующие десятилетия искусственные нейронные сети сделали громадный скачок вперед. Этому в значительной степени способствовали не столько новые теоретические открытия, сколько доступность современных вычислительных мощностей, позволяющих моделировать гигантские искусственные сети, состоящие из миллионов или даже миллиардов элементов8. Подобные сети способны на феноменальные достижения: например, они обыгрывают лучших в мире шахматистов и лучших игроков в го[55]. Но при всей шумихе вокруг искусственных нейронных сетей они еще очень далеки от способности функционировать подобно человеческому мозгу. И хотя их возможности невероятно впечатляют, они феерически провальны, если от них требуют переключиться с одной задачи на другую, скажем с различения кошечек и собачек на различение птичек и рыбок. Искусственные нейронные сети созданы по образу и подобию человеческого мозга, однако они двинулись в собственном, упрощенном направлении. Если мы хотим понять магию живого мозга (то есть все то, на что способен он, но пока не способны искусственные нейронные сети), нужно со всей ясностью оценить вызовы, с которыми сталкивается биологическая память, равно как и ее хитрости и уловки.
Враг воспоминаний — не время, а другие воспоминания
Первая трудность для мозга заключается в его долгожительстве. Животные сталкиваются с меняющейся, полной опасностей и вызовов средой обитания, и потому им требуется непрерывно, годами или десятилетиями, воспринимать новую информацию. Однако пожизненное обучение вынуждено постоянно поддерживать равновесие канатоходца с шестом: сберегать старые данные и при этом усваивать новые. В искусственных нейронных сетях обучение происходит в тренировочной фазе (как правило, на миллионах примеров), а затем тестируется в фазе воспроизведения. Нам, животным, такая роскошь недоступна: всю жизнь приходится на лету проделывать и то и другое.
К сожалению, модели памяти, построенные на основе базовых хрестоматийных принципов синаптических изменений, тотчас же сталкиваются с проблемой: в итоге выученное позднее записывается поверх выученного ранее9. А насыщенные воспоминаниями искусственные сети деградируют в сторону загрязнения памяти. Более ранние воспоминания после новой активности в системе затушевываются, и вскоре вы уже к концу первого акта пьесы не сможете вспомнить ее начало. Эту проблему называют дилеммой стабильности — пластичности, суть которой — в понимании того, как мозгу удается одновременно и сохранять выученное, и воспринимать новое. В любом случае необходимо, чтобы воспоминания были каким-то образом защищены — но не от буйства быстротечного времени, а от вторжения других воспоминаний.
Если искусственные нейронные сети страдают от загрязнения воспоминаний, то живой мозг таких сложностей не испытывает. Чтение новой книги не вытеснит из вашей памяти имя супруги, как и новое заученное слово нисколько не обеднит ваш словарный запас.
Сам факт, что мозг умеет обходить эту дилемму, каким-то образом закрепляя более давние воспоминания, есть свидетельство тому, что усиление и ослабление синапсов в нейронной сети еще не передает общей картины, — очевидно, что происходит нечто более сложное.
Первое решение дилеммы стабильности — пластичности: позаботиться, чтобы вся система разом не менялась. Пусть гибкость включается/выключается только на малых участках сообразно релевантности. Как мы видели выше, нейромодуляторы тщательно контролируют пластичность синапсов, и благодаря этому обучение может происходить только в нужных местах и в нужное время, а не каждый раз, когда активность распространяется вдоль всей сети10. Таким образом замедляется ее деградация, поскольку сила синапсов меняется лишь тогда, когда происходит нечто важное (скажем, вам называют имя нового сотрудника, вы узнаёте новость о родителях или о том, что по телевизору вечером покажут новый сезон вашего любимого сериала). Но если дело касается ненароком увиденной уличной вывески, цвета сорочки прохожего или рисунка трещин на тротуаре, у сети нет надобности в переменах. Одна из функций нейронной сети — изменение только в случае релевантости стимула — напоминает нам, что мозг вовсе не чистый лист, на котором реальность кропает свои истории, он приходит в мир заранее экипированным под определенные типы обучения в ситуациях определенного типа. Фрагменты опыта преобразуются в воспоминания, когда они значимы для жизни организма, а особенно если окрашены сильными эмоциями вроде страха или удовольствия. Такой порядок снижает шансы на перенасыщение сети, поскольку в нее записывается не все.
