Теория Рескорлы и Вагнера оказала сильное влияние на науку, ибо представляла собой важный шаг вперед по сравнению с предыдущими теориями, основанными на концепции ассоциативного обучения. В прошлом считалось, что мозг просто учится ассоциировать звон колокольчика с едой, а не прогнозировать одно на основе другого. Согласно данной точке зрения, мозг регистрирует все совпадения между стимулами и реакциями сугубо пассивным образом. Однако даже в случае павловского обусловливания этот подход явно ошибочен285. Мозг собаки – не пассивный орган, который просто впитывает ассоциации. Научение представляет собой активный процесс и зависит от степени удивления, вызванного нарушением наших ожиданий.
Явление блокировки – одно из самых эффектных опровержений ассоцианистской точки зрения286. В экспериментах с блокировкой животному предлагают два сенсорных ключа, предсказывающих скорое появление пищи: скажем, звон колокольчика и свет. Фокус в том, что они предъявляются последовательно. Мы начинаем со света: животное понимает, что всякий раз за зажиганием света следует появление пищи. После этого мы вводим двойные испытания, в которых пищу предсказывают и свет, и звон колокольчика. Наконец, мы проверяем действие одного колокольчика. Сюрприз: он не дает эффекта – вообще! Услышав звон, животное не выделяет слюну; оно, кажется, совершенно не замечает повторяющейся связи между колокольчиком и пищей. Что же произошло? Это открытие несовместимо с ассоцианизмом, зато отлично согласуется с теорией Рескорлы—Вагнера. Ключевая идея в том, что заучивание первой ассоциации (свет и пища) блокирует вторую (колокольчик и пища). Почему? Потому что прогноза, основанного только на свете, достаточно, чтобы объяснить все. Животное уже знает, что свет предсказывает пищу, а потому его мозг не генерирует никакой ошибки прогноза во время второй части теста, где о скором появлении пищи сигнализируют и свет, и звон. Ноль ошибок – ноль научения: собака не приобретает никаких знаний об ассоциации между звуком и едой. Какое бы правило ни было усвоено первым, оно блокирует усвоение второго.
Этот эксперимент с блокировкой ясно свидетельствует о том, что научение не работает по принципу ассоциаций. В конце концов, сочетание «звон колокольчика – пища» повторялось сотни раз, но условная реакция так и не сформировалась. Кроме того, эксперимент показывает, что в отсутствие удивления никакого научения не происходит: важнейшим условием научения является ошибка прогноза – по крайней мере у собак. Впрочем, имеющиеся на сегодняшний день данные говорят о том, что системы ошибок прогноза присутствуют в мозге всех видов животных.
Важно понимать, что сигнал ошибки, о котором мы говорим, – это внутренний сигнал, который распространяется в мозге. Нам не нужно совершать фактические ошибки, чтобы учиться; достаточно заметить несоответствие между тем, что мы ожидали, и тем, что получили в итоге. Рассмотрим простой двоичный выбор – скажем, какое второе имя Пабло Пикассо: Диего или Родриго? Предположим, мне посчастливилось высказать верную догадку с первой попытки (Диего; полное имя Пабло Пикассо – Пабло Диего Хосе Франсиско де Паула Хуан Непомусено Мария де лос Ремедиос Сиприано де ла Сантисима Тринидад Мартир Патрисио Руис и Пикассо). Научусь ли я чему-нибудь? Конечно. Даже при том, что я сразу ответил правильно, моя уверенность была низкой. Шансы, что я окажусь прав, составляли 50 на 50. Поскольку я не был уверен, полученная обратная связь дала мне новую информацию: она убедила меня, что мой случайно выбранный ответ на самом деле правильный на 100%. Согласно правилу Рескорлы—Вагнера, эта новая информация генерирует сигнал ошибки, который описывает разрыв между тем, что я предсказал (50%-ная вероятность оказаться правым), и тем, что я знаю теперь (100%-ная уверенность в знании правильного ответа). Распространяясь в моем мозге, сигнал ошибки уточняет мои знания, тем самым увеличивая мои шансы ответить «Диего» в следующий раз, когда меня об этом спросят. Следовательно, было бы неверно полагать, что для научения важно совершать много ошибок (хотя Шадоки, провалившие первые 999 999 запусков своей ракеты, едва ли с этим согласятся). Что действительно важно, так это получить эксплицитную обратную связь, которая позволит снизить неуверенность.
Нет удивления – нет научения; на сегодняшний день установлено, что этому базовому правилу следуют все организмы, включая маленьких детей. Как вы помните, удивление является одним из основных индикаторов ранних навыков ребенка: например, он гораздо дольше смотрит на предметы, нарушающие законы физики, арифметики, вероятностей или психологии (см. рисунок в главе 3, раздел «Понятие о физических объектах», а также цветную иллюстрацию 5). Но дети не просто с удивлением глазеют на происходящее: они явно учатся.
Перед тем как прийти к этому выводу, американский психолог Лиза Фейгенсон провела целую серию экспериментов. Эти эксперименты показали, что всякий раз, когда дети воспринимают какое-либо событие как невозможное или невероятное, запускается механизм научения287. Например, когда младенцы видят, как некий предмет таинственно проходит сквозь стену, они смотрят на это немыслимое действо… и впоследствии лучше помнят звук, который он при этом издавал, или даже глагол, который взрослый использовал для описания происходящего («Смотри, я только что бликнул игрушку»). Если дать этот предмет малышу, он будет играть с ним гораздо дольше, чем с аналогичной игрушкой, которая законов физики не нарушала. Поведение ребенка – на первый взгляд игривое и несерьезное – в действительности показывает, что он активно пытается сообразить, что произошло. Подобно маленьким ученым, младенцы пытаются воспроизвести увиденное и ставят эксперименты. Например, если некий предмет только что прошел сквозь стену, они ударят по нему, чтобы проверить твердость; если он нарушает законы гравитации и таинственным образом висит в воздухе, они сбросят его со стола, чтобы проверить способность к левитации. Другими словами, именно характер наблюдаемого явления определяет, как впоследствии поступит ребенок, чтобы скорректировать свои гипотезы. В точности то же самое предсказывает и теория обратного распространения ошибки: каждое неожиданное событие приводит к соответствующей корректировке внутренней модели мира.
Все эти явления были зафиксированы у одиннадцатимесячных младенцев, но, вероятно, присутствуют и в более раннем возрасте. Научение путем коррекции ошибок широко распространено в животном мире, и есть все основания полагать, что сигналы ошибки управляют научением с рождения.
Мозг кишит сообщениями об ошибке
Сигналы ошибки играют столь фундаментальную роль в научении, что их передают практически все области мозга (см. цветную иллюстрацию 17)288. Рассмотрим элементарный пример: представьте, что вы слышите последовательность одинаковых нот, Ля Ля Ля Ля Ля. Каждая нота вызывает активность в слуховых областях вашего мозга, однако по мере того, как ноты повторяются, ответ постепенно затухает. Это называется «адаптацией». Адаптация – обманчиво простое явление, которое показывает, что ваш мозг учится предсказывать следующее событие. Внезапно ноты меняются: Ля Ля Ля Ля Ля-диез. Ваша первичная слуховая кора мгновенно демонстрирует выраженную реакцию удивления: в ответ на неожиданный звук возбуждаются не только те клетки, которые срабатывали прежде, но и дополнительные нейроны. Примечательно, что к адаптации ведет не только повторение: главное – предсказуемость нот. Например, если вы слышите чередующийся набор нот – допустим, Ля Си Ля Си Ля, – ваш мозг привыкает к этому чередованию, и активность в слуховых областях снова уменьшается. В этом случае реакцию удивления вызовет неожиданное повторение – скажем, Ля Си Ля Си Си289.
