Компьютерное моделирование показывает, что схемы активации нейронов в рекуррентных сетях
152 могут постоянно эволюционировать, что теоретически может использоваться для кодирования времени. Проблема заключается в том, что такие эволюционирующие схемы часто не воспроизводятся, а такие сети ведут себя хаотически.
В математике слово «хаос» используется для описания систем, чрезвычайно чувствительных к «шуму» и начальным условиям (состоянию системы в момент начала конкретного эксперимента). Классический пример — погода и так называемый «эффект бабочки», когда самое незначительное событие в какой-то точке пространства и в какой-то момент времени способно вызвать «эффект домино»: например, взмах крыльев бабочки в долине Амазонки в полдень 1 февраля может привести к изменению погоды в Нью-Йорке через неделю.
Хаотические процессы часто наблюдаются в нелинейных физических системах с обратной связью, таких как погода или поведение бильярдных шаров. Сети нейронов обладают обоими этими свойствами. Во-первых, поведение нейронов нелинейно: отклик нейрона не пропорционален полученному им стимулу. Во-вторых, как указывалось выше, кортикальные сети характеризуются высокой степенью рекуррентности: это означает, что активность нейрона в момент времени t1 влияет на поведение других нейронов в момент времени t2, что, в свою очередь, влияет на поведение первого нейрона в момент времени t3.
Чтобы понять, почему хаотические процессы мешают определять время в нелинейных динамических системах, рассмотрим простое математическое уравнение, называемое логистическим уравнением (рис. 6.5). Это уравнение описывает эволюцию параметра x (в пределах от 0 до 1) через определенные временны́е интервалы. На каждой следующей стадии значение параметра x полностью определяется его значением на предыдущей стадии. Несмотря на простоту задачи, результат выглядит достаточно сложно, и минимальные вариации значения x могут вызвать чрезвычайно сильные изменения этого параметра в дальнейшем.
Рис. 6.5. Пример хаотической системы. Значение параметра x на каждой последующей стадии (в момент времени t+1) определяется значением x на текущей стадии. Даже если в двух раундах процесс начинается с очень близких значений x (0,99 и 0,99001), со временем значения x начинают расходиться, что видно из таблицы и из графика. Поначалу это расхождение незаметно, но примерно после 18-й стадии значения x в двух раундах не имеют между собой ничего общего
Заметьте, что представленную на рис. 6.5 таблицу можно использовать в качестве своеобразного таймера. Если известно, что исходное значение x равнялось 0,9900, а текущее значение составляет 0,5471, можно определить, что от начала раунда прошло 16 стадий. Таким образом, в принципе, физические системы, подчиняющиеся такому логистическому уравнению, можно использовать в качестве часов.
Однако проблема заключается в том, что эти системы чрезвычайно чувствительны к помехам или самым незначительным погрешностям измерений. Например, если во втором раунде исходное значение x равно не 0,9900, а 0,99001, на 16-й стадии мы вместо 0,5471 получим 0,7095. Состояние хаотической системы (в данном примере значение параметра x) быстро изменяется в результате самых ничтожных пертурбаций, а это означает, что из раза в раз система ведет себя по-разному. Поэтому хаотические системы — довольно скверные часы.
Компьютерное моделирование систем со случайным распределением связей между нейронами показывает, что такие рекуррентные сети со случайными связями между нейронами могут создавать самовоспроизводящиеся схемы активности, в которых в каждый следующий момент времени сеть находится в ином состоянии. В принципе, такие пространственно-временны́е схемы могут использоваться для определения времени. Однако в 1980-х гг. израильский физик, информатик и нейробиолог Хаим Сомполинский и его коллеги доказали, что во многих случаях такие рекуррентные сети со случайной связью нейронов создают хаотические схемы активности
153. Это поставило нейробиологов в сложную ситуацию. С одной стороны, кора головного мозга состоит из рекуррентных сетей нейронов, способных создавать воспроизводимые динамические схемы активности — в противном случае мы не могли бы несколько раз сыграть на пианино одну и ту же пьесу или воспроизводить собственную подпись. С другой стороны, теоретические исследования показывают, что кортикальные сети являются хаотическими.
Мы пока еще не знаем, как сети нейронов мозга решают проблему хаоса. Было выдвинуто несколько гипотез, объясняющих способность рекуррентных нейросетей создавать сложные нехаотические образы — такие, которые можно воспроизвести вновь и вновь. Одна модель предполагает, что сети нейронов могут избегать хаоса и воспроизводить специфические траектории возбуждения благодаря обучению синапсов. По крайней мере, в теории, при правильной настройке синапсов в модельной сети нейронов удается получать сложные и нехаотические схемы возбуждения. Как продемонстрировано на рис. 6.6, такой подход является мощным инструментом для создания сложных изменяющихся во времени схем двигательной активности.
Данная модель иллюстрирует характер активности десяти нейронов из сети, состоящей из 800 связанных между собой нейронов, в серии многочисленных испытаний. Каждое испытание начинается с короткого импульса, приводящего все нейроны модельной сети в исходное состояние. Начиная с этой исходной позиции, система изменяется динамическим образом: сеть автономным образом изменяется вдоль траектории, выстроенной в 800-мерном пространстве. Мы наблюдаем упрощенную версию процесса в трехмерном пространстве. Чтобы оценить потенциал данной модельной сети, мы можем соединить все 800 нейронов всего лишь с двумя выходными нейронами и предположить, что эти двигательные нейроны контролируют движение карандаша на листе бумаги относительно осей координат X и Y.
Возможно, это не очень понятно на интуитивном уровне, но если рекуррентная сеть заставляет два двигательных нейрона создавать сложный (точнее, многомерный) динамический образ, то эти выходные нейроны могут создавать практически любой рисунок (что достигается путем настройки силы синапсов между рекуррентной сетью и выходными нейронами). В данном примере два выходных нейрона «написали» слово chaos.
Важно отметить, что рекуррентные связи были соответствующим образом настроены, и поэтому сеть не является хаотической. Можно нарушить активность сети в середине траектории, но она все равно возвращается к тому, что делала раньше. Грубо говоря, эта система обладает памятью. У рекуррентных сетей есть интересное свойство: они способны запоминать свои действия. И даже если сбить систему с исходной траектории, она может «вернуться» и закончить начатую работу.
