Выход из этой ситуации – сделать сеть менее похожей на пресловутую собаку Павлова и добавить между уровнями входа и выхода еще один уровень: внутреннюю репрезентацию. Нужна такая репрезентация, которая эксплицирует все ключевые виды информации, связанные с входными сигналами, чтобы каждый выходной узел мог просто складывать входные значения и получать правильный ответ. Вот как это работает в случае с исключающим или:
Два скрытых узла между вводом и выводом вычисляют полезные промежуточные результаты. Узел слева вычисляет результат для простого случая «А или В», который, в свою очередь, активизирует выходной узел. Узел справа вычисляет результат для более сложного случая «А и В», и этот результат тормозит выходной узел. Выходной узел может просто вычислить «(А или В) и не (А и В)», это ему вполне по силам. Отметим, что на микроскопическом уровне построения простейших демонов из модельных нейронов без внутренних репрезентаций не обойтись; одних только связей по типу стимула и реакции не достаточно.
Более того, скрытый уровень сети можно научить самостоятельно устанавливать веса связей, используя более хитроумную версию метода обучения, чем в случае персептрона. Как и ранее, учитель задает сети правильный выход для каждого входа, а сеть подстраивает веса связей в большую или меньшую сторону, пытаясь сократить разницу. Однако в связи с этим возникает проблема, с которой не приходилось сталкиваться персептрону: как настроить связи, исходящие от узлов ввода к скрытым узлам. Проблема заключается в том, что учитель, если только он не умеет читать мысли, никак не может знать «правильные» значения для скрытых узлов, запечатанных внутри сети. Психологи Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс пришли к хитрому решению. Узлы вывода распространяют обратно к каждому из скрытых узлов сигнал, представляющий сумму ошибок скрытого узла по всем узлам вывода, с которыми он связан («ты посылаешь слишком интенсивный сигнал возбуждения» или «ты посылаешь недостаточно интенсивный сигнал возбуждения» с количественным указанием отклонения). Этот сигнал может служить в качестве суррогата обучающего сигнала, который может использоваться для настройки вводов скрытых узлов. Связи, идущие от узлов уровня ввода к каждому из скрытых узлов, можно немного уменьшить или увеличить, чтобы сократить тенденцию скрытого узла к отклонению вверх или вниз с учетом текущего паттерна ввода. Данный метод, известный как метод обратного распространения ошибки обучения, может быть применен повторно к любому количеству уровней сети.
Мы пришли к тому, что многие психологи считают вершиной мастерства разработчика нейронных сетей. В некотором смысле мы сделали полный круг, потому что сеть, включающая скрытый уровень, напоминает ту самую условную карту логических вентилей, которую Мак-Каллок и Питтс предложили как модель нейронно-логического компьютера. На концептуальном уровне сеть со скрытыми узлами – это способ составить из совокупности суждений, которые могут быть истинными или ложными, сложную логическую функцию, скрепляемую связями «и», «или», «не» – но только с двумя отличительными особенностями. Первая особенность – это то, что значения здесь могут быть не только однозначно включенными или выключенными, но и варьируемыми, а следовательно – могут представлять ту или иную степень истинности или вероятности истинности данного утверждения, а не только абсолютно истинные или абсолютно ложные утверждения. Вторая особенность в том, что эту сеть можно во многих случаях обучить устанавливать правильные веса, подавая вводы и правильные для них выводы. Вдобавок к этим двум особенностям нужно отметить особое отношение: нужно ориентироваться на огромное количество связей между нейронами мозга и не смущаться, как бы много связей и логических элементов ни пришлось добавить в сеть. Придерживаясь такого морального принципа, можно создать сети, способные рассчитывать множество возможностей и, следовательно, использовать статистическую избыточность характеристик мира. А это, в свою очередь, позволит нейронным сетям распространять информацию с одного ввода на другие подобные вводы без дополнительного обучения, при условии, что для данной задачи подобные вводы дают подобные выводы
[113].
Это всего лишь несколько идей относительно того, как можно воплотить наших крохотных демонов с их досками объявлений в форму машин, отдаленно напоминающих нейронные сети. Эти идеи служат мостиком – пусть пока довольно шатким – на пути объяснения, которое начинается в концептуальной сфере (народная интуитивная психология и лежащие в ее основе своеобразные версии знаний, логики и теории вероятности), ведет дальше к правилам и репрезентациям (демонам и символам) и в конечном итоге приводит к реальным нейронам. Нейронные сети также скрывают приятные сюрпризы. Пытаясь разобраться в «программном обеспечении» мозга, мы в конечном итоге можем использовать только демонов достаточно глупых, чтобы их можно было заменить машиной. Если нам понадобится более умный демон, то придется еще как-то разгадать, как построить его из более глупых демонов. Процесс идет быстрее, а иногда и совсем иначе, когда разработчики нейронных сетей, идущие от нейронов к верхним уровням, создают целый арсенал готовых демонов, которые выполняют простые действия (как в случае с памятью, адресуемой по содержимому или с автоматически обобщающим информацию ассоциатором паттернов). Разработчики ментального программного обеспечения (которые, по сути, занимаются обратным проектированием) располагают неплохим арсеналом запчастей, из которых они могут собрать умных демонов.
Коннектоплазма
В какой же части мыслекода заканчиваются правила и репрезентации, и начинаются нейронные сети? Большинство когнитивистов приходят к единому мнению по крайней мере по поводу крайних точек. На высших уровнях когнитивной способности, где мы сознательно проходим каждый шаг, применяя правила, которые мы выучили в школе или обнаружили сами, мышление похоже на продукционную систему с символическими записями в памяти и демонами, выполняющими операции. На нижнем уровне записи и правила выполняются в рамках чего-то вроде нейронной сети, которая реагирует на знакомые паттерны и ассоциирует их с другими паттернами. Однако граница между ними остается предметом споров. Можно ли сказать, что простые нейронные сети отвечают за преобладающую часть повседневного мышления, а уровню явных правил и суждений оставляют только плоды учености? Или сети больше напоминают строительный материал, не способный на проявление человеческого рассудка, пока из него не будут построены структурированные репрезентации и программы?
Представители научной школы, получившей название «коннекционизм», во главе с психологами Дэвидом Румельхартом и Джеймсом Мак-Клелландом, утверждают, что простые сети сами по себе отвечают за преобладающую часть человеческого интеллекта. В своей крайней форме коннекционизм гласит, что мышление – это одна большая сеть обратного распространения ошибок скрытого уровня, или, возможно, группа из похожих или идентичных сетей, и интеллект формируется за счет того, что учитель – среда – настраивает веса связей. Единственная причина, по которой люди умнее крыс, состоит в том, что в наших сетях между стимулом и реакцией больше скрытых уровней, и мы живем в среде других людей, которые выступают в роли учителей сети. Правила и символы могут быть полезны как приближенная модель того, что происходит в сети, для психолога, который не может угнаться за миллионами потоков возбуждения, протекающих в связях, но не более того
[114].
