Вот как именно это происходит: изображение в цифровом формате демонстрируется набору демонов, каждый из которых избирательно чувствителен к одному конкретному признаку. Каждый демон определяет присутствие или отсутствие своего признака и отправляет сообщение в центр решений, который собирает входные сигналы от всех демонов. Затем учитель сообщает перцептрону «Это Бет» или «Это не Бет». Центр решений запускает процесс, называемый обратным распространением, суть которого – назначить входному сигналу от каждого демона соответствующий весовой коэффициент: демоны, предоставившие информацию, полезную для идентификации Бет, получают более высокие коэффициенты. На рисунке на предыдущей странице величина весовых коэффициентов показана толщиной линий, идущих от демонов в центр решений (вспомните об усилении синаптических связей между нейронами в мозге). В следующий раз, когда перцептрон увидит изображение лица, центр решений будет суммировать входные сигналы от демонов с учетом их «веса»: одни сигналы будут оказывать большее влияние на конечное решение, другие – меньшее. Эта процедура повторяется множество раз со множеством разных изображений Бет (или любого другого объекта) – и с каждой итерацией перцептрон становится все точнее и точнее. Вот, собственно говоря, и все. Оказывается, даже простейший однослойный перцептрон, такой как показан на рисунке, может достаточно точно научиться распознавать простые объекты, а объединение сотен и тысяч таких перцептронов позволяет создавать системы, способные распознавать лица, водить автомобили и делать другие удивительные вещи.
А теперь рассмотрим конкретный пример. На рисунке на следующей странице показан такой же однослойный перцептрон, но с двумя дополнительными детекторами (демонами в классическом пандемониуме). Задача перцептрона – научиться распознавать букву А.
Каждый детектор настроен на обнаружение одного признака – в данном примере линии определенной ориентации. Когда перцептрону показывается буква А, срабатывают два детектора, чувствительные к линиям, наклоненным справа налево и слева направо, а также детектор горизонтальной линии, реагирующий на перекладину буквы А. Затем центр решений получает от учителя сообщение: «Это буква А» – и через процесс обратного распространения увеличивает весовой коэффициент этих трех детекторов.
Обратите внимание, что на рисунке эти три линии, участвующие в распознавании буквы А, – веса В2, В4 и В5 – более жирные, что призвано подчеркнуть их важность. В следующий раз, когда перцептрону покажут букву, он придаст сообщениям от этих детекторов больший вес.
Теперь предположим, что А-распознающему перцептрону показывают букву Б. В этом случае среагирует детектор вертикальных линий и детектор горизонтальных линий. Но из них двоих для перцептрона имеет значение только сигнал детектора горизонтальных линий. Поскольку два других значимых детектора 2 и 5 молчат, центр решений получает слишком слабый суммарный сигнал и поэтому делает вывод: «Это не буква А».
Следующий важный тест, помогающий понять, как устроено восприятие у машин или мозга, – изменить размер изображения. Мы снова показываем перцептрону букву А, но на этот раз меньшего размера. Как вы помните, машина на основе шаблонов не смогла справиться с этим тестом, потому что маленькая буква А не соответствовала оригинальному шаблону. Но нашему перцептрону достаточно задать всего одно условие: чтобы его детекторы реагировали на линию определенной ориентации независимо от ее размера и местоположения внутри рецептивного поля. В этом случае наш перцептрон получит сигналы, что в этом маленьком символе есть две наклонные линии (слева направо и справа налево) и одна горизонтальная, – и распознает его как букву А.
Как вы обратили внимание, ключевое условие, заданное детекторам в этом примере, полностью соответствует тому, что делают «сложные» клетки зрительной коры. Как и детекторы в нашем гипотетическом перцептроне, эти сложные клетки чувствительны к линиям определенной ориентации независимо от их местоположения в рецептивном поле. Таким образом, эта модель показывает, как со сложной клетки визуальной коры V1 – довольно простого детектора признака, находящегося на относительно ранней стадии визуальной обработки, – начинает выстраиваться распознавание визуальных объектов. Недаром Ян Лекун, один из гигантов в области искусственного интеллекта, сказал, что для него сложные клетки – важный источник вдохновения.
НЕЙРОННЫЕ СЕТИ: БОЛЬШЕ И ЛУЧШЕ
Перцептроны были интересной новинкой, но затем произошло нечто странное: интерес к этому типу искусственного интеллекта почти умер – и возродился лишь четверть века спустя. Впоследствии этот период примерно с 1965 по 1985 г. назвали зимой искусственного интеллекта. В эти годы идею обучающейся машины вроде перцептрона фактически признали бесперспективной. Теперь мы знаем, что это было ошибкой. Сегодня основанный на этих принципах искусственный интеллект догоняет человека. Но почему машинное обучение вызвало такое разочарование?
Во-первых, ИИ в основном являлся плодом эмпирического предположения, не имевшего солидного теоретического фундамента (то есть фундамента, изложенного на языке чистой математики). Это было серьезным недостатком. В те времена в области вычислительной науки работали преимущественно люди с математическим образованием, которые считали недостойным внимания все то, что нельзя было описать математически. На самом деле один ведущий теоретик посвятил целую книгу математическому доказательству того, что простая нейронная сеть такого типа неспособна научиться ничему важному.
Сегодня мы знаем, что он был неправ. Но мы узнали это не с помощью математической теории, а эмпирическим путем – создавая компьютеризированные нейронные сети, которые на деле доказали свою работоспособность.
Вторая причина отсутствия интереса к машинному обучению была чисто практической: в те времена компьютеры были невероятно медленными по сегодняшним меркам и работать с ними было невероятно сложно. Математическая теория оставалась доминирующим инструментом просто потому, что других инструментов как таковых не существовало. Но с появлением все более мощных компьютеров и развитием компьютерных наук растущую роль стал играть элемент эмпиризма, простого метода проб и ошибок. Отныне доказательством могли служить не только математические теории, но и полученные результаты: если нейронные сети работают, значит, они работают, а теория подоспеет, как бы она ни была важна.
Сегодня быстрые и мощные компьютеры и огромные учебные базы данных вывели базовую идею перцептрона на потрясающий новый уровень. На рисунке на следующей странице показана классическая схема современной нейронной сети. Как видите, она состоит из все тех же простых перцептронов, только организованных в несколько взаимосвязанных слоев. Входной слой снабжает входными данными группу из семи перцептронов, а эти семь перцептронов передают обработанные данные на второй слой перцептронов и т. д., вплоть до выхода.
