Книга Метамышление. Как нейронауки помогают нам понять себя, страница 99 – Стивен М. Флеминг

Эти виды нейронных сетей основаны на контролируемом обучении. Им нужно понять, правы они или нет, раз за разом обучаясь на примерах. Завершив тренировку, они получают в свое пользование яркие репрезентации окружающей среды, а также функции вознаграждения, которые сообщают им, что вокруг является ценным. Эти алгоритмы могут быть потрясающе мощными, умными и изобретательными, но обладают ограниченным самосознанием. Маловероятно, что самосознание возникнет просто как побочный продукт создания все более разумных машин. Как мы уже видели, развитые способности не обязательно ведут к развитому метапознанию. Вы можете мастерски выполнять ту или иную задачу (вспомните сортировщиков цыплят) и при этом не осознавать, что вы делаете. Скорее всего, искусственный интеллект описанного типа будет все разумнее решать отдельные практические задачи, но при этом его самосознание, вероятно, останется на уровне карманного калькулятора.

Переведем разговор в более конкретное русло и рассмотрим, что именно нужно машинам, чтобы начать осознавать самих себя. Многие из этих необходимых элементов мы уже обсуждали в первой части книги, например способность отслеживать неопределенность и самомониторинг действий. Машины зачастую не обладают этими возможностями второго порядка – отчасти потому, что в большинстве случаев, когда проблема ясно очерчена, они им и не нужны. Уильям Джеймс, дедушка современной психологии, предвосхитил эту мысль, написав, что машина «с часовым механизмом, структура которого роковым образом предопределяет скорость ее работы», вряд ли будет совершать ошибки, не говоря уже об их исправлении. Он противопоставлял это непринужденному самосознанию человеческого разума: «Если мозг не в порядке и человек говорит: „Дважды четыре – два“, – вместо „Дважды четыре – восемь“… – осознание ошибки возникает мгновенно»^[255].

Во времена Джеймса машины были настолько незамысловаты, что их ошибки были скорее исключением, чем правилом. Сегодня это уже не так. Фактически основная проблема современных методов машинного обучения заключается в том, что на практике они приводят к сверхуверенности в конфигурациях среды, мира вокруг: машины думают, что знают ответ, когда им лучше было бы перестраховаться. Это создает серьезную проблему при эксплуатации искусственных разумных устройств в непривычных условиях – например, программное обеспечение, которым оснащены беспилотные автомобили, можно сбить с толку новыми входными данными или различиями в условиях освещенности и тем самым вызвать аварию^[256].

Другая проблема заключается в том, что после обучения нейронной сети трудно понять, почему она делает то, что делает. Как мы уже отметили, перед современным искусственным интеллектом обычно не ставится цель самообъяснения. Философ Энди Кларк и психолог Аннет Кармилофф-Смит предвидели эту проблему в своей фундаментальной статье 1993 года. Они предположили, что искусственные нейронные сети не способны мониторить свои действия именно потому, что их знание хранится «внутри» системы – в весах, связывающих слои нейронов.

Исследователи приводят в пример историю о том, как искусственную нейронную сеть обучали прогнозировать потенциальную неуплату клиентами долгов по кредиту – в 1993 году это было возможно только гипотетически, а сейчас является рутинной частью машинного обучения в крупных банках. Сеть могла использовать огромную базу данных (например, почтовый адрес или уровень дохода) людей в определенной стране (например, в Великобритании), чтобы уточнять свои прогнозы о том, кто окажется платежеспособен, а кто нет. Кларк и Кармилофф-Смит задались вопросом, сможет ли сеть, обученная всему этому, передать полученные знания новой сети, которую банк хочет создать в Австралии. Другими словами, будет ли она знать, чему научилась, и сможет ли использовать собственное знание для обучения других? Исследователи пришли к выводу, что нет: «Для того чтобы система могла сообщить австралийской сети что-нибудь полезное, ей необходимы более абстрактные и передаваемые знания о значимых факторах оценки кредитов. Оригинальная сеть обходится без таких явных абстракций, поскольку создает лишь минимальные репрезентации, необходимые для успешного выполнения той версии задачи, решению которой она была обучена». Другими словами, Кларк и Кармилофф-Смит предположили, что, даже располагая существенными вычислительными возможностями и обширной базой данных, нейронные сети, решающие сложные задачи, вряд ли сумеют осознать, чтоони знают. Знание в этих сетях погребено в изменяющихся соотношениях данных между слоями – это знание «внутри», а не «для» сети. Кроме того, исследователи высказывают предположение, что в самосознающем разуме протекает еще и процесс «репрезентационного переописания» (по крайней мере, в случае некоторых видов обучения), что позволяет нам не только воспринимать и классифицировать кошек или собак, но и знать, что мы воспринимаем кошку как кошку, а собаку как собаку^[257].