На этом важном моменте стоит остановиться несколько подробнее. Когда люди оценивают поведение друг друга, они не столько рассматривают сами поступки, сколько стараются угадать стоящие за ними мотивы. Если вам вдруг предлагают слишком выгодную цену за какую-то услугу, вы инстинктивно ищете в этом какой-то подвох, опасаясь возможных неприятностей в будущем. На языке теории обучения вы решаете задачу обратного обучения с подкреплением
[116]: по наблюдаемому поведению агента угадать его предполагаемую функцию подкрепления – что именно его мотивирует. (Обычное обучение с подкреплением состоит, напротив, в нахождении оптимального поведения агента, соответствующего наблюдаемым подкреплениям – мотивирующим сигналам.)
Обратное обучение с подкреплением – это следующий уровень рефлексии мышления, попытка поставить себя на место другого и угадать его мотивы, желания и чувства. В мозге приматов имеется специальная система зеркальных нейронов, которые возбуждаются и когда вы сами что-то делаете, и когда это делают другие
[117], что для приматов как общественных животных, и особенно для людей, чрезвычайно важно. Так, способность обезьянничать позволяет детям, и не только им, обучаться по принципу «увидел и сделал». Естественно, что этой способностью нам следует наделить и искусственную психику роботов, чтобы они легче обучались, не были бездушными, могли нам сопереживать и действовать в наших истинных интересах. Ведь, если они будут понимать, что нами движет, им будет легче сформировать свое поведение в соответствии не только с наблюдаемыми, но и с предполагаемыми подкреплениями с нашей стороны.
В отличие от обычного, обратное обучение с подкреплением предполагает построение модели психики других агентов (theory of mind), на что способны очень немногие виды животных. Человек же способен и на большее – построение модели своей собственной психики, то есть объяснение своих собственных мотивов. Это еще более высокий уровень рефлексии – самосознание. (У детей понятие «я» формируется постепенно, по мере совершенствования их способности угадывать мотивы других людей.) Ничто не мешает переходу на такой уровень сознательного мышления и в рамках искусственной психики при наличии в ней соответствующих архитектурных возможностей для такого рода перехода.
Вернемся, однако, к развитию человеко-машинной цивилизации, где благодаря обратному обучению с подкреплением истинные (в смысле – реальные) человеческие ценности будут моделироваться и распространяться по сети распределенного машинного разума. Возникает вопрос: какие ценности мы сможем передать машинному интеллекту? Ведь они могут существенно отличаться у разных социальных групп, сообществ и стран, поэтому противоречия внутри человеческого разума неизбежно воспроизведутся и внутри коллективного машинного разума. Мир на Земле будет существенным образом зависеть от степени остроты этих внутренних противоречий. Образно говоря, если мы хотим договориться с будущим сверхинтеллектом, мы должны сначала суметь договориться между собой, дорасти до бесконфликтной самоорганизации всего мирового сообщества.
Здесь мы возвращаемся к ключевым проблемам ближайших десятилетий. Как нам преодолеть возможную турбулентность при переходе на новый уклад? Как при гиперболическом распределении доходов избежать конфликтов интересов, разрешимых только силовыми методами? Как избежать появления в авторитарных государствах «большого брата», выявляющего и обезвреживающего инакомыслящих любыми возможными способами? Как избежать появления на службе у военных искусственных стратегов со сверхчеловеческими способностями, которых уже никто не сможет контролировать и единственной целью жизни которых является уничтожение «условного противника»?
По мысли Юваля Харари, человечество обязано своими успехами способности людей формировать ментальные конструкции, «истории», в которые верят большие группы людей, – от религии и идеологии до общественных институтов и денег
[118]. Эти символы веры сплачивают человеческие общности, обеспечивают необходимый уровень взаимного доверия, понимания мотивов друг друга.
Беда лишь в том, что такие конструкции у разных групп людей могут существенно различаться. Соответственно между сообществами с разными системами ценностей возникает взаимное недоверие, потому что люди не понимают мотивов поступков чужаков либо эти мотивы кажутся им чуждыми – «варварскими». Возникает двойная мораль – по отношению к своим и к чужим. Если внутри своей общности принято соблюдать общие ценности, то в отношении к чужакам они уже необязательны, а то и нежелательны. Стремление унифицировать систему ценностей неискоренимо и является причиной бесчисленных войн, из которых человечество не вылезало со времен геноцида неандертальцев и прочих гоминид.
Что ж, у всякой медали есть две стороны. Однако остается надежда, что людям удастся сплотиться в единую общность, осознав общую для всего человечества опасность, как это описано в трилогии китайского фантаста Лю Цысиня «Задача трех тел»
[119], где человечество сталкивается с нашествием более совершенного инопланетного разума. Но там из-за космических расстояний людям для принятия ответных мер отпущено 400 лет. В реальности нам до пришествия более совершенного машинного разума остается каких-то лет 20–40. Значит, надо спешить!
Мир через 20–40 лет: ИИ сверхчеловеческого уровня
Как можно представить себе интеллект сверхчеловеческого уровня? Только метафорически. Хорошей метафорой является рисунок из известной статьи Тима Урбана «Революция ИИ»
[120] (рис. 21).
Понятно, что это лишь метафора. Как мы предполагаем, сверхинтеллект будет не единой сущностью, а мыслящей сетью интеллектов различного уровня. Если предположить обычное гиперболическое распределение вычислительных мощностей как основных активов цифровой экономики, то машинный разум, как и современные активы, тоже будет разбит на фракции: от нескольких сверхинтеллектов в мега-дата-центрах – главных хабов будущей Сети (Internet sapiens?) – через все более многочисленные и менее мощные дата-центры до самых многочисленных интеллектов простейших роботов и агентов. Так что сверхчеловеческий уровень разные фракции будут проходить в разное время, а составляющие «длинный хвост» простейшие роботы и агенты по-прежнему останутся относительно примитивными. Действительно, зачем роботу-пылесосу интеллект человеческого уровня? Так что человеческий разум будет по-прежнему представлен в этом будущем коллективном сверхразуме.
