Ценности и предпочтения вкупе с удовлетворением от достижения цели можно поместить во встроенное в ИИ определение пользы, назвав его «функцией полезности». Дружественность по отношению к человеку — одна из ценностей, которыми, на наш взгляд, должен обладать ИИ. Поэтому неважно, какие цели ставит перед собой ИИ — от игры в шахматы до управления автомобилем, — защита человеческих ценностей (и человека как такового) должна составлять существенную часть кодекса его поведения.
Надо отметить, что здесь имеется в виду не то дружелюбие, о каком обычно говорят телевизионные проповедники, — хотя и это не повредит. В нашем случае дружественность означает, что ИИ не должен быть враждебно или амбивалентно настроен по отношению к людям никогда, какими бы ни были его цели и сколько бы ступеней самосовершенствования он ни прошел. ИИ должен глубоко понимать нашу природу и не наносить вреда людям даже случайно, даже через непредвиденные последствия своих действий (что нередко происходило в рассказах Азимова в рамках действия Трех законов робототехники). То есть мы не хотим получить ИИ, который выполнил бы наши краткосрочные задачи (пожалуйста, спаси нас от голода) при помощи мер, вредных в долгосрочной перспективе (к примеру, поджарив одновременно всех кур на планете), или таких, против которых мы возражали бы в принципе (убив нас всех после ближайшей же трапезы).
В качестве примера непредвиденных последствий специалист по этике из Оксфордского университета Ник Востром предложил гипотетический «максимизатор производства скрепок». В сценарии Бострома бездумно запрограммированный суперинтеллект, которому в качестве цели было задано производство канцелярских скрепок, делает ровно то, что от него требовалось, без оглядки на человеческие ценности. В результате все идет наперекосяк, поскольку ИСИ «превращает сначала всю Землю, а затем и прилегающие области пространства в фабрики по производству скрепок». Дружественный ИИ сделал бы в подобной ситуации ровно столько скрепок, сколько укладывается в человеческие ценности.
Еще одно непременное качество дружественного ИИ — стремление избежать догматических ценностей. Наши представления о хорошем и плохом изменяются со временем, и любому ИИ, связанному с человеческим благополучием, необходимо будет поспевать за нами в этом отношении. Если бы функция полезности некоего ИИ была ориентирована на предпочтения большинства европейцев в 1700 г. и не корректировалась бы со временем, то и в XXI в. этот ИИ связывал бы человеческое счастье и благополучие с такими архаичными ценностями, как расовое и половое неравенство, рабовладение, туфли с пряжками, а то и что-нибудь похуже. Мы не хотим закладывать в дружественный ИИ конкретные жестко заданные ценности. Мы хотим, чтобы его подвижная шкала ценностей развивалась с нами вместе.
Юдковски придумал для этого развития ценностей специальный термин — когерентная экстраполированная воля (КЭВ). ИИ, снабженный КЭВ, способен предвидеть наши желания. И не просто желания, а те желания, которые были бы у нас, если бы мы «знали больше, думали быстрее и лучше соответствовали бы собственным представлениям о себе».
КЭВ стал бы своеобразным оракулом дружественного ИИ. Ему пришлось бы извлекать из нас наши ценности, как если бы мы были лучше, чем есть на самом деле, и при этом сохранять демократичность и не допускать, чтобы нормы, установленные меньшинством, тиранили все человечество.
Вам кажется, что все это звучит немного… ну, не от мира сего? Для того есть веские причины. Во-первых, я излагаю концепции дружественного ИИ и КЭВ очень схематично, на самом деле об этом написаны целые тома (их можно почитать в Интернете). А во-вторых, тема дружественного ИИ не слишком проработана, но очень оптимистична. Неясно, можно ли изложить концепцию дружественного ИИ в формальном математическом виде, и не исключено, что построить такой ИИ или интегрировать его в перспективные ИИ-архитектуры попросту невозможно. Но если бы это можно было сделать, как выглядело бы наше будущее?
Давайте представим, что через десять или сорок лет проект SyNAPSE
[12] фирмы IBM по обратному проектированию мозга принес, наконец, плоды. В результате работ по программе, начавшейся в 2008 г. с гранта DARPA в $30 млн, создана система, копирующая базовые схемы мозга млекопитающего: эта система одновременно воспринимает входные сигналы из тысяч источников, развивает стержневые алгоритмы обработки данных и выдает на выходе восприятие, мысль и действие. Начиналось все с мозга, по размеру примерно соответствующего кошачьему, затем дошло до человеческого — и двинулось дальше.
Чтобы построить такую копию, исследователи проекта SyNAPSE создали «когнитивный компьютер» из тысяч параллельных компьютерных чипов, обрабатывающих информацию. Воспользовавшись достижениями нанотехнологий, они разработали микросхемы размером в один квадратный микрон. Затем объединили множество таких микросхем в углеродный шар размером с баскетбольный мяч и для максимальной производительности погрузили в жидкий металл — соединение галлия с алюминием.
Отметим, что резервуар с металлом представляет собой мощный беспроводной роутер, подключенный к Интернету и связанный с миллионами разбросанных по всей планете сенсорами. Сенсоры принимают сигналы с камер, микрофонов, датчиков давления и температуры, от роботов и природных систем — пустынь, ледников, озер, рек, океанов, тропических лесов. SyNAPSE обрабатывает поступающую информацию, анализируя свойства и взаимосвязи этого громадного массива данных. Функция следует за формой, и нейроморфная, имитирующая живой мозг система самостоятельно создает разум.
В настоящее время SyNAPSE успешно симулирует работу 30 млрд нейронов человеческого мозга и 100 трлн нейронных связей — синапсов. Система уже превзошла скорость работы мозга — приблизительно 1000 трлн операций в секунду.
Впервые в истории человеческий мозг становится вторым по сложности объектом в известной нам Вселенной.
А что же дружественность? Понимая, что «дружественность» должна стать сердцем любой разумной системы, ее создатели встроили алгоритмы ценности и безопасности в каждый из миллионов чипов SyNAPSE. Он дружелюбен до самых глубин, до ДНК. Поэтому теперь, когда когнитивный компьютер становится все более мощным, он начинает принимать решения, значимые для судеб мира, — что делать с ИИ террористических государств, как изменить траекторию летящего к Земле астероида, как остановить стремительное повышение уровня Мирового океана или как ускорить развитие наномедицины, способной справиться с большинством болезней.
Обладая таким глубоким пониманием проблем человечества, SyNAPSE с легкостью определит, что выбрали бы люди, если бы были достаточно могущественными и разумными, чтобы принимать ответственные решения. В будущем мы переживем интеллектуальный взрыв! Мало того, человечество расцветет!
Да будет благословен дружественный ИИ!
Теперь, когда большинство разработчиков и теоретиков ИИ оценивает Три закона робототехники Азимова так, как они того заслуживают, — как инструменты построения сюжета, а не выживания, — дружественный ИИ, возможно, становится наилучшей концепцией, которую может предложить человечество, думая о сохранении своего существования. Но дружественный ИИ еще не создан, а у него уже много различных проблем.
