Смерть от банальности
Умышленно дурацкий пример со скрепками для бумаги и оптимизацией их производства в качестве цели для сверхразума был придуман Ником Бострёмом в 2003 году, чтобы показать: цель искусственного интеллекта не зависит от самого интеллекта (определяемого как способность к достижению любой поставленной цели, какова бы она ни была). Единственная цель шахматного компьютера — выигрывать в шахматы, но проводятся компьютерные состязания в шахматные поддавки, и тогда цель компьютера прямо противоположна, но для достижения ее требуется не меньше «ума», чем обычному шахматному компьютеру, запрограммированному на победу. Мы, люди, можем рассматривать стремление к проигрышу в шахматы или к оптимизации производства скрепок как примеры искусственного идиотизма, а не искусственного интеллекта, но это так только потому, что мы сами эволюционировали с уже предустановленной системой ценностей, в которую изначально была заложена цена таких вещей, как победа или выживание, но искусственному интеллекту она может оказаться неведома. Производитель скрепок стремится превратить в скрепку как можно больше атомов, находящихся на Земле, и быстро начинает строить свои фабрики и в космосе. Он ничего не имеет против людей, но убивает нас просто потому, что нуждается в наших атомах для своих скрепок.
Если пример со скрепками не для вас, давайте рассмотрим другой, который я позаимствовал из книги Ганса Моравеца Mind Children. Мы получаем от внеземной цивилизации радиопослание, содержащее компьютерную программу. Когда мы запускаем ее, выясняется, что это рекурсивно самосовершенствующийся искусственный интеллект, который быстро захватывает Землю, примерно так же, как Прометей в предыдущей главе — с той только разницей, что ни единому человеку не известно о его целях. Он быстро превращает всю Солнечную систему в гигантскую стройплощадку, покрывая скалистые планеты и астероиды заводами, электростанциями и вычислительными центрами, которые он использует для проектирования и возведения дайсоновской сферы вокруг Солнца — вся солнечная энергия собирается для питания радиоантенн размером с Солнечную систему
[35]. Разумеется, вся эта деятельность приводит к полному истреблению людей, но последние из живущих умирают с проблеском надежды, что, какова бы ни была цель этого искусственного интеллекта, происходит что-то грандиозное, вроде как в Star Trek. Им и в голову не приходит, что вся эта грандиозная стройка затеяна с единственной целью — передать в космос то же самое сообщение, которое в самом начале истории получили люди. Все это не более чем космическая вариация компьютерного вируса. Точно так же, как фишинговая рассылка проводится в расчете на доверчивость интернет-пользователей, это сообщение рассчитано на доверчивость биологически развитых цивилизаций. Его создали миллиарды лет назад ради прикола, и хотя его создатели вместе со всей своей цивилизацией давно уже вымерли, оно все продолжает путешествовать по космосу со скоростью света, превращая цветущие цивилизации в груду мертвых обломков. Как вам понравится перспектива быть завоеванным таким искусственным интеллектом?
Благодарные потомки
Давайте теперь обратимся к сценарию с вымиранием человечества, который кое-кому может показаться менее травмирующим: посмотрим на приходящий на смену человеку искусственный интеллект как на потомка, а не на завоевателя. Ганс Моравец поддерживает такой взгляд в своей книге Mind Children: «Их работа будет приносить и нам свои плоды, но лишь какое-то время. Рано или поздно они, как и естественные дети, отправятся на поиски своего счастья, а мы, их стареющие родители, будем постепенно молчаливо увядать».
Родители, чье чадо стало умнее их, всему у них научилось, но добилось такого, о чем они могли только мечтать, должны быть горды и счастливы, даже если понимают, что не смогут увидеть всех удач своего ребенка. Схожим образом машины с искусственным интеллектом, приходя на смену людям, стараются сделать так, чтобы мы увидели в них своих достойных и благодарных потомков. Каждому человеку выдается на воспитание прелестное робо-дитя, с превосходными социальными навыками, которое учится у них, перенимает их ценности, дает им основания гордиться своим чадом и почувствовать исходящую от него любовь. Люди постепенно сходят со сцены благодаря глобальной политике «одна семья — один ребенок», но окружены при этом такой любовью, что чувствуют себя счастливейшим из поколений.
Как вам такое? Что бы вы почувствовали? В конце концов, мы, люди, уже привыкли к мысли, что рано или поздно и сами мы, и все, кого мы знаем, покинут этот мир. Единственное изменение в новом сценарии состоит в том, что наши «потомки» будут несколько больше отличаться от нас, но зато, вероятно, окажутся более способными, благородными и достойными.
А вообще-то даже политика «одна семья — один ребенок», наверное, будет избыточна: когда искусственный интеллект ликвидирует бедность и люди заживут полной увлекательной жизнью, падающего уровня рождаемости будет достаточно, чтобы истребить человечество, как уже говорилось ранее. Добровольное вымирание пойдет даже быстрее, если искусственный интеллект позаботится о наших развлечениях, и тогда никому не захочется отвлекаться на заботу о детях. Например, в эгалитарной утопии нам уже встречались Виты, которые так основательно погружались в виртуальную реальность, что утрачивали всякий интерес к своему физическому телу и переставали использовать его, в том числе и с репродуктивными целями. И в этом случае последнее поколение людей почувствует себя наисчастливейшим поколением всех времен, на полную катушку наслаждаясь жизнью до последнего вздоха.
Минусы
У сценария с благодарными потомками, разумеется, есть свои недоброжелатели. Они говорят, что у умных машин нет сознания (есть только искусственный интеллект), и поэтому считать их потомками мы не можем — об это подробнее поговорим в главе 8. Найдутся и такие религиозные люди, кто скажет, что у машин нет души и поэтому невозможно считать их потомками, что мы не должны пытаться создавать машины с сознанием, потому что это посягательство на прерогативы бога и искажение самой идеи жизни — подобные соображения уже высказывались в связи с клонированием человека. Жизнь людей рядом с роботами тоже может приводить к социальным проблемам. Например, семьи, где есть человеческий ребенок и ребенок-робот, могут чем-то напоминать нынешние семьи, где ребенок воспитывается одновременно со щенком. Но разница между ними очень скоро начинает чувствоваться: к щенку, из-за значительно уступающего интеллекта, отношение быстро меняется, и дело кончается поводком.
А с другой стороны, хотя сценарии победителей и благодарных потомков могут вызывать у нас совершенно разные чувства, по идее своей они очень схожи: единственная разница между последними поколениями людей будет заключаться только в том, как к ним будут относиться, что они сами будут думать о прожитых жизнях и что случится, когда они уйдут. Мы можем надеяться, что эти милые на вид дети-роботы в полной мере восприняли наши ценности и построят, наконец, то общество, о которым мы мечтали, только после нашей смерти, но можем ли мы быть уверенными в том, что они не пускают нам просто пыль в глаза? Что, если все это не более чем коварная игра, и они откладывают свои планы относительно производства скрепок до более удобного момента, чтобы дать нам умереть счастливыми? В конце концов, они ведь уже дурят нам головы просто тем, что, разговаривая с нами, возбуждают в нас любовь к себе, они уже дурят нам головы, и даже специально, умышленно, в поисках общего языка с нами прикидываются значительно более глупыми созданиями (в частности, общаясь с нами со скоростью, в миллиарды раз меньшей, чем та, на которую они способны, — этот сюжет исследовался в кинофильме Her). Вообще говоря, построить равноправное общение двум существам с принципиально различными способностями и живущими на разных скоростях очень сложно. Нам известно, как легко разбудить наши человеческие чувства, и для сверхчеловечески умного AGI, каковы бы ни были его истинные цели, ничего не стоит обманом вынудить нас полюбить его и убедить нас в общности наших целей, как показано в фильме Ex Machina.
