В книге объясняется, какой досадной помехой для Витов оказывается их тело и как новая разрабатываемая технология поможет от нее избавиться, и тогда освобожденный от тела мозг, поддерживаемый специальными питательными веществами, позволит им прожить значительно дольше. Отсюда кажется совершенно естественным и желательным для Витов следующий шаг — вообще распрощаться со своим мозгом и целиком залиться в компьютерную память, тем самым еще больше продлив свою жизнь. Но тогда будут сняты все ограничения на развитие разума, налагаемые мозгом, и совершенно непонятно, сможет ли что-нибудь — и если сможет, то что — удержать постепенное расширение когнитивных способностей каждого Вита от рекурсивного самоусовершенствования, от соскальзывания к интеллектуальному взрыву.
Страж
Мы только что могли убедиться, как привлекательная черта эгалитарной утопии, а именно тот самый факт, что люди сохраняли за собой право распоряжаться собственной судьбой, оказывается под угрозой полного разрушения с развитием сверхразума. Но с этой опасностью можно совладать путем создания Стража, то есть сверхразума, который практически не вмешивался бы в жизнь людей, а единственной своей целью имел бы предохранение от создания другого сверхразума
[32]. Он позволил бы людям сохранять для себя свою эгалитарную утопию более или менее неограниченное время, возможно даже при распространении жизни в космосе, как будет показано в следующей главе.
Как это может работать? Искусственный интеллект Стража организован таким образом, что сохраняет эту простую цель во время его рекурсивных самоулучшений и превращений в сверхразум. Его способности будут направлены и на то, чтоб отслеживать любые попытки других людей создавать конкурирующий сверхразум. Пресечение таких попыток будет наименее репрессивно. Для начала он будет всячески способствовать распространению культурных мемов, прививающих людям идею, что полагаться исключительно на собственные силы и не прибегать к помощи сверхразума — это добродетель. Если какие-то исследователи все же будут продолжать свои попытки построить его, Страж постарается убедить их в том, что не стоит этого делать. Если и это не поможет, станет отвлекать их на что-то другое и при необходимости саботировать их работу. При его неограниченных технологических возможностях можно сделать так, что его саботаж окажется совершенно незаметным, — например, если благодаря использованию нанотехнологии он будет периодически очищать память и самих исследователей, и их компьютеров, где хранилась информация об уже достигнутых успехах.
Отношение к созданию Стража, вероятно, будет противоречивым. Идею, наверное, поддержат многие религиозные люди, отвергающие существование богоподобного искусственного интеллекта c божественными же функциями, ссылаясь на то, что Бог у людей уже есть и что человеческое достоинство не позволяет им строить себе другого, пусть даже и лучшего. Другие сторонники обретения Стража будут говорить, что с его помощью человечество не только будет сохранять контроль над своей судьбой, но и защитит себя от других рисков, связанных с наличием сверхразума, вроде тех апокалипсических сценариев, которые мы обсудим дальше в этой главе.
С другой стороны, противники такой затеи станут говорить, что Страж ужасен тем, что навсегда дезавуирует технологический прогресс людей, обрекая их на прозябание. Например, если распространение жизни в космосе, как выяснится, требует помощи сверхразума, то Страж навсегда запрет нас внутри Солнечной системы. Вдобавок, в противоположность богам прочих религий, искусственный интеллект Стража совершенно безразличен ко всему, что делают люди, лишь бы только они не пытались построить еще один сверхразум. Он никак не поможет нам избежать новых колоссальных бед или даже самоистребления.
Бог-защитник
Если нам нравится мысль о сверхразумном Страже, помогающем людям держать свою судьбу в своих руках, то еще больше нам должна понравиться мысль о сотворении нами искусственного интеллекта, который защитит нас и от других бед, выступив в роли бога-защитника. В этом сценарии сверхразумный искусственный интеллект по-настоящему всеведущ и вездесущ, он способствует нашему счастью, вмешиваясь в нашу жизнь, но только так, чтобы у нас сохранялось чувство, что наша судьба всецело в наших руках, скрываясь достаточно умело, чтобы многие из нас даже усомнились в самом его существовании. Если бы не это сокрытие присутствия, то такой сценарий сильно походил бы на Няньку AI эксперта в области искусственного интеллекта Бена Гёрцля
.
И «бог-защитник», и «благодетельный диктатор» — варианты дружественного искусственного интеллекта, способствующего человеческому счастью, только некоторые акценты в разных случаях поставлены несколько по-разному. Классификация человеческих нужд в виде иерархии стала знаменитой благодаря американскому психологу Абрагаму Маслову, под чьим именем и вошла в историю. Благодетельный диктатор безошибочно справляется со своей работой на нижних этажах этой иерархии, заботясь об удовлетворении таких базовых нужд, как пропитание, жилище, безопасность, удовольствия. Бог-защитник, со своей стороны, пытается сколько возможно приумножать человеческое счастье не только в этой узкой сфере базовых потребностей, но и в том, чтобы мы почувствовали, как наша жизнь наполняется смыслом. Он стремится удовлетворить все наши нужды, заботясь только об одной своей — полной секретности, ради того чтобы мы не переставали чувствовать свою ответственность за принимаемые решения.
Бог-защитник может быть естественным результатом, который венчает план «Омега» в предыдущей главе, где «омеги» уступают Прометею всю власть, а тот окончательно скрывается, стирая из памяти людей любые воспоминания о себе. Чем более совершенной становится технология искусственного интеллекта, тем проще ей будет прятаться. В фильме Transcendence, например, наномашины заполняют мир до такой степени, что находятся практически везде, превращаясь в естественную часть этого мира.
Следя за всей человеческой деятельностью с предельно малого расстояния, искусственный интеллект бога-защитника может посылать нам микроскопические толчки и подсказки, значительно улучшающие наше будущее. Например, если бы он существовал в 1930-е годы, он мог бы спровоцировать смерть Гитлера от инсульта, едва узнав о его намерениях. Едва возникнут опасения, что мы движемся в сторону ядерной войны, он сможет предотвратить ее с помощью такого вмешательства, которое нам покажется счастливой случайностью. У него также есть возможность давать нам различные подсказки относительно новых прорывных технологий, которые будут являться словно внезапное озарение во сне.
Для многих людей такой сценарий привлекателен своей схожестью с тем, во что верят и на что надеются адепты монотеистических религий. Если кто-нибудь спросит сверхразумный искусственный интеллект, после того как его ввели в действие: «Бог существует?», — у него будут все основания повторить саркастическую шутку Стивена Хокинга: «Теперь да». Но с другой стороны, многим религиозным людям этот сценарий может не понравиться как раз тем, что превращает их бога в добро как таковое, или тем, что вмешивается в божественный план, согласно которому люди должны творить добро исключительно в силу собственного выбора.
