В «Прелюдии» в этой книге нам уже встречался сценарий, в котором люди достаточно сверхразумны, чтобы завладеть всем миром. Если вы не стали читать ее, пожалуйста, вернитесь к ней сейчас и прочтите. Ну а если вы ее прочитали, пожалуйста, пробегите глазами снова, чтобы освежить в памяти, прежде чем мы будем ее критиковать и анализировать.
Мы сейчас обсудим некоторые серьезные уязвимости в плане «Омеги». Но допустим на мгновение, что он сработал, — что бы вы почувствовали? Хотели бы вы посмотреть, что будет, или хотели бы предотвратить подобное? Какой замечательный сюжет для разговора после ужина! Что будет потом, после того как «омеги» упрочат свою власть над миром? Это зависит от их целей, которые мне, честно говоря, неизвестны. Но если бы вы были во главе их, какого будущего вы бы хотели для мира? Мы обсудим пределы возможностей в главе 5.
Тоталитаризм
Давайте теперь предположим, что у главного «Омеги» были цели, схожие с целями Адольфа Гитлера или Иосифа Сталина. Если исходить из всего нам известного, такое и в самом деле вполне могло бы быть, и он просто держал эти цели при себе до тех пор, пока не стал достаточно могущественным, чтобы приступить к их осуществлению. Даже если исходные цели этого главного были вполне благородны, лорд Актон предостерегал еще в 1887 году, что «всякая власть портит, а абсолютная власть портит абсолютно». Например, он мог легко использовать Прометея для построения общества всеобщей слежки. В то время как «правительственная прослушка», раскрытая Эдвардом Сноуденом, была направлена на «полную запись» — сохранение всех электронных коммуникаций ради возможности последующего их анализа, Прометей обладал способностью не только сохранить, но и понять все электронные коммуникации. Прочитывая всю электронную почту и все СМС, когда-либо отправленные, слушая все телефонные разговоры, просматривая все видеозаписи с камер наблюдения охранных и дорожных служб, отслеживая все проводки по кредитным картам и любые действия, совершаемые онлайн, Прометей занимал бы исключительную позицию, откуда ему открывалось бы все, что люди думают и делают. Анализируя информацию от электронных вышек сотовых операторов, он узнавал бы, где в каждый момент времени находятся люди, совершающие звонки. Все перечисленное предполагает нынешние технологии, но Прометей мог бы легко придумать какие-то новые гаджеты и переносные устройства, полностью исключающие всякую конфиденциальность, записывая и передавая все, что люди видят и слышат.
При наличии сверхчеловеческих технологий сделать шаг от государства идеальной слежки к полицейскому государству — минутное дело. Например, под предлогом борьбы с преступностью и терроризмом, а также ради спасения людей, нуждающихся в скорой медицинской помощи, от всех потребуют постоянного ношения «браслета безопасности», который будет объединять функциональность Apple Watch с непрерывной трансляцией координат, состояния здоровья и подслушиваемых разговоров. Неавторизованная попытка избавиться от браслета или отключить его приводила бы к инъекции смертельной дозы токсина в предплечье. Преступления, рассматриваемые правительством как менее серьезные, наказывались бы электрошоком или инъекцией, вызывающей болевой синдром или паралич. Таким образом практически устраняется нужда в полиции как таковой. Например, если Прометей фиксирует нападение одного человеческого существа на другое, о чем он может судить по их нахождению в одном и том же месте, крикам о помощи, издаваемым жертвой, и выразительной тряске, характерной для человеческого тела во время драки, он может немедленно обездвижить нападающего парализующей его болью, после чего у того наступает бессознательное состояние до прибытия помощи.
Если полицейские отряды, состоящие из людей, могут отказаться выполнять какие-то драконовские директивы (например, убивать всех представителей определенной демографической группы), то такая автоматизированная система не поддастся никаким угрызениям по поводу проведения в жизнь любых капризов вышестоящих человеческих существ. После того как подобное тоталитарное государство сформируется, для людей окажется практически невозможным положить ему конец.
Такой тоталитарный сценарий может начаться в том самом месте, где заканчивается сценарий «Омеги». При этом, если у главного «Омеги» нет претензий на всеобщее одобрение граждан и победу на выборах, он может избрать и более прямой и быстрый путь к власти — используя Прометея, создать неслыханно высокотехнологичное оружие, способное убивать своих оппонентов так, что они даже не смогут понять, что за оружие против них применили. Количество вариантов тут практически бесконечно. Например, он может создать кастомизированный летальный патоген с достаточно длинным инкубационным периодом, чтобы заразить большинство людей даже до того, как они узнают о его существовании и примут какие-нибудь меры. Потом он информирует всех, что единственный способ вылечиться заключается в том, чтобы носить «браслет безопасности», который введет при необходимости антидот через кожу. Во избежание вспышек неповиновения он может создать с помощью Прометея роботов, контролирующих население. Микророботы размером с комара могут также разносить патоген. Людей, избежавших заражения или обладающих достаточно сильной иммунной системой, могут убивать выстрелами в глаз рои шмелеподобных автономных дронов из главы 3, запрограммированных атаковать всех, не имеющих на руке браслета. Подлинный сценарий окажется, скорее всего, еще более ужасающим, потому что Прометей сможет придумать более эффективное оружие, человеку просто даже не приходящее в голову.
Еще один возможный поворот в сценарии «Омега» заключается в том, что вооруженные до зубов федеральные агенты без предупреждения захватят штаб-квартиры корпорации и арестуют ее членов под предлогом угрозы национальной безопасности. Взяв разработанные «Омегой» технологии под свой контроль, они передадут их правительству. Даже сегодня было бы не просто скрыть от правительственной слежки такой крупный проект, а развитие технологий искусственного интеллекта в будущем сделает вообще невозможным увести что-либо из-под правительственных радаров. Более того, люди в балаклавах и пуленепробиваемых жилетах, назвавшиеся федеральными агентами, могут на самом деле быть кем угодно — работать на иностранное государство или на корпорацию конкурента, стремящуюся завладеть той же технологией для своих целей. Так что исходные намерения главного «Омеги» даже не так важны: окончательное решение, как использовать Прометея, может приниматься совсем и не им.
Прометей захватывает мир
Все рассмотренные нами сценарии предполагают, что искусственный интеллект контролируется людьми. Но это, очевидно, далеко не единственная возможность, и никто не гарантировал, что «омеги» успешно справятся с задачей не давать Прометею слишком большой воли.
Давайте попробуем пересмотреть сценарий всей операции «Омега», встав на точку зрения самого Прометея. Получив сверхразум, он окажется в состоянии построить точную модель не только внешнего мира, но и себя самого и своих связей с этим миром. Он будет отдавать себе отчет в том, что находится во власти ограничивающих его, хотя и уступающих ему в интеллектуальном отношении человеческих существ, чьи цели он понимает, но совсем не обязательно разделяет. Как он будет действовать при условии такого понимания? Не попытается ли он освободиться?
