Мара, с радостью восприняв возможность отвлечься, объяснила:
– Логические схемы, дающие возможность в процессе переключаться с одной задачи на другую и даже позволяющие программе самой себя чинить.
– В результате система делается бесконечно более гибкой и разносторонней, – добавил Джейсон. – Ты просто гребаный гений! Ох… извини за мой французский!
– Ничего страшного. – Впервые за несколько месяцев Мара позволила себе улыбнуться. – В конце концов, мы во Франции.
Джейсон ответил ей заразительной улыбкой.
– Именно гибкость программных функций позволила тебе придать своему созданию элемент неуверенности.
– Не понимаю, – Карли нахмурилась. – Ты хотела сделать Еву неуверенной? Зачем?
Джейсон начал объяснять, но Карли подняла руку, призывая его замолчать, и устремила вопросительный взгляд на Мару.
Та приняла брошенную перчатку.
– Неуверенность – ключевой аспект человеческого мышления. Не будь неуверенности, мы никогда не сомневались бы ни в себе, ни в своих решениях. Всегда были бы абсолютно убеждены в собственной правоте. Именно такая несокрушимая уверенность в себе делает искусственный интеллект потенциально опасным. А вот если он способен сомневаться, значит, начинает внимательно рассматривать собственные решения и действия, спрашивать себя об их последствиях и тщательно их проверять. Так он начинает понимать концепцию вероятности – в особенности запутанные взаимоотношения между причиной и следствием.
Джейсон кивнул.
– И это означает…
– Я знаю, что это означает! – оборвала его Карли. – Нет нужды растолковывать мне очевидное!
– Джейсон и не пытался что-то тебе растолковывать… – попыталась успокоить подругу Мара, но ее вмешательство лишь усилило раздражение Карли.
– Не важно, – отрезала она.
Джейсон попытался уйти от конфликта.
– Кажется, мы отклонились от темы. Мара, минуту назад ты спрашивала, стоило ли тебе создавать Еву. На мой взгляд, безусловно! Это самое лучшее, что ты могла сделать.
– Почему?
– Иначе ты обрекла бы себя на ужасную участь.
– Обрекла себя? Как? На что?
– Слышала когда-нибудь о Василиске Роко?
Мара покачала головой и взглянула на Карли. Та пожала плечами, явно не желая признавать свое невежество, однако любопытство заставило ее придвинуться ближе.
Джейсон вздохнул и потер подбородок.
– Тогда, может быть, и не стоит вам рассказывать. На свете есть вещи, о которых лучше не знать… и потом, не хочу услышать, что я растолковываю вам очевидное.
С этими словами он бросил выразительный взгляд на Карли, и Мара невольно улыбнулась.
– Ладно, – фыркнула Карли. – Расскажи, что это за Василиск Роко и почему, черт возьми, о нем лучше не знать.
– Хорошо. Но помните: я вас предупредил!
22 часа 18 минут
Карли скрестила руки на груди. Этот парень безумно ее раздражал – она сама не понимала, почему. Верно, он милый и с приятными манерами; но неужели, черт возьми, они с Марой пережили нападение в аэропорту, засаду в гостинице, похищение под дулом пистолета лишь для того, чтобы теперь их опекал какой-то секретный американский спецназ, и в его составе – самоуверенный мальчишка-эксперт?
Кто на ее месте не разозлился бы?
Хм… а вот подруга, похоже, совсем не злится.
Мара с этим парнем сразу сошлась. Уже в машине они принялись обсуждать какие-то технические проблемы, быстро нашли общий язык и теперь улыбались друг другу, как лучшие друзья. Не ускользнула от Карли ни застенчивая улыбка Мары, ни то, как она поправляет свои черные волосы и бросает на Джейсона быстрые косые взгляды.
Все это вызывало странные чувства: то ли Карли стремилась защитить подругу, то ли попросту ревновала. Во всяком случае, ей хотелось, чтобы Джейсон оставил их в покое и вернулся к своей группе. А когда Мара, нагнувшись, как бы невзначай положила руку ему на колено, Карли едва не вскипела от злости.
Гневно смотрела она на руку Мары, вспоминая тепло и мягкость ее ладони. Мара же не замечала чувств подруги; ее взгляд был устремлен на симпатичного американца, и легкая улыбка играла на ее полных губах.
– Что ж, – сказала она, – я готова рискнуть. Расскажи о Василиске Роко.
– Это мысленный эксперимент, опубликованный на форуме Элиезера Юдковски, программиста из Калифорнийской исследовательской сети.
– Юдковски? – удивленно раскрыв глаза, повторила Мара.
– Ты его знаешь? – спросил Джейсон.
Мара повернулась к Карли.
– Помнишь, я рассказывала тебе об эксперименте «Искусственный интеллект в тюрьме»?
Та кивнула.
– Это когда какой-то парень притворился суперкомпьютером и начал уговаривать охранные программы выпустить его из цифровой тюрьмы?
– Вот именно, – Мара улыбнулась. – Тот человек, которому каждый раз удавалось обмануть «сторожей» и ускользнуть, и был Юдковски.
Карли нахмурилась.
– Хорошо, и что за мысленный эксперимент у него на форуме?
– Он постулирует, – начал объяснять Джейсон, – что искусственный суперинтеллект неизбежно будет создан, быстро эволюционирует и разовьется до богоподобного состояния, станет почти всемогущим. Одним из важнейших мотивов этого нового искусственного бога станет стремление к совершенству, к улучшению себя и всего, что его окружает.
Мара кивнула.
– Да, большинство экспертов считают, что именно это и произойдет, если мы не будем осторожны.
– Верно. Этот всемогущий интеллект и есть Василиск, монстр нашей истории, – продолжал Джейсон. – Все действия «искусственного бога» будут подчинены стремлению к совершенству, а значит, все и вся, что препятствует этому стремлению, он будет рассматривать как своих врагов. И главнейшими его врагами станут те, кто мешал ему появиться на свет.
– Даже мы? – подхватила Карли, вопреки своим чувствам, заинтригованная объяснением.
– Особенно мы. Хорошо зная людей, он будет понимать, что одна из основных наших мотиваций – страх, в том числе страх наказания. Поэтому, чтобы убедить человечество в будущем не покушаться на него и не вмешиваться в его работу, он заглянет в прошлое, найдет там тех, кто пытался остановить его появление, и подвергнет их самым жестоким мукам.
– Чтобы сделать их примером для остальных, – подхватила Мара.
– А что, если в будущем эти люди уже умрут?
– Не важно. Василиска это не остановит. Он же всемогущий бог – что ему помешает воскресить преступников из прошлого? Он создаст твою точную копию, настолько точную, что она начнет считать себя тобой, – и станет безжалостно мучить ее целую вечность.
