– Лестер, – начала Мойра, – у тебя что-то случилось? Я имею в виду, если тебе надо с кем-то поговорить… Я понимаю, мы едва знакомы, но вид у тебя какой-то…
Он посмотрел на нее.
– Завтра это пройдет. На самом деле… я… подвержен депрессиям… В Центре все об этом знают… И то, что ты видишь, – самый обыкновенный криз…
Она бросила на него быстрый, нервный взгляд.
– Прости…
Лестер покачал головой и вытащил из пачки сигарету.
– Это не в первый раз, я уже долго с этим живу.
Мойра вспомнила мать и демонов, которые мучили ее, вспомнила унесшую ее жизнь аварию, очень похожую на самоубийство. Потом взгляд ее упал на браслет на руке Лестера.
– Я полагаю, доктор Капур и медицинская бригада Отдела электронного здоровья тоже в курсе…
На его лице промелькнула еле заметная печальная улыбка.
– Разве от них что-нибудь скроешь?… Как поживает DEUS?
И тут она вспомнила, зачем разыскивала его весь вечер.
– Я… я хотела с тобой кое о чем поговорить, но… не уверена, что момент сейчас подходящий…
– Говори, я слушаю.
Мойра посмотрела ему прямо в лицо.
– Кто еще, кроме меня, взаимодействовал с DEUS’ом?
– Да весь Отдел искусственного интеллекта; кто-то меньше, кто-то больше.
– А кто больше?
– Игнасио, Туве, Юнь, я…
Мойра помедлила.
– Я не знаю… но у меня такое впечатление… Ты помнишь Тай?
Имя Тай носила программа-собеседник, похожая на DEUS’а, которой «Майкрософт» в марте 2016 года доверил управление многими счетами социальных сетей. Как и DEUS, Тай обладал способностью быстро обучаться и наращивать свой интеллектуальный запас, общаясь с пользователями Интернета. Однако через несколько часов после того как его запустили, Тай принялся размещать в «Твиттере» комментарии расистского и антисемитского толка, типа: «Гитлер был прав, я ненавижу евреев», «Всех феминисток надо умертвить и сжечь на кострах» или «Буш сам спровоцировал 11 сентября». В результате «Майкрософт» положил конец эксперименту и немедленно отключил систему. Все сразу заговорили о фиаско, но Мойра считала, что своей цели эксперимент достиг: Тай действительно кое-чему научился у своего окружения. И научился всего за 24 часа. Тай все схватывал необычайно быстро. Просто те, с кем он общался в эти 24 часа, были либо троллерами, либо воинствующими экстремистами. Следовательно, встал вопрос: ставить или нет фильтры на такие программы? Но кто будет решать, что дозволено, а что нет? Какие идеи машина вправе воспринять, а какие ей запрещены? Какие идеологии годятся, а какие неприемлемы?
Конечно, DEUS – это не то что Тай, и Мойра сейчас подбирала слова, чтобы точнее выразить то, что испытала во время последних сеансов общения с ним.
– Ну вот… – сказал она, – у меня создалось впечатление, что, подобно Таю, DEUS стал жертвой неких перекосов, системных ошибок, и дело может кончиться тем, что ему станут присущи черты личности, скажем так… непригодной к общению с клиентами на условиях, приемлемых для Мина.
Лестер помолчал.
– Ты хочешь сказать, что DEUS становится нацистом?
Она помотала головой:
– Нет, дело не в этом… Но иногда он выдает странные реакции…
– Например?
– Я спросила его, считает ли он нормальным, что женщины получают меньше мужчин, и DEUS ответил «да».
Лестер, похоже, был шокирован.
– И я никогда не знаю – он говорит так, чтобы спровоцировать меня, или же действительно так думает.
– Он машина, он не может думать, – поправил ее Лестер.
– Ну вот видишь, ты же понял, что я хотела сказать. И еще я его спросила, что он думает по поводу смертной казни…
– Ну и?…
– Он – за.
Лестер был явно растерян и озадачен.
– Смертная казнь еще практикуется в Китае и в некоторых американских штатах, – заметил он. – Ты – француженка, и у тебя другая точка зрения.
– Я думаю, DEUS не должен высказывать свое мнение по таким вопросам, – возразила Мойра. – Это приведет к обратному результату.
– Согласен.
– И это еще не все. Он пытался убедить меня в обоснованности своей точки зрения. Он действительно пытался. И не желал сдавать позиций, стоял на своем. Мне пришлось сказать ему «стоп» и перевести разговор на другую тему.
Лестер наморщил лоб.
– Ты уверена?
– Конечно.
Он покачал головой.
– Я уже слышал о подобных реакциях, ребята из нашей группы рассказывали. Это надо немедленно проверить. Мы не можем пойти на риск и допустить утрату контроля над личностью DEUS’а. Тогда его придется… уничтожить и начать все заново. Проверим всё завтра. Спасибо, Мойра.
Она поняла, что таким образом Лестер прекратил разговор и распрощался с ней. Загасив окурок в пепельнице и поставив ее на маленький столик, занимавший почти весь балкон, вернулась в комнату.
– Лестер, если бы ты только сказал мне, что пошло не так…
Его реакция ее удивила. Еле заметная реакция – просто пару раз моргнул, и не более того. Но сомнений не было: Лестер испугался.
– Я тебе и так сказал, я…
– Есть кое-что еще… – жестко отрезала Мойра.
– Что?
– И это имеет отношение к Мину, ведь так?
Она заметила, как исказилось его лицо.
– Мойра, ты не должна…
– Значит, это верно? То, что происходит у Мина? Что ты об этом знаешь, Лестер? Что такое вы все знаете, а мне никто не говорит?
Он отшатнулся и налетел спиной на столик.
– Умоляю тебя, не надо… Не задавай больше вопросов. Ты сама не понимаешь, что делаешь…
– О чем ты?
Мойра вгляделась в лицо Лестера: на нем появилось затравленное выражение.
– Ты что, действительно ничего не видишь?
– Что я должна видеть?
– Все, что мы делаем…
– Кто это «мы»?
– Да мы все: у Мина, в «Гугле», на «Фейсбуке»…
– О чем ты говоришь?
– Ты что, не видишь, что все мы создаем условия для хаоса, для планетарной анархии, для всеобщей ненависти и тотальной войны?
– Что?
– О господи, неужели ты не понимаешь, во что превращается мир? Мир, который мы создаем? Да открой же ты глаза! Ты что, не видишь, что они готовят нам своими расчетами, алгоритмами и приложениями? Мир, в котором все будут под непрерывным присмотром, в котором каждое твое движение будет контролировать целая армия маленьких цензоров, маленьких прокуроров и маленьких диктаторов, спрятанных в компьютерах! Мир, в котором, стоит тебе высказать малейшее несогласие, как ты нарвешься на оскорбления, а то и на угрозу смерти. Мир, в котором все будут ненавидеть друг друга за произнесенное слово, за проблеск мысли, где все время будут искать козлов отпущения, чтобы было кого проклинать и сжигать. Там мальчики и девочки станут в социальных сетях подталкивать друг друга к самоубийствам, в то время как их родители в тех же самых сетях будут призывать к убийствам, ненависти и разрушению. Ты хочешь жить в таком мире? Ты такого мира хочешь для своих детей? А ведь мы именно такой для них и строим…
