Но даже если вы сумеете достичь стопроцентной точности и гарантированно уберечь ваши программы от багов (в конце концов, наш гипотетический родитель сверхразумен), как мы уже убедились, изменчивость все же необходима. И пусть для вас нежелательны мутации, вам все равно нужны плавающий дочерний зонд и летающий дочерний зонд. Потомство этих дочерних машин, в свою очередь, будет иным: например, в третьем поколении появятся специализированные зонды для плавания в глубоких водах и на мелководье. С течением времени среда на планете начнет меняться, и возникнет широкое разнообразие искусственных существ. Пусть не обусловленное привычными нам земными механизмами, но все же разнообразие. Каждое из них будет идеально приспособлено к своей нише, причем без неудобств в виде зубов мудрости или аппендикса, которыми обременены мы и которые выдают наше не искусcтвенное происхождение.
Означает ли это, что экосистема, описанная Бостромом, — состоящая из идеально приспособленных искусственных особей, объединенных в развитую информационную сеть, — не будет испытывать потребности в музыке, игре или искусстве? Будут ли эти искусственные существа, по сути, всего лишь дронами, работающими во благо общей цели (даже если эта цель — производство скрепок)? Будут ли у них отсутствовать конфликты и конкуренция? Такая инопланетная экосистема кажется унылой, но, по крайней мере, мирной.
И все-таки даже столь безупречно функционирующее сверхразумное сообщество подчиняется законам математики. Теория игр, обсуждавшаяся в разделе 7, неумолима. Если эксплуатация выгодна, она появится. Что из этого следует для нашего сверхразума, фанатично нацеленного на выполнение единственной задачи? Гипотетический рой роботов, производящих скрепки, должен координироваться с помощью того же программного обеспечения, которое задает цель каждому из них. Пока программа неизменна, каждая особь будет прилежно выполнять свою функцию. Но что, если у одного из ботов возникнет мутация, позволяющая ему переписывать собственный код? К тому же мы убедились, что без способности дочерних ботов менять свое программное обеспечение не обойтись. А если, например, одна особь решит, что лучший способ выполнить свое предназначение — это пожрать других ботов? Эгоизм — угроза, которой нельзя избежать даже в сообществе сверхразумных искусственных инопланетян.
В сообществе альтруистов с самым отлаженным взаимодействием — например, клеток нашего организма — эгоистическая мутация может иметь катастрофические последствия. Когда каждый убежден в благих намерениях всех остальных, паразиту раздолье. Если одна из клеток нашего организма решает вести себя эгоистично, начинает бесконтрольно размножаться, не выполняя полезных для организма функций, мы заболеваем раком.
Когда сотрудничают все, доверие — наиболее эффективная стратегия. В маленькой деревеньке не запирают дверей, выходя на улицу, а в вашем (здоровом) организме иммунная система не воспринимает другие клетки тела как врагов. Наш рой ботов-скрепочников оставляет задние двери своего мышления незапертыми — в программе присутствует уязвимость, которой легко воспользоваться. А значит, эгоистическая мутация, даже если она не случайна, а тщательно спланирована, нарушит целостность совместной деятельности. Как всегда в теории игр, успех или неуспех подобного мутанта зависит от реакции других игроков. Возможно, мутант погибнет. Возможно, будет достигнуто равновесие, при котором боты-коллективисты поделят планеты с эгоистами. А возможно, затея коллективного производства скрепок будет обречена.
Здесь вы можете возразить, что, будучи сверхразумными (или, по крайней мере, будучи умнее меня), инопланетные боты-родители сумеют предусмотреть эту опасность и принять меры, чтобы ее избежать. Даже в нашем собственном организме имеются механизмы обнаружения и уничтожения раковых клеток, и человечество не вымирает просто оттого, что риск онкологических заболеваний всегда присутствует. Однако вот в чем подвох — мы исходили из того, что эта мутация представляет собой переписывание кода у бота, который сам по себе уже сверхразумен. В фантастических фильмах типа «Терминатора» и «Матрицы» люди совершают беспомощные, но отважные попытки сразиться с искусственным интеллектом, поработившим планету Земля, и эти попытки выглядят обреченными на провал (несмотря на обязательную победную концовку), поскольку противник гораздо могущественнее нас. Но в моем гипотетическом примере бот-предатель по способностям равен хозяину, и это существенно меняет расклад сил. Как сказал один из героев Джоан Роулинг, «наши противники тоже умеют колдовать»
[116]. Как и любая единообразная стратегия, производство скрепок, по всей видимости, должно неизбежно застопориться из-за альтернативных стратегий, которые могут, по крайней мере частично, успешно конкурировать с изначальной. Сверхразумный — не значит неуязвимый.
Костлявая с косой
Может показаться, что стремление избежать смерти — неотъемлемая составляющая жизни каждого организма на нашей планете: от газели, удирающей от гепарда, до гепарда, который не хочет умереть с голоду; от роз, которые отращивают шипы, чтобы их не съели, до биохимиков, которые ищут лекарство от рака. Кажется очевидным, что животные хотели бы жить вечно, — чем больше у вас времени, тем больше вы сможете оставить потомства, которое, что ни говори, является валютой естественного отбора.
Развивая это соображение дальше, можно ожидать, что инопланетяне, более разумные и развитые, чем мы, будут жить дольше, а может быть даже… станут бессмертными? Мы заманчиво близки к решению всех медицинских проблем человеческого организма. Чудаковатый биолог-миллионер Обри ди Грей прославился заявлением, что первый человек, который проживет 1000 лет, уже родился, и вложил состояние в создание компании, которая должна добиться этой цели
[117]. Надо полагать, инопланетные цивилизации уже опередили нас в этом вопросе. Наверное, инопланетяне знают, как полностью победить смерть?
Фантастика изобилует предложениями, как этого достичь — например, постепенно заменять стареющие органы искусственными протезами, пока мы не станем целиком киборгами — останется только наша фундаментальная сущность, которая и составляет «нас», нашу «душу», если угодно. Вопрос, возможно ли это в принципе, дискутировался на протяжении столетий, с тех пор как Декарт впервые объявил дух и тело раздельными и несовместимыми
[118].
