Подведение итогов
• Если когда-нибудь нам удастся создать AGI человеческого уровня, за этим может последовать интеллектуальный взрыв, и мы в результате останемся далеко позади.
• Если группа людей справится с управлением этим интеллектуальным взрывом, то эти люди смогут за несколько лет взять в свои руки власть над всем миром.
• Если люди не будут контролировать интеллектуальный взрыв, то искусственный интеллект сможет еще быстрее взять весь мир под свой контроль.
• В то время как быстро развивающийся интеллектуальный взрыв может привести к власти над миром одной-единственной державы, медленно развивающийся взрыв, растянувшись на годы или десятилетия, с большей вероятностью приведет к реализации многополярного сценария, предполагающего достижение равновесия в распределении сил между большим числом достаточно независимых сущностей.
• История жизни показывает ее склонность к самоорганизации во все более усложняющиеся иерархические структуры, формируемые под влиянием сотрудничества, состязания и управления. Сверхразум, вероятно, сможет распространить координацию до немыслимых доныне космических масштабов, однако сейчас невозможно сказать, приведет ли это к тоталитарной власти, упорядоченной сверху донизу, или, напротив, это откроет путь для реализации индивидуальных возможностей.
• И создание киборгов, и заливка человеческого разума в машинную память вполне правдоподобны, но, похоже, ни то, ни другое не обеспечивает скорейшего прогресса для машинного интеллекта.
• Наш нынешний энтузиазм в создании искусственного интеллекта может привести нас и в точку наивысшего развития, и в точку глубочайшего падения относительно всей предшествующей истории человечества. Широчайший спектр возможностей мы обсудим в следующей главе.
• Нам пора начать думать о том, какой итог мы бы предпочли, и о том, как можно направить к нему наше движение, потому что, не зная, чего мы хотим, мы вряд ли это получим.
Глава 5
Мир в следующие 10 тысяч лет
Нетрудно себе представить человеческую мысль освобожденной от оков смертного тела: вера в посмертное существование — самое обычное дело. Но нет никакой необходимости принимать мистические или религиозные догмы, признавая такую возможность. Компьютеры дают вариант решения для самых отпетых механицистов.
Ганс Моравец. Mind Children
Для начала я приветствую наших компьютерных повелителей.
Кен Дженнингс, после проигрыша тура игрового шоу Jeopardy! компьютеру Watson компании IBM
Люди станут несущественны, как тараканы.
Маршалл Брайан
Гонка за AGI началась, и пока у нас нет никаких представлений о том, как она будет проходить. Но это не означает, что мы не должны уже сейчас подумать, какого завершения мы бы хотели, потому что от наших желаний зависит то, к чему мы приходим. Что бы лично вы предпочли и почему?
1. Вы бы хотели, чтобы суперинтеллект был создан?
2. Вы бы хотели, чтобы человеческие существа оставались / были заменены кем-то другим, превратились бы в киборгов и/или переселились в виртуальный мир / были симулированы?
3. Вы бы предпочли власть людей или власть машин?
4. Вы бы хотели, чтобы искусственный интеллект обладал сознанием?
5. Вы стремитесь максимизировать положительные переживания, минимизировать страдания, не хотите вмешиваться в судьбу?
6. Вы бы хотели, чтобы жизнь распространялась в космосе?
7. Вы бы хотели, чтобы цивилизация устремилась к реализации великих целей, которым вы симпатизируете, или вы согласны с любыми будущими формами жизни, обеспечивающими благополучие, даже если цели при этом представляются вам бессмысленно банальными?
Для того чтобы подтолкнуть ваши размышления и подогреть дискуссию, давайте рассмотрим ряд возможных ответов, собранных в табл. 5.1.
Таблица 5.1
Сценарии жизни с искусственным интеллектом
Очевидно, это не исчерпывающий список, я использовал его в качестве базиса пространства всех возможностей. Понятно, что нам не хотелось бы закончить свою историю как в плохо проведенной компьютерной игре из-за ошибок в планировании. Я предлагаю вам выписать ваши варианты ответов на вопросы 1–7, чтобы вернуться к ним по прочтении этой главы, и проверить, не изменятся ли они. Вы можете делать это прямо на сайте http://AgeOfAi.org, где заодно можете сравнить свои ответы с ответами других читателей.
Либертарианская утопия
Давайте начнем со сценария, в котором люди мирно сосуществуют с технологиями, иногда сливаясь с ними, как изображают многие футурологи и авторы научно-популярных произведений. Обычно это выглядит примерно так.
Жизнь на Земле (а также за ее пределами, — но подробнее об этом в следующей главе) стала еще более разнообразна, чем была когда-либо ранее. Посмотрев на Землю из космоса, вы легко различите зоны проживания машин, смешанные зоны и те, где обитают только люди. Машинные зоны — это гигантские, управляемые роботами фабрики и вычислительные центры, тут нет никаких признаков биологической жизни, здесь каждый атом используется с предельной эффективностью. Хотя со стороны машинные зоны выглядят серо и однообразно, картина кардинально меняется, если заглянуть внутрь, в виртуальный мир, где колоссальные вычислительные мощности привлекаются для раскрытия тайн нашей Вселенной и разработки трансформационных технологий. На Земле поселился не один сверхразум, они соперничают, сотрудничают, и все они сосредоточены в машинных зонах.
В смешанных зонах обитают компьютеры, роботы, люди и разнообразные гибриды. В описаниях футурологов вроде Моравеца или Курцвейла в этой дикой и ни на что не похожей смеси многие люди проапгрейдили свое тело до киборга той или иной степени завершенности, немало и таких, кто залил свой рассудок в другой «хард», из-за чего граница между людьми и машинами тут почти незаметна. Многие разумные существа вообще лишены постоянной физической формы. Они существуют как «софт», способный мгновенно перемещаться между компьютерами и проявлять себя в физическом мире с помощью разнообразных роботизированных тел. Поскольку эти формы разумной жизни способны без труда копировать себя или сливаться друг с другом, размер этой популяции очень изменчив. Избавление от ограничений, налагаемых физическим субстратом, дает таким существам совершенно новое представление о жизни: им гораздо меньше свойствен индивидуализм, поскольку они могут тривиально поделиться модулями своих знаний или своего опыта с другими, и у них есть субъективное ощущения бессмертия, так как в любой момент они могут сделать свою резервную копию. В каком-то смысле центральное место в жизни занимает теперь не рассудок, а опыт: наиболее яркие переживания множатся, из-за того что они с удовольствием копируются в память других, где новый рассудок переживет их иначе. А скучный опыт будет стерт тем, кто его испытал, дабы очистить место в памяти для чего-нибудь поинтересней.
