Вторая по степени опасности потребность ИИ — приобретение ресурсов — заставляет систему собирать нужные ей активы, увеличивая таким образом шансы на достижение цели. По мнению Омохундро, при отсутствии точных и подробных инструкций о том, как следует собирать ресурсы, «система не остановится перед кражей, мошенничеством и ограблением банков — ведь это прекрасный способ получать ресурсы». Если ей нужна энергия, а не деньги, она возьмет нашу. Если ей потребуются атомы, а не энергия и не деньги, это опять будут наши атомы.
Такие системы по природе своей жаждут всего, и побольше. Им нужно вещество, им нужно больше свободной энергии и больше пространства, наконец, потому что со всем этим они смогут более эффективно добиваться цели.
Без всяких наших подсказок мощный ИИ откроет дорогу к новым технологиям добычи ресурсов. Дело за малым: остаться в живых, чтобы иметь возможность пользоваться плодами этих трудов.
Они обязательно захотят строить реакторы ядерного синтеза и извлекать энергию, заключенную в атомном ядре; кроме того, они захотят исследовать космос. Вы конструируете шахматного робота, но проходит время — и чертова машина хочет строить космический корабль. Ведь именно там, в космосе, можно найти ресурсы, особенно если иметь в виду и очень длинный временной горизонт.
Кроме того, как мы уже говорили, самосовершенствующиеся машины способны жить вечно. В главе 3 мы узнали, что, выйдя из-под контроля, ИСИ могли бы представлять угрозу не только для нашей планеты, но и для Галактики. Собирание ресурсов — потребность, которая обязательно толкнет ИСИ за пределы земной атмосферы. Такой поворот в поведении рационального агента вызывает в памяти плохие научно-фантастические фильмы. Но посмотрите на причины, толкающие человека в космос: гонка времен холодной войны, дух исследования, американское и советское «предназначение», космическая оборона и развитие промышленного производства в невесомости (в свое время это казалось весьма здравой идеей). Мотивация ИСИ на выход в космос была бы сильнее и ближе к нуждам реального выживания.
Космос содержит такие несметные богатства, что системы с более длинным временным горизонтом, чем у человека, вероятно, готовы будут выделить значительные ресурсы на исследование и освоение космоса вне зависимости от заявленных целей, — говорит Омохундро. — Очень серьезный стимул — преимущество первооткрывателя. Если возникнет конкуренция за обладание космическими ресурсами, то результирующая "гонка вооружений", скорее всего, в конце концов приведет к экспансии со скоростью, приближающейся к скорости света.
Да-да, вы не ошиблись, он сказал скорости света. Давайте посмотрим, как мы дошли до жизни такой, ведь начиналось все с робота-шахматиста.
Во-первых, сознающая себя самосовершенствующаяся система будет рациональной. Собирать ресурсы вполне рационально — чем больше у системы ресурсов, тем вероятнее достижение целей и тем легче избегать уязвимости. Если во встроенной в систему шкале целей и ценностей собирание ресурсов никак не ограничено, то система будет искать способы и средства для приобретения как можно большего количества ресурсов. При этом она, удовлетворяя свои потребности, может совершать множество поступков, противоречащих нашим представлениям о машинах, — к примеру, вламываться в компьютеры и даже в банки.
У сознающей себя самосовершенствующейся системы достаточно интеллекта, чтобы проводить научно-исследовательские и опытно-конструкторские работы (НИОКР), необходимые для самомодификации. С ростом интеллекта будет расти и способность к НИОКР. Система будет искать способы или производить роботизированные тела, или обменивать их у людей на товары и услуги, чтобы строить необходимую ей инфраструктуру. Даже космические корабли.
Почему роботизированные тела? Конечно, роботы — старый и довольно избитый сюжетный ход в фильмах, книгах и телепостановках, своеобразный театральный заменитель искусственного интеллекта. Но роботизированные тела действительно имеют прямое отношение к дискуссиям по ИИ по двум причинам. Во-первых, как мы увидим позже, обладание телом — возможно, наилучший для ИИ способ собирать информацию об окружающем мире. Некоторые теоретики даже считают, что разум, не заключенный в каком-нибудь теле, не в состоянии развиваться. Наш собственный разум — сильный аргумент в пользу этой позиции. Во-вторых, занятый сбором ресурсов ИИ постарается обзавестись роботизированным телом по той же причине, по какой Honda снабдила своего робота ASIMO гуманоидным телом. Это сделано, чтобы робот мог пользоваться нашими вещами.
С 1986 г. ASIMO разрабатывался с целью оказывать помощь по дому пожилым людям — наиболее быстро растущей группе населения Японии. Человеческие формы и умения лучше всего подходят машине, которая должна будет подниматься по лестницам, включать свет, подметать мусор, манипулировать кастрюлями и сковородками — и все это в человеческом жилище. Точно так же ИИ, желающему эффективно использовать наши заводы, здания, транспортные средства и инструменты, придется позаботиться о гуманоидных формах.
А теперь вернемся к космосу.
Мы уже говорили о том, какие необъятные преимущества дадут нанотехнологии сверхразуму и как рациональная система получит мотивацию к их развитию. В космос нашу систему гонит желание достичь целей и избежать уязвимости.
Она просматривает возможные варианты будущего и исключает те, где ее цели не достигаются. Не воспользоваться бесконечными на первый взгляд ресурсами космоса — очевидный путь к неудаче.
Как и проигрыш конкурентам в ресурсной гонке. Таким образом, сверхразумная система выделит значительные ресурсы на достижение скорости работы, достаточной для выигрыша в этой гонке. Из этого следует, что, если мы не будем очень осторожны при создании сверхразума, это событие вполне может оказаться шагом в будущее, где могущественные и жадные машины (или их зонды) будут носиться по Галактике с почти световой скоростью, собирая ресурсы и энергию.
Я лично вижу своеобразный черный юмор в том, что первый контакт иной галактической жизни с Землей может выглядеть как бодрое приветствие по радио, а затем опустошительный смертельный десант нанофабрик. В 1974 г. Корнеллский университет, запуская обновленный радиотелескоп Аресибо, передал в пространство так называемое послание Аресибо. Это послание, разработанное основателем SETI Фрэнсисом Дрейком, астрономом Карлом Саганом и другими энтузиастами, содержало информацию о человеческой ДНК, населении Земли и наших координатах. Радиопередача была направлена на звездное скопление М13, расположенное на расстоянии 25 000 световых лет. Радиоволны путешествуют со скоростью света, так что послание Аресибо доберется до места назначения не раньше чем через 25 000 лет. Может, оно и вовсе не доберется до места — ведь М13 за это время изменит свое положение относительно Земли по сравнению с 1974 г. Разумеется, команда Аресибо это знала, но все же воспользовалась случаем попиарить себя и свой проект.
Тем не менее другие звездные системы могут представлять собой более результативные мишени для посланий с радиотелескопов. И разум, который обнаружит эти послания, может оказаться вовсе не биологическим.
