Представьте себе, что вы супермощный ИИ, запущенный на некоем микропроцессоре (или, скорее, на миллионе таких процессоров). Внезапно вам приходит идея еще более быстрого и мощного микропроцессора, на котором вы бы могли работать. Теперь… вот незадача! Вам нужно произвести эти микропроцессоры, а производство интегральных схем весьма энергозатратно. К тому же вам потребуется сырье из разных уголков мира и стерильная среда, а значит, тамбур-шлюзы, фильтрация воздуха, масса специального оборудования и так далее. Чтобы все это раздобыть, привезти, собрать в одном месте, возвести здания и электростанции, провести испытания и, наконец, собрать процессоры, необходимо время и энергия. Реальный мир встал на пути вашей устремленной вверх спирали самосовершенствования
[876].
Реальный мир часто становится на пути цифровых апокалипсисов. Когда суперкомпьютер HAL 9000 из фильма «Космическая одиссея 2001 года» начинает задирать нос, Дэйв обесточивает его отверткой, оставляя жалобно напевать песенку про Дейзи Белл. Конечно, ничто не мешает нам фантазировать о компьютере Судного дня – зловредном, оборудованном всем необходимым и неуязвимом для внешнего вмешательства. Но справиться с этой угрозой проще простого: не стройте его.
Когда перспектива восстания злых роботов начала казаться слишком карикатурной, чтобы принимать ее всерьез, экзистенциальные алармисты заприметили на горизонте новый цифровой апокалипсис. Теперь сюжет взят не из историй о Франкенштейне или Големе, но из сказки про джинна, который обещает исполнить любые три желания (третье всегда необходимо, чтобы отменить первые два), и из мифа о царе Мидасе, пожалевшем о новообретенной способности превращать в золото все, к чему прикасается, в том числе еду и членов своей семьи. Это опасность, которую еще называют проблемой совпадения приоритетов: человек ставит перед искусственным интеллектом некую задачу, а затем бессильно наблюдает, как тот упрямо и буквально воплощает в жизнь свое представление о ней, не учитывая остальных наших интересов. Выполняя поставленную задачу поддерживать уровень воды за плотиной, искусственный интеллект затопит город, не беспокоясь о его жителях. Если мы велим ему делать скрепки, он превратит в скрепки всю материю достижимой Вселенной, в том числе наше имущество и нас самих. Если мы попросим его сделать людей счастливыми, он поставит каждому по дофаминовой капельнице или перепрограммирует мозг человека так, чтобы тот был счастлив, сидя в изолированной капсуле. А если этот ИИ освоил концепцию счастья, рассматривая фото с улыбающимися лицами, он может заполонить галактику триллионами наноизображений желтых смайликов
[877].
Я ничего не придумал. Все это – сценарии, предположительно иллюстрирующие угрозу роду человеческому со стороны развитого ИИ. Все они, к счастью, внутренне противоречивы
[878], поскольку основаны на двух гипотезах: 1) люди так одарены, что способны создать всеведающий и всемогущий ИИ, и в то же время так пустоголовы, что передадут ему контроль над мирозданием, не проверив, как он работает, и 2) этот ИИ будет так гениален, что сможет придумать, как преобразовывать химические элементы и перепрошивать мозги, но так придурковат, что погрузит мир в хаос из-за элементарной оплошности или недопонимания. Способность выбрать ход действий, лучше всего удовлетворяющий конфликтующим между собой целям, – это не придаток к интеллекту, который инженер может не установить по забывчивости, а потом кусать локти; это и есть интеллект. То же самое можно сказать и о способности интерпретировать намерения пользователя языка в контексте. Только в комедийных сериалах вроде «Напряги извилины» робот реагирует на фразу: «Тащи сюда официанта», ухватив беднягу за голову, а услышав: «Туши свет», сует лампу в кастрюлю.
Отказавшись от фантазий о фуме, цифровой мегаломании, мгновенном всеведении и абсолютной власти над каждой молекулой во Вселенной, мы обнаружим, что искусственный интеллект – всего лишь технология, такая же, как и все остальные. Она развивается шаг за шагом, разработана, чтобы удовлетворять множеству условий, тестируется перед внедрением и бесконечно совершенствуется с целью повышения эффективности и безопасности (глава 12). Как острит специалист по искусственному интеллекту Стюарт Рассел, «инженеры-мостостроители никогда не рассуждают о “возведении мостов, которые не падают” – только о “возведении мостов”». Точно так же «полезный и безопасный искусственный интеллект – это и есть искусственный интеллект»
[879].
Искусственный интеллект, безусловно, ставит перед нами более будничные проблемы: например, что делать с людьми, чьи профессии исчезнут благодаря автоматизации. Однако профессии не исчезают быстро. Вывод, сделанный специалистами NASA еще в 1965 году, верен до сих пор: «Человек – вот самый дешевый нелинейный многоцелевой компьютер весом в 70 килограммов, который массово производится неквалифицированной рабочей силой»
[880]. Управление автомобилем – простейшая инженерная задача, куда примитивнее, чем разгрузить посудомойку, доставить документы по адресу или поменять подгузник, но на тот момент, когда я это пишу, мы все еще не готовы допустить беспилотные автомобили на улицы городов
[881]. До тех пор, пока батальоны роботов не начнут прививать детей и строить школы в развивающихся странах или, если уж на то пошло, ухаживать за стариками и строить дороги на Западе, дел будет хватать на всех. Всю ту изобретательность, которая нужна для конструирования роботов и написания программного обеспечения, можно приложить и к разработке государственных мер и экономических стимулов, которые обеспечат незанятые руки несделанной работой
[882].
~
Ну, если не роботы, тогда, может быть, хакеры? У всех на слуху их стереотипные образы: болгарские подростки, юноши в шлепанцах с банкой Red Bull в руке или, как сказал Дональд Трамп во время президентских дебатов 2016 года, «субъект, который весит 180 кило и не встает с кровати». Принято думать, что по мере развития технологий умножается и потенциал разрушения, доступный отдельному человеку. Рано или поздно одинокий очкарик, а то и террорист прямо в своем гараже соберет ядерную бомбу, создаст смертоносный вирус или обрушит интернет. А учитывая, как сильно современный мир зависит от технологий, что-то подобное может привести к панике, голоду и анархии. В 2002 году сэр Мартин Рис публично предложил пари, что «к 2020 году биопреступление или биоошибка унесет миллион жизней за раз»
[883].
