В своей книге «Последнее изобретение человечества. Искусственный интеллект и конец эры Homo Sapiens»
[65] (Our Final Invention: Artificial Intelligence and the End of the Human Era), вышедшей в свет в 2013 г., Джеймс Баррат описывает то, что он называет «сценарием активного ребенка»
{311}. В некоем секретном месте — возможно, финансируемой правительством исследовательской лаборатории, фирме с Уолл-стрит или крупной корпорации из отрасли информационных технологий — группа специалистов по компьютерным вычислениям наблюдает за тем, как новая форма машинного интеллекта сначала приближается к возможностям человеческого мозга, а затем превосходит их. Предварительно, на этапе «детства», ученые загружают в систему искусственного интеллекта огромные объемы информации, включая практически все книги, которые были когда-либо написаны, а также все содержимое Интернета. Однако по мере приближения системы к уровню человеческого интеллекта исследователи отключают стремительно совершенствующийся искусственный интеллект от внешнего мира. По сути дела, он начинает существовать в условиях полной изоляции. Возникает вопрос: готов ли он к этому? Ведь однажды искусственный интеллект может захотеть убежать из заточения и расширить свои горизонты. Для достижения этой цели он может использовать свои сверхспособности, чтобы обмануть ученых, притупить бдительность всей группы или отдельных ее членов обещаниями или запугать их угрозами. При этом машина будет не просто умнее людей — она будет генерировать и оценивать идеи и возможные варианты с непостижимой скоростью. Это как играть в шахматы против Гарри Каспарова, да еще и по не совсем выгодным для вас правилам: вам на ход отводится всего пятнадцать секунд, а Каспарову — целый час. По мнению тех ученых, которых беспокоит возможность развития событий по сценарию такого рода, риск того, что искусственный интеллект может каким-либо образом ускользнуть из заточения, получить доступ к Интернету и, возможно, скопировать себя полностью или частично на другие компьютеры, является неприемлемо высоким. Если искусственный интеллект вырвется на волю, это очевидным образом создаст реальную угрозу для бесчисленного количества жизненно важных систем, включая финансовую систему, сети управления вооруженными силами, электрические сети и другие виды энергетической инфраструктуры.
Проблема, разумеется, в том, что все это уж слишком сильно напоминает сценарии научно-фантастических фильмов и романов. Сама мысль о том, что такое возможно, настолько прочно ассоциируется с чем-то фантастическим, что любая попытка серьезного обсуждения тонет в море насмешек. Нетрудно представить, какой шквал сарказма и иронии придется пережить любому крупному общественному или политическому деятелю, который решится озвучить соответствующие опасения.
Впрочем, если оставить в стороне общественное мнение, совершенно очевидно, что интерес к искусственному интеллекту во всех его проявлениях со стороны военных, разведывательных служб и крупных корпораций будет только расти. При этом тот, кто первым совершит качественный скачок в развитии искусственного интеллекта, безусловно, получит колоссальное преимущество. Другими словами, кто бы ни добрался до финишной линии первым, будет недостижим для остальных. Это одна из главных причин страха перед перспективой начала самой настоящей гонки вооружений в области искусственного интеллекта. Кроме того, если судить по величине преимущества, которое получит первопроходец, становится понятно, что новоиспеченный искусственный интеллект будет сразу же помещен в условия, которые будут направлять его по пути самосовершенствования — если не самой системой, то создавшими ее людьми. В этом смысле бурное развитие искусственного интеллекта может вполне оказаться результатом того, что называют «самосбывающимся пророчеством». Учитывая это, думаю, было бы разумным применить в анализе угрозы появления развитого искусственного интеллекта что-нибудь вроде знаменитой «доктрины 1 %» Дика Чейни: вероятность его появления, по крайней мере в обозримом будущем, весьма низка, но последствия могут быть настолько серьезными, что он заслуживает самого пристального внимания.
Даже если мы откажемся от мысли о том, что появление развитого искусственного интеллекта будет угрожать нашему существованию, и сделаем допущение, что все думающие машины, которые могут появиться в будущем, будут настроены дружественно, нам все равно придется задуматься о тех громадных последствиях, которые это событие будет иметь для рынка труда и экономики. Очень трудно представить, что в мире, где недорогие машины могут делать все, на что способны самые умные из людей (и даже больше), кому-то из людей удастся сохранить свое рабочее место. В большинстве отраслей никто из людей, независимо от образования (пусть даже оно было получено в элитном университете) и подготовки, не сможет конкурировать с такими машинами. Причем в опасности окажутся даже и те профессии, которые, как можно было бы ожидать, являются исключительной прерогативой людей. Например, актерам и музыкантам придется конкурировать с цифровыми моделями, которые будут наделены настоящим разумом, а также сверхчеловеческим талантом. Они могут быть ни на кого не похожи — совершенно новые существа с безупречной внешностью — или же они могут повторять черты внешности и характера реальных людей — как ныне живущих, так и умерших.
По существу, широкое распространение человекоподобного искусственного интеллекта будет равносильно тому, что я описал в предшествующей главе в разделе о мысленном эксперименте с «инопланетным вторжением». Не ограничиваясь одними лишь относительно рутинными, повторяющимися и предсказуемыми задачами, машины смогут заниматься практически всеми видами деятельности. Разумеется, это будет означать, что никто из людей не сможет зарабатывать своим трудом. Доход с капитала — или, по сути, доход с права собственности на машины — будет сосредоточен в руках немногочисленной элиты. У потребителей не будет достаточных средств для приобретения благ, производимых умными машинами. Все это приведет к многократному усилению тенденций, о которых мы говорили на страницах этой книги.
Впрочем, это еще далеко не конец. Как те, кто верит в обещание, что сингулярность обязательно наступит, так и те, кого беспокоят угрозы, связанные с появлением развитого искусственного интеллекта, зачастую рассматривают его как дополнение к еще одной потенциально разрушительной силе из мира технологий или как фактор, способствующий ее появлению: я имею в виду нанотехнологии.
Нанотехнологии
Нанотехнологии трудно поддаются определению. С самого начала своего существования эта область знания находилась где-то на границе между настоящей наукой и тем, что многие бы назвали чистой фантастикой. Вокруг нее было столько шумихи и споров, она вызывала благоговейный трепет и становилась яблоком раздора в политических баталиях, от исхода которых зависела судьба миллиардов долларов, а также была предметом словесных и идеологических перепалок между самыми выдающимися умами.
