Ум… опережает сам себя и расправляется с необходимостью собственного существования, изобретая машины, которые должны вместо него мыслить… Как знать, однако, не замыслят ли таковые машины, будучи доведены до большого совершенства, устранить все свои недостатки, а затем напечь идеи, недоступные разуму простого смертного!
Это, пожалуй, первое размышление об экзистенциальном риске, сопутствующем вычислительным устройствам, но оно осталось незамеченным.
Напротив, роман Сэмюэла Батлера «Эдгин», изданный в 1872 г., разработал эту тему с большой глубиной и сразу завоевал популярность. Эдгин
— страна, где были запрещены все механические устройства после ужасной гражданской войны между сторонниками и противниками машин. В одной из частей романа, «Книге машин», объясняется причина этой войны и приводятся аргументы обеих сторон
[187]. Это жутковатое предвидение споров, вновь вспыхнувших в первые годы XXI в.
Главный аргумент противников машин — машины разовьются настолько, что человечество утратит контроль над ними:
Разве не создаем мы сами наследников нашего превосходства на земле? Ежедневно увеличивая красоту и тонкость их устройства, ежедневно наделяя их все большими умениями и давая все больше той саморегулирующейся автономной силы, которая лучше любого разума?.. Пройдут века, и мы окажемся подчиненной расой…
Мы должны сделать выбор из альтернатив: продолжать терпеть нынешние страдания или наблюдать, как нас постепенно подавляют наши собственные творения, пока мы не утратим всякое превосходство перед ними, как дикие звери не имеют его перед нами… Ярмо будет ложиться на нас мало-помалу и совсем незаметно.
Рассказчик также приводит главный контраргумент сторонников машин, предвосхищающий представление о симбиозе человека и машины, которое мы рассмотрим в следующей главе.
Была лишь одна серьезная попытка ответить на это. Автор ответа сказал, что машины будут рассматриваться как часть собственной физической природы человека, будучи не чем иным, как внетелесными конечностями.
Хотя противники машин в Эдгине победили в споре, сам Батлер, судя по всему, имел двойственные взгляды. С одной стороны, он сожалеет, что «эдгинцы возлагают здравый смысл на алтарь логики, когда среди них появляется философ, завладевающий ими, поскольку почитается обладателем особого знания», и говорит: «Они грызут друг другу глотки из-за вопроса о машинах». С другой стороны, эдгинское общество, которое он описывает, на диво гармонично, производительно и даже идиллично. Эдгинцы всецело согласны, что возвращаться на путь изобретения механизмов — полное безумие, и взирают на остатки машинерии, хранящиеся в музеях, «с теми же чувствами, какие вызывают у английского антиквара истуканы друидов или кремневые наконечники стрел».
Известно, что роман Батлера был знаком Алану Тьюрингу, рассмотревшему долгосрочное будущее ИИ в лекции, с которой выступил в Манчестере в 1951 г.
[188]:
Представляется возможным, что, когда методы машинного рассуждения заработают, не потребуется много времени, чтобы превзойти наши слабые силы. Перед машинами не будет стоять проблема умирания, и они смогут общаться друг с другом, изощряя свой ум. Таким образом, на каком-то этапе нам следует ожидать, что машины возьмут власть, как это описывается в «Эдгине» Сэмюэла Батлера.
В том же году Тьюринг повторил эти опасения в лекции по радио, транслировавшейся на всю Великобританию Третьей программой Би-би-си:
Если машина умеет мыслить, то может мыслить разумнее нас, и что тогда ждет нас? Даже если мы сумели бы удержать машины в подчиненном положении, например отключив питание в критический момент, мы как биологический вид чувствовали бы себя совершенно униженными… Эта новая опасность… безусловно, заслуживает того, чтобы из-за нее тревожиться.
Когда противники машин из Эдгина «почувствовали серьезные опасения за будущее», то сочли своим «долгом покончить со злом, пока это еще возможно» и уничтожили все машины. Ответ Тьюринга на «новую опасность» и «тревогу» — подумать о том, чтобы «отключить питание» (хотя вскоре станет очевидно, что это на самом деле не выход). В классическом научно-фантастическом романе Фрэнка Герберта «Дюна», действие которого происходит в далеком будущем, человечество чудом пережило Батлерианский джихад, катастрофическую войну с «мыслящими машинами». Возникает новая заповедь: «Не делай машину подобием человеческого разума». Эта заповедь запрещает любые вычислительные устройства.
Все эти радикальные реакции отражают рудиментарные страхи перед машинным разумом. Да, от перспективы появления сверхинтеллектуальных машин становится не по себе. Да, логически возможно, что такие машины могут захватить власть над миром и подчинить или уничтожить человеческую расу. Если это единственное, что нам светит, тогда, действительно, единственный разумный ответ, доступный нам в настоящее время, — это попытаться свернуть исследования в области ИИ, а именно запретить разработку и использование универсальных ИИ-систем человеческого уровня.
Как большинство исследователей ИИ, я содрогаюсь при мысли об этом. Кто смеет указывать мне, о чем можно думать и о чем нельзя? Любой, кто предлагает покончить с изучением ИИ, должен быть очень убедительным. Прекратить исследования ИИ означало бы отказаться не просто от одного из главных путей к пониманию того, как устроен человеческий разум, но и от уникальной возможности улучшить положение человека — создать намного более совершенную цивилизацию. Экономическая ценность ИИ человеческого уровня измеряется в тысячах триллионов долларов, и следует ожидать колоссального импульса на продолжение этих исследований со стороны корпораций и властей. Он пересилит туманные возражения философа, как бы тот ни почитался в качестве «обладателя особого знания», по выражению Батлера.
Второе возражение против идеи запрета универсального ИИ — его трудно запретить. Прогресс в разработке универсального ИИ достигается, главным образом, в дискуссиях ученых из исследовательских лабораторий по всему миру, по мере возникновения и решения математических задач. Мы не знаем заранее, какие идеи и уравнения запрещать, и, даже если бы знали, не приходится ожидать, что подобный запрет будет осуществимым или действенным.
Еще больше осложняет проблему то, что исследователи, двигающие вперед разработку универсального ИИ, часто работают над чем-то еще. Как я уже замечал, изучение инструментального ИИ — специализированных безобидных приложений наподобие игровых программ, медицинской диагностики и планирования путешествий — часто ведет к развитию методов универсального характера, применимых к широкому спектру других задач, и приближает нас к ИИ человеческого уровня.
