Стивен Пинкер, судя по всему, соглашается с тезисом об ортогональности Бострома, когда пишет, что «интеллектуальность есть способность применять новые средства для достижения цели; цели являются внешними для интеллекта как такового»
[231]. В то же время он считает неприемлемым, если «ИИ будет столь блистательным, что освоит трансмутацию элементов и перестройку нейронной структуры мозга, и в то же время настолько идиотским, что станет сеять хаос, грубо ошибаясь из-за банального недопонимания»
[232]. Он продолжает: «Способность выбирать действие, наиболее подходящее для достижения конфликтующих целей, — это не дополнительная опция, которую инженеры могут позволить себе забыть инсталлировать и протестировать. Это и есть интеллект. Как и способность интерпретировать с учетом контекста намерения пользователя языка». Конечно, «достижение конфликтующих целей» не проблема — это неотъемлемая часть стандартной модели с самого появления теории принятия решений. Проблемой является то, что конфликтующими целями, о которых машина осведомлена, заботы человека не исчерпываются. Более того, в рамках стандартной модели отсутствует утверждение, что машина обязана беспокоиться о целях, о которых ей не велели беспокоиться.
Однако в словах Брукса и Пинкера есть рациональное зерно. Действительно, представляется тупостью с нашей стороны допускать, чтобы машина, скажем, меняла цвет неба в качестве побочного эффекта преследования какой-то другой цели, игнорируя очевидные признаки недовольства людей результатом. Это было бы нашей глупостью, потому что мы ориентированы на то, чтобы замечать недовольство людей, и (обычно) имеем стимул этого избегать — даже если прежде не сознавали, что данным людям не все равно, какого цвета небо. А именно: мы, люди, (1) придаем значение предпочтениям других людей и (2) знаем, что не знаем всех этих предпочтений. В следующей главе я утверждаю, что эти характеристики, будучи встроены в машину, могут стать началом решения «проблемы царя Мидаса».
Возрождение дебатов
В этой главе мы бросили взгляд на дебаты, ведущиеся в широком сообществе интеллектуалов — между теми, кто указывает на риски, которые несет ИИ, и «скептиками», не замечающими особых рисков. Споры ведутся в книгах, блогах, научных статьях, коллективных обсуждениях, интервью, твитах и газетах. Несмотря на отчаянные усилия, скептики — настаивающие, что опасности ИИ пренебрежимо малы, — так и не смогли объяснить, почему сверхинтеллектуальные ИИ-системы обязательно останутся подконтрольными человеку, и даже не попытались указать причины, по которым сверхинтеллектуальные ИИ-системы никогда не будут созданы.
Под нажимом многие скептики признают, что проблема реальна, хотя и не является непосредственной. Скотт Александер в своем блоге Slate Star Codex блестяще это сформулировал
[233]:
Позиция «скептиков» представляется следующей: пожалуй, неплохо было бы, если бы пара умных голов начала работать над предварительными аспектами проблемы, но незачем паниковать или пытаться запретить исследования ИИ.
«Верующие» тем временем настаивают, что, хотя незачем паниковать или пытаться запретить исследования ИИ, пожалуй, неплохо было бы, если бы пара умных голов начала работать над предварительными аспектами проблемы.
Я был бы счастлив, если бы скептики предложили неоспоримый аргумент, например, в форме простого, с «защитой от дурака» (и зла) решения проблемы контроля ИИ, но мне это кажется весьма маловероятным — не более вероятным, чем открытие простого, с «защитой от дурака», способа получать ядерную энергию с нулевым риском. Вместо того чтобы все глубже погружаться в нашизм с личными нападками и без конца вспоминать сомнительные аргументы, лучше было бы, по словам Александера, начать работать над некоторыми предварительными аспектами проблемы.
Дебаты выявили хаос, с которым мы имеем дело: если мы создаем машины для оптимизации целей, то цели, которые мы ставим перед машинами, должны соответствовать нашим желаниям. Однако мы не умеем полно и точно сформулировать цели человечества. К счастью, есть золотая середина.
Глава 7. Другой подход к ИИ
После того как опровергнуты все аргументы скептиков и даны ответы на все «но», обычно следует: «Ладно, я признаю, что проблема существует, но решения-то все равно нет, не так ли?» Не так, решение есть.
Давайте вспомним, какая задача перед нами стоит: создать машины с высоким уровнем интеллектуальности — способные помочь в решении трудных проблем, — в то же время гарантировав, что они никогда не сделают ничего такого, что причинило бы нам серьезные неприятности.
К счастью, это не задача «имея машину, обладающую высоким интеллектом, выяснить, как ее контролировать». Если бы вопрос ставился так, нам пришел бы конец. Машина, воспринимаемая как черный ящик, как данность, с тем же успехом могла бы прибыть из дальнего космоса, а наши шансы контролировать сверхинтеллектуальную сущность из дальнего космоса примерно равны нулю. Аналогичные аргументы применимы к методам создания ИИ-систем, гарантирующих, что мы не будем понимать, как они работают; к этим методам относятся полномасштабное имитационное моделирование головного мозга
[234] — создание улучшенных электронных копий человеческого мозга, — а также методы, основанные на моделях эволюции программ
[235]. Я не стану далее распространяться об этих предложениях, поскольку очевидно, насколько это плохая идея.
Как специалисты по ИИ подходили в прошлом к решению той части задачи, которая касается «создания машин с высоким уровнем интеллектуальности»? Как и во многих других областях исследований, здесь была принята стандартная модель: мы строим оптимизирующие машины, даем им задачи, и они их решают. Это хорошо работало, когда машины не были продвинутыми, а их действия имели ограниченный охват; если вы ставили неверную цель, то имели хорошие шансы выключить машину, решить проблему и сделать еще одну попытку.
Однако по мере того, как машины, построенные по стандартной модели, становятся более интеллектуальными, а их охват — всемирным, данный подход оказывается несостоятельным. Такие машины будут преследовать собственную цель, какой бы неправильной она ни была; они будут сопротивляться попыткам выключить их; наконец, они будут приобретать все ресурсы, требующиеся для достижения их цели. Действительно, оптимальное поведение для машины может включать введение в заблуждение людей, считающих, что поставили перед машиной рациональную задачу, с тем чтобы получить достаточно времени для достижения той самой заданной ей цели. Это не будет «девиантная» или «вредоносная» активность, требующая сознания и свободы воли; это будет всего лишь часть оптимального плана достижения цели.
