Вот яркий пример. В августе 2009 г. в Калифорнии Ассоциация за продвижение искусственного интеллекта (AAAI) собрала группу, которая должна была успокоить растущий страх публики перед взбесившимися роботами, потерей неприкосновенности частной жизни и техническими движениями, названия которых больше всего напоминали названия религиозных сект.
«За последние пять-восемь лет произошло кое-что новое, — сказал организатор Эрик Хорвиц, видный исследователь из Microsoft. — Технари предлагают почти религиозные идеи, и эти идеи резонируют в некоторых отношениях все с той же идеей Вознесения… По моим ощущениям, рано или поздно нам придется сделать какое-то заявление или утверждение, учитывая все более громкие голоса технократов и людей, которых очень беспокоит развитие интеллектуальных машин».
Несмотря на многообещающую повестку дня, встречу можно записать в разряд упущенных возможностей. Она не была открыта для публики или прессы; специалисты по машинной этике и другие мыслители, занятые оценкой рисков, тоже были оставлены за бортом. К дискуссии были приглашены только чистые компьютерщики. Это примерно как попросить автогонщиков установить в городе пределы разрешенных скоростей. Одна из подгрупп работала над Тремя законами робототехники Айзека Азимова; это означает, что этические дискуссии не были обременены многими томами трудов, написанных позже и продвинувшихся куда дальше этих научно-фантастических декораций. Тоненький отчет о конференции, представленный Хорвицем, выражает скепсис по поводу интеллектуального взрыва, сингулярности и утраты контроля над разумными системами. Тем не менее конференция призвала к дальнейшим исследованиям в области этики и психологии и подчеркнула опасность все более сложных и непонятных компьютерных систем, включая «дорогостоящее непредсказуемое поведение автономных или полуавтономных систем, способных принимать решения». Том Митчелл из Университета Карнеги-Меллона, создатель под крылом DARPA архитектуры NELL (потенциальным УЧИ), утверждает, что конференция изменила его позицию. «Направляясь туда, я был настроен очень оптимистично в отношении будущего ИИ и считал, что Билл Джой и Рэй Курцвейл сильно ошибаются в своих предсказаниях. После этой встречи я захотел большей откровенности в этих вопросах».
В книге «Сингулярность рядом» Курцвейл предлагает несколько решений проблемы беглого ИИ. Это удивительно слабые решения для человека, который занимает практически монопольную позицию представителя суперинтеллекта. Но, с другой стороны, это вовсе не удивительно. Как я уже говорил, существует неразрешимый конфликт между теми, кто лихорадочно жаждет жить вечно, и всем тем, что обещает замедлить, поставить под угрозу или как-то иначе затруднить развитие технологий, которые должны в конечном итоге исполнить их мечту. В своих книгах и лекциях Курцвейл почти не тратит свой интеллект на опасности ИИ и предлагает лишь несколько решений, но при этом утверждает, что подробно разобрал и то и другое. В тесной гостиной Нью-Йорка, когда за дверью нервно готовилась съемочная группа, я спросил себя: чего мы можем ожидать от одного человека? Неужели Курцвейл должен в одиночку справиться с сингулярностью, с ее пользой и опасностями, и скормить нам то и другое с ложечки, как младенцам? Неужели он лично должен разбираться, что означают идиомы вроде «непреодолимо двойственная природа техники», и овладевать философией выживания, как ее понимают люди вроде Юдковски, Омохундро и Бострома?
Нет, я так не думаю. Это проблема, которую мы должны решать все вместе, с привлечением специалистов.
Глава 11
Жесткий старт
День ото дня машины получают над нами преимущество; день ото дня мы все больше подчиняемся им; с каждым днем все больше людей рабски трудятся, ухаживая за ними, с каждым днем все больше людей отдают свои жизненные силы на развитие механической жизни. Развязка — всего лишь вопрос времени, но сам факт того, что придет время, когда машины получат реальную власть над миром и его обитателями, не вызывает ни малейших сомнений ни у кого из тех, кто обладает по-настоящему философским складом ума.
Сэмюел Батлер, английский поэт и писатель XIX века
Более чем когда-либо в истории человечество находится на распутье. Одна дорога ведет к отчаянию и совершенной безнадежности, другая — к полному уничтожению. Будем же молиться, чтобы нам хватило мудрости сделать верный выбор.
Вуди Аллен
Джон Гуд не является изобретателем интеллектуального взрыва, точно так же, как сэр Исаак Ньютон не является изобретателем гравитации. Все, что он сделал, — это обратил внимание на то, что некое событие, которое он считал и неизбежным, и в целом положительным для человечества, наверняка приведет к рождению «ультраинтеллекта», а нам, человечеству, придется решать задачи, слишком для нас сложные. Затем, прожив еще три десятилетия, Гуд изменил свое мнение. Мы сотворим разумные машины по нашему образу и подобию, и они уничтожат нас. Почему? По той же причине, по которой мы никогда бы не договорились запретить исследования ИИ и по которой Busy Child, скорее всего, получит свободу. По той же причине, по которой рациональный насквозь Стив Омохундро, да и все остальные специалисты, с которыми я встречался, уверены, что остановить разработку УЧИ до того момента, пока мы не будем больше знать о связанных с ним опасностях, нет никаких шансов.
Мы не прекратим разработку УЧИ, потому что больше самого ИИ боимся, что другие страны будут продолжать совершенствовать УЧИ, что бы ни говорило и ни делало международное сообщество. Мы сочтем, что лучше первыми прийти к цели и взять приз. Интеллектуальная гонка в разгаре и, к разочарованию многих, эта глобальная гонка может оказаться более опасной, чем та, из которой мы, вроде бы, только что вышли, — гонка ядерных вооружений. Мы пойдем за политиканами и энтузиастами технического прогресса к роковому концу, говоря словами Гуда, «подобно леммингам».
Позитивная сингулярность Рэя Курцвейла не требует интеллектуального взрыва — Закон прогрессирующей отдачи гарантирует продолжение экспоненциального роста информационных технологий, включая и те, что кардинально меняют мир, такие как УЧИ, а позже ИСИ. Вспомните, что для интеллектуального взрыва, по Гуду, необходим УЧИ. Результатом взрыва будет интеллект выше человеческого или ИСИ. Курцвейл утверждает, что УЧИ будет покорен, поначалу медленно, а затем разом, в соответствии с Законом прогрессирующей отдачи.
Курцвейла не беспокоят препятствия на пути к УЧИ, поскольку сам он предпочитает построение УЧИ путем обратного проектирования мозга. Он считает, что в мозге (включая сознание) нет ничего, что невозможно было бы компьютеризировать. Действительно, все специалисты, с которыми я говорил, уверены, что интеллект компьютеризируем. Мало кто считает, что для получения ИСИ после создания УЧИ необходим интеллектуальный взрыв в гудовском смысле. Медленный уверенный прогресс должен привести к тому же, но Курцвейл настаивает, что прогресс, вероятно, будет не медленным и равномерным, а быстрым и к тому же ускоряющимся.
Однако после построения почти любой системы УЧИ
[26] интеллектуальный взрыв может оказаться неизбежным. Когда система осознает себя и получит возможность самосовершенствоваться, ее базовые потребности, согласно Омохундро, практически гарантируют, что она будет стремиться улучшать себя снова и снова.
