Еще одно соображение — не в пользу оракулов и джиннов — касается риска создания сверхразума, чья конечная цель не будет полностью отвечать тому, чего в конечном счете нам хотелось бы добиться. Допустим, прибегнув к методу приручения, мы уговорим сверхразум стремиться к тому, чтобы минимизировать свое воздействие на мир, тогда мы сможем получить интеллектуальную систему, чьи оценки предпочтительности тех или иных исходов будут отличаться от оценок организаторов проекта. То же самое произойдет, если мы создадим сверхразум, чрезмерно высоко ценящий свою способность давать абсолютно достоверные ответы или слепо повиноваться любой команде. Если будут предприняты соответствующие меры предосторожности, это не должно вызвать особых проблем: между двумя системами оценок будет мало различий — по меньшей мере до тех пор, пока они относятся к возможным мирам, у которых много шансов быть актуализованными. Поэтому результаты, которые окажутся правильными по стандартам интеллектуального агента, будут правильными и с точки зрения принципала. Возможно, кто-то возразит, что подобный принцип разработки неудачен, поскольку неблагоразумно вносить даже легкую дисгармонию между целями ИИ и целями человечества. (Конечно, аналогичные сомнения возникают, если монархам начнут определять цели, не полностью гармонирующие с нашими, человеческими.)
ИИ-инструменты
В свое время было высказано предложение создавать сверхразум скорее в качестве инструмента, чем агента
[387]. Идея возникла неслучайно, и связана она с простым соображением: обычным программным обеспечением пользуются все подряд, и ни у кого не возникает никакого чувства опасности, даже отдаленно напоминающего ту тревогу, которую вызывают у нас проблемы, обсуждаемые в этой книге. Почему бы не создать ИИ, похожий на обычное ПО, — вроде системы управления полетом или виртуального помощника, — только более гибкое и универсальное? Зачем нужен сверхразум, обладающий собственной волей? Те, кто придерживается такой точки зрения, считают, что сама парадигма агента фундаментально ошибочна. Вместо ИИ, который, подобно человеку, думает, желает и действует, нам следует ориентироваться на написание ПО, делающее лишь то, для чего оно предназначено.
Однако идея создания ПО, которое «делает лишь то, для чего предназначено», не так легко осуществима, поскольку речь идет о продукте с очень мощным интеллектом. В каком-то смысле все программы делают то, на что они запрограммированы: их поведение математически определяется исходным кодом. Но это утверждение так же верно и для ИИ, принадлежащего какой-то из трех каст. Если делать лишь то, для чего предназначено означает «вести себя так, как предполагали программисты», то стандартное ПО довольно часто нарушает этот стандарт.
Благодаря ограниченным возможностям современного ПО (по сравнению с ИИ) с последствиями его отказов пока можно справиться — они будут оцениваться где-то между значением «несущественный» и «дорогостоящий», но никогда не поднимутся до уровня экзистенциальной угрозы
[388] Однако если относительно безопасными стандартные современные ПО делает не высокая надежность, а ограниченные возможности, то непонятно, как они могут стать образцом для создания безопасного сверхразума. Может быть, потребность в УИИ можно удовлетворить за счет расширения диапазона задач, решаемых обычным ПО? Но диапазон и разнообразие задач, которые ИИ успешно решил бы в современных условиях, огромен. Вряд ли для их решения возможно создать ПО специального назначения. Но даже если это и можно сделать, такой проект занял бы слишком много времени. Еще до его завершения обязательно изменится сущность самого задания, поскольку одни проблемы утратят свою злободневность, а другие, пока еще невыявленные, станут актуальными. Наличие программы, которая может самостоятельно учиться решать новые задачи и, более того, формулировать их, а не только справляться с чужими формулировками, дало бы нам огромные преимущества. Но тогда нужно, чтобы программа имела возможность учиться, мыслить и планировать, причем делать это на высоком уровне и не ограничиваться одной или несколькими областями знаний. Иными словами, нужно, чтобы она обладала общим уровнем интеллекта.
В нашем случае особенно важна задача разработки самого ПО. С практической точки зрения огромный выигрыш дала бы автоматизация этого процесса. Хотя такой же критически важной является и способность к быстрому самосовершенствованию, ведь именно она позволяет зародышу ИИ обеспечить взрывное развитие интеллекта.
Если наличие общего уровня интеллекта не является обязательным, существуют ли иные способы реализовать идею ИИ-инструмента так, чтобы он не вырвался за рамки пассивного «решателя» задач? Возможен ли ИИ, не являющийся агентом? Интуиция подсказывает, что безопасным обычное ПО делает не ограниченность его возможностей, а отсутствие амбиций. В Excel нет подпрограмм, тайно мечтающих завоевать мир, будь у них соответствующие возможности. Электронные таблицы вообще ничего не «хотят», они всего лишь слепо выполняют команды, записанные в их код. Может возникнуть вопрос: что мешает нам создать программу такого же типа, но обладающую более развитым интеллектом? Например, оракула, который в ответ на описание цели выдал бы план ее достижения, так же как Excel в ответ на ввод чисел в ячейки выдает их сумму, то есть не имея никаких «предпочтений» относительно результата своих расчетов или того, как люди могут им воспользоваться?
