В любом случае мне не кажется, что нас ожидает радостная сингулярность, которую он описывает. ИИ, разработанный без достаточных предосторожностей, не позволит ей реализоваться.
Движение к созданию УЧИ неотвратимо и, вероятно, неуправляемо. А из-за динамики удваивания, выраженной Законом прогрессирующей отдачи, УЧИ появится на мировой сцене (и захватит ее) намного скорее, чем мы думаем.
Глава 10
Сингуляритарий
В отличие от нашего интеллекта, компьютеры удваивают производительность каждые восемнадцать месяцев. Так что вполне реальна опасность, что они могли бы развить интеллект и захватить власть над миром.
Стивен Хокинг, физик
В ближайшие тридцать лет мы получим техническую возможность создать сверхчеловеческий интеллект. Вскоре после этого человеческая эпоха закончится. Можно ли избежать такого прогресса? Если избежать нельзя, то можно ли так направить события, чтобы мы могли уцелеть?
Вернор Виндж, писатель, профессор, компьютерщик
Ежегодно, начиная с 2005 г., Исследовательский институт искусственного интеллекта проводит конференцию по сингулярности. В течение двух дней выступающие вещают перед аудиторией примерно в тысячу человек о сингулярности в самых разных аспектах — о ее влиянии на рынок труда и экономику, здравоохранение и продолжительность жизни, о ее этических последствиях. В 2011 г. среди выступавших в Нью-Йорке были научные легенды. Среди них математик Стивен Вольфрам и доткомовский миллиардер Питер Тиль, который дает талантливым подросткам-технарям деньги, чтобы они вместо учебы в колледже основывали собственные компании. Был там и Дэвид Ферруччи, научный руководитель проекта DeepQA/Watson. Непременно выступает Елиезер Юдковски, и, как правило, находится пара специалистов по этике и представителей экстропианского и трансгуманистического сообществ. Экстропианцы исследуют технологии и медицинские методики, которые позволят человеку жить вечно. Трансгуманисты думают о технических приспособлениях и косметических способах повышения человеческих способностей, красоты и… возможности жить вечно. И над всем этим разнообразием тем и фракций возвышается колосс сингулярности, один из основателей Конференции по сингулярности и звезда каждого такого собрания Рэй Курцвейл.
Темой конференции 2011 г. был компьютер Watson проекта DeepQA (ответы на вопросы) фирмы IBM. Курцвейл провел рутинную презентацию по истории чат-ботов и систем ответов на вопросы под названием «От Eliza к Watson». Но в середине, заметно оживившись, он резко раскритиковал неуклюжее эссе, направленное против гипотезы сингулярности, одним из соавторов которого выступил сооснователь Microsoft Пол Аллен.
Курцвейл выглядел неважно — исхудал, слегка прихрамывал, вел себя тише обычного. Вообще, он не из тех ораторов, которые легко захватывают внимание зала или пересыпают свою речь шутками. Напротив, он говорит всегда мягко и даже чуть механистично; его речь, кажется, лучше всего приспособлена для переговоров с похитителями людей или рассказывания вечерних сказок. Но на фоне тех революционных идей, о которых он обычно говорит, такая манера срабатывает неплохо. В век, когда доткомовские миллиардеры проводят презентации в отглаженных джинсах, Курцвейл выходит к аудитории не иначе как в старомодных коричневых брюках, кожаных мокасинах с кисточками, спортивном пиджаке и очках. Он человек средних габаритов, но в последнее время заметно постарел, особенно по сравнению с энергичным Курцвейлом из моих воспоминаний. Ему было всего лишь 52 года, когда я в последний раз брал у него интервью, и он тогда еще не перешел на питание с интенсивным снижением калорийности; сегодня это часть его планов по замедлению старения. Точно подобрав рацион питания и пищевых добавок, а также занятий физкультурой, Курцвейл планирует дожить до дня, когда будет найдено лекарство от смерти. В том, что оно будет найдено, он не сомневается.
«Я оптимист. Как изобретатель я просто обязан быть оптимистом».
После выступления Курцвейла мы с ним сидели рядом на металлических стульях в небольшой гостиной этажом выше зала. За дверью возможности пообщаться с ним не было — после меня ожидала съемочная группа какого-то документального фильма. Всего десять лет назад, когда он был не очень знаменитым изобретателем и писателем, я со своей собственной съемочной группой монополизировал его на три очень приятных часа; теперь же он стал фактически символом, и на его внимание я мог рассчитывать ровно до тех пор, пока мне удавалось держать дверь запертой. Я тоже изменился — во время первой встречи меня ошеломила мысль о том, что когда-нибудь станет возможным подключить мой мозг к компьютеру, как описано в «Духовных машинах». Мои вопросы были не жестче мыльных пузырей. Теперь я стал циничнее и мудрее по отношению к опасностям, которые самого мэтра уже не интересуют.
«Я достаточно много говорю об опасности в книге "Сингулярность рядом", — запротестовал Курцвейл, когда я спросил, не делает ли он слишком сильный акцент на позитивных перспективах сингулярности и не преуменьшает ли ее опасности. — В главе 8 речь идет об опасных перспективах переплетенных ГНР [генетики, нанотехнологий и робототехники], и я в милых живописных подробностях описываю отрицательные стороны этих трех областей техники. А отрицательная сторона робототехники, под которой на самом деле подразумевается ИИ, наиболее серьезна, потому что интеллект — самый значительный феномен в мире. Следовательно, от сильного ИИ не существует абсолютно надежной защиты».
В книге Курцвейла действительно подчеркиваются опасности генной инженерии и нанотехнологий, однако мощному ИИ, как раньше называли УЧИ, посвящено всего несколько «беззубых» страниц. Кроме того, в этой главе автор утверждает, что отказ от некоторых слишком опасных технологий, как предлагают Билл Джой и другие, — это идея не просто плохая, а аморальная. Я согласен с тем, что такой отказ практически невозможен. Но аморален ли он?
Отказ от технологий аморален потому, что в этом случае мы отказываемся от громадной пользы. В нашей жизни по-прежнему много страдания, которое можно преодолеть; существует моральный императив преодолеть его. Кроме того, отказ от технологий потребовал бы тоталитарной системы, поскольку только ей под силу обеспечить запрет. И, что самое важное, все равно ничего не получится. Технологии будут просто загнаны в подполье, где у безответственных исследователей вообще не будет никаких ограничений. Ответственные ученые, которым будет поручена разработка защиты, не получат доступ к необходимым для этого инструментам. В результате ситуация окажется еще более опасной.
Курцвейл критикует так называемый Принцип предосторожности, исходящий от движения за охрану окружающей среды; это, как и отказ от технологий, его мишень в нашем разговоре. Но важно точно сформулировать этот принцип и посмотреть, почему в нем нет особого смысла. Принцип предосторожности гласит: «Если последствия некоего действия неизвестны, но некоторые ученые считают, что они, хотя бы с небольшой вероятностью, могут оказаться резко отрицательными, то лучше не производить действие, чреватое отрицательными последствиями». Этот принцип применяется не особенно часто и не особенно строго. Он положил бы конец любой предположительно опасной технологии, если бы «некоторые ученые» опасались ее, даже если бы они не могли точно сформулировать, каким образом это действие приведет к нежелательному результату.
