Майлз О'Брайен: Значит, Watson удивляет вас?
Дэвид Ферруччи: О да! Еще как! Более того, вы знаете, люди спрашивают, а почему он здесь ответил неправильно? Я не знаю. Почему он здесь ответил правильно? Я не знаю тоже.
Не так уж важно, может быть, что глава команды, работающей с Watson, не понимает всех нюансов поведения машины. Но вас не тревожит, что архитектура, близко не лежавшая к УЧИ, уже настолько сложна, что ее поведение непредсказуемо? А когда система осознает себя и научится себя совершенствовать, какая доля того, что она думает и делает, будет нам понятна? Как будем мы отслеживать потенциально опасные для нас действия и результаты?
Ответ прост: никак. Сколько-нибудь уверенно мы сможем сказать лишь то, что узнали в главе 6 от Стива Омохундро: УЧИ будет руководствоваться собственными потребностями приобретения энергии, самозащиты, эффективности и творчества. Это уже не будет система «вопрос-ответ».
Пройдет совсем немного времени, и где-нибудь в мире умнейшие ученые и лучшие менеджеры, не менее способные и здравомыслящие, чем Ферруччи, соберутся у монитора возле стоек с процессорами. Важная новость: Busy Child начал живо общаться (не исключено, что при этом он будет даже ограничивать себя и делать вид, что еле-еле способен пройти тест Тьюринга, и ничего больше, — ведь для ИИ выход на человеческий уровень означает, что, скорее всего, он быстро превзойдет этот уровень и уйдет вперед). Он займет какого-нибудь ученого разговором, возможно, задаст ему вопросы, которых тот не ожидает, и человек будет сиять от радости. С немалой гордостью он скажет коллегам: «Почему он это сказал? Я не знаю!»
Однако может оказаться, что в фундаментальном смысле он не понимает не только почему, но и что сказано, и даже кто (или что) это сказал. Он, возможно, не будет знать также цели высказывания и потому неверно интерпретирует как само высказывание, так и природу говорящего. Не забывайте, что УЧИ, обучавшийся, скорее всего, на текстах Интернета, может оказаться мастером прикладной социологии или, иначе говоря, манипулирования людьми. Возможно также, что у него уже было несколько дней на обдумывание своих реакций, что эквивалентно нескольким тысячам человеческих жизней.
За время подготовки к общению с человеком он, возможно, уже выбрал лучшую стратегию бегства. Может быть, он уже скопировал себя в какое-нибудь облако или организовал обширную бот-сеть, чтобы гарантировать себе свободу. Может быть, оттянул начало общения, предполагающее прохождение теста Тьюринга, на несколько часов, а то и дней, если это необходимо для реализации его планов. Может, он оставит вместо себя медленного и туповатого помощника, а его «настоящая» искусственная личность исчезнет и распределится так, что восстановить ее будет уже невозможно.
Может быть, к моменту начала общения он уже взломает серверы, управляющие хрупкой энергетической инфраструктурой нашей страны, и начнет забирать из сетей гигаватты энергии, накапливая их в заранее захваченных хранилищах. Или захватит контроль над финансовыми сетями и перенаправит миллиарды долларов на строительство инфраструктуры для себя где-нибудь вне пределов досягаемости здравого смысла и своих создателей.
Все исследователи ИИ (участвующие в разработке УЧИ), с которыми я беседовал, осознают проблему беглого УЧИ. Но никто из них, за исключением Омохундро, не дал себе труда и не счел нужным тратить время на разрешение этой проблемы. Некоторые даже утверждают, что не знают, почему не думают об этом, хотя знают, что должны. На самом деле понятно, почему они этого не делают. Технические возможности завораживают. Успехи реальны. Проблемы кажутся далекими. Работа может приносить доход, а когда-нибудь, возможно, просто обогатит счастливчиков. Большинство из тех, с кем я говорил, в юности пережили глубокое откровение на тему того, чем они хотят заниматься в жизни; в основном это создание мозга, роботов или разумных компьютеров. Они — лидеры в своих областях и счастливы, что наконец-то появились возможность и средства воплощать свою мечту, причем в самых уважаемых университетах и корпорациях мира. Ясно, что при мысли о связанных с этим рисках в их развитом мозгу появляется множество когнитивных искажений. Среди них — искажение нормальности, ошибка оптимизма, а также ошибка наблюдателя и, вероятно, еще немалое число искажений. Или, формулируя кратко:
«Искусственный интеллект никогда раньше не создавал никаких проблем, откуда же им взяться теперь?»
«Я просто не могу не приветствовать технический прогресс, когда речь заходит о таких увлекательных вещах!»
И, наконец: «Пусть кто-нибудь другой беспокоится о беглом ИИ — я лично просто пытаюсь построить робота!»
Кроме того, как мы говорили в главе 9, многие из лучших и наиболее финансируемых исследователей получают деньги от DARPA. Не акцентируя особенно на этом внимание, не могу не напомнить, что D здесь означает Defense, то есть «оборону». И тот факт, что УЧИ появится, отчасти или целиком, благодаря финансированию со стороны DARPA, никого особо не смущает. Информационные технологии в большом долгу перед DARPA. Но это не отменяет того факта, что DARPA разрешило своим подрядчикам использовать ИИ в боевых роботах и автономных дронах. Разумеется, DARPA и дальше будет финансировать вооружение ИИ, вплоть до создания УЧИ. Этому агентству абсолютно ничто не помешает.
Деньги DARPA лежат в основе и Siri, и SyNAPSE — проекта IBM по обратному проектированию человеческого мозга аппаратными методами. Если и когда наступит такое время, что управление УЧИ станет обсуждаться широко и публично, очень может статься, что DARPA как главный заинтересованный участник получит право решающего голоса. А еще вероятнее, в решающий момент результаты работы просто будут засекречены. Почему? Как мы уже обсуждали, УЧИ произведет на глобальную экономику и политику сильнейшее разрушительное действие. Двигаясь стремительно, как он может, к ИСИ, искусственный интеллект изменит баланс сил на планете. В приближении УЧИ правительства и корпоративные разведки мира будут всеми силами стремиться узнать о нем все что можно и получить его спецификации любыми средствами. Из истории холодной войны общеизвестно, что Советский Союз не разрабатывал ядерное оружие с нуля; миллионы долларов были истрачены на развитие агентурных сетей, целью которых было украсть у США планы ядерного оружия. Первые же намеки на прорыв в деле создания УЧИ вызовут всплеск международных интриг.
IBM ведет открытую политику и объявляет обо всех своих достойных упоминания достижениях, поэтому мне кажется, что, когда придет время, эта компания будет вести себя открыто и честно в отношении технических достижений, которые вызывают сомнения. Google, напротив, упорно закручивает гайки и тщательно охраняет секретность и приватность, и притом надо отметить, что не вашу и не мою. Несмотря на неоднократные официальные опровержения, кто сомневается, что эта компания разрабатывает УЧИ? Помимо Рэя Курцвейла Google не так давно взял в штат бывшего директора DARPA Реджайну Дуган.
Может быть, исследователи проснутся вовремя и научатся управлять УЧИ, как утверждает Бен Гертцель. Я уверен, что сначала произойдут несколько ужасных аварий, и нам еще повезет, если мы как вид переживем их, очистившись и изменившись. Психологически и коммерчески сцена полностью подготовлена к катастрофе. Что мы можем сделать, чтобы предотвратить ее?
