Сейчас складывается ощущение, что прогресса в области философии можно достигнуть, двигаясь окольными путями, а не за счет непосредственного философствования. Одной из многих задач, в решении которых сверхразум (и даже слегка улучшенный человеческий интеллект) мог бы опередить современных мыслителей, является задача ответа на фундаментальные научные и философские вопросы. Эта мысль предполагает следование стратегии отложенного удовольствия. Мы могли бы отложить ненадолго работу над вечными вопросами, делегировав эту задачу нашим, будем надеяться, более компетентным потомкам, чтобы сосредоточить свое внимание на более неотложной проблеме: повышении шансов того, что у нас вообще будут компетентные потомки. Вот это и называют настоящей философией и настоящей математикой
[583].
Что нужно делать?
Таким образом, нам следует сосредоточить силы на проблемах, не просто важных, но неотложных в том смысле, что их нужно разрешить раньше, чем произойдет взрывное развитие интеллекта. И воздерживаться от работы над задачами с отрицательной ценностью (то есть решение которых принесет вред). Отрицательную ценность могут иметь некоторые технические задачи в области искусственного интеллекта, поскольку их решение может подстегнуть развитие этого направления, опережающее создание методов контроля, которые все-таки призваны помочь человечеству пережить революцию машинного интеллекта и получить выгоду от нее.
Довольно нелегко определить проблемы, которые одновременно являются важными, срочными и имеющими абсолютно положительную ценность. Стратегическая неопределенность, присущая попыткам снизить экзистенциальные риски, приводит к тому, что даже действия, предпринятые с самыми добрыми намерениями, могут оказаться не только непродуктивными, но даже неконструктивными. Чтобы ограничить риск совершения действий, способных принести реальный вред или оказаться ошибочными с этической точки зрения, нам следует работать лишь над теми проблемами, которые, как представляется, обладают строго положительной ценностью (например, решение которых помогает получить положительный исход в широком спектре сценариев), и применять инструменты исключительно допустимые (например, приемлемые с точки зрения широкого спектра этических норм).
При расстановке приоритетов есть и другое соображение, которое следует учитывать. Мы хотим работать над проблемами, которые эластичны к нашим усилиям по их решению. Высокоэластичные проблемы — это такие, которые в результате приложения дополнительной единицы усилий могут быть решены гораздо быстрее и в гораздо большей степени. Сделать мир добрее — задача явно важная и срочная, более того, имеющая строго положительную ценность, однако из-за отсутствия прорывных идей — как именно этого можно добиться — она предстает совершенно неэластичной. Точно так же крайне желательно было бы обеспечить мир во всем мире, но учитывая огромные усилия, уже направленные на решение этой задачи, и серьезные препятствия, не позволяющие сделать это быстро, кажется маловероятным, что вклад еще нескольких человек будет иметь какое-то принципиальное значение.
Чтобы снизить риски, связанные с революцией машинного интеллекта, мы предложили бы две цели, которые, по всей видимости, удовлетворяют всем высказанным пожеланиям: это стратегический анализ и создание возможностей. Мы можем быть уверенными в положительной ценности этих параметров, поскольку стратегическое понимание и большие возможности — это благо. Более того, они эластичны: небольшие дополнительные инвестиции способны привести к сравнительно большим изменениям. Срочность этой задачи также очевидна — обеспечив понимание и создав новые возможности сейчас, можно будет более эффективно прилагать усилия в будущем. Кроме этих двух крупных целей можно предложить еще несколько других, также достойных нашего внимания.
В поисках стратегии
В условиях растерянности и неопределенности стратегический анализ представляется задачей, имеющей особенно высокую ожидаемую полезность
[584]. Понимание ситуации, в которой мы находимся, поможет нам действовать более эффективно. Особенно полезен стратегический анализ в том случае, если мы не уверены не только во второстепенных деталях, но и главных аспектах проблем. Часто неопределенность связана даже со знаком многих ключевых параметров: то есть неизвестно, какое направление изменений желательно, а какое — нет. Наше незнание может иметь непоправимые последствия. Однако область эта изучена мало, и сверкающие стратегические озарения могут ожидать нас совсем близко, стоит лишь сделать первый шаг.
Под «стратегическим анализом» мы понимаем здесь поиск критически важных соображений: идей и аргументов, обладающих потенциалом изменить наши взгляды не столько на детали реализации плана, сколько на общую топологию желательного
[585]. Даже единственное упущенное из виду критически важное соображение способно обесценить наши самые напряженные усилия или вовсе обратить их во вред — как в случае солдата, воюющего за неправую сторону. Поиск критически важных соображений (в ходе которых приходится изучать как нормативные, так и дескриптивные вопросы) часто предполагает пересечение границы между различными научными дисциплинами и другими областями знаний. Поскольку устоявшейся методологии проведения такого рода исследований пока не существует, они требуют напряженных размышлений буквально с чистого листа.
В поисках возможностей
Еще одним ценным видом деятельности, для которого характерно такое же, как у стратегического анализа, свойство пользы в случае реализации широкого спектра сценариев, является создание хорошо организованной базы поддержки идеи, что к будущему следует относиться серьезно. При наличии такой базы немедленно появятся ресурсы для проведения аналитических исследований. Если приоритеты изменятся, соответственно можно будет перераспределить и ресурсы. То есть база поддержки и станет той самой возможностью, использование которой будет определяться новыми идеями (по мере их появления).
