Приближение или откладывание взрывного развития искусственного интеллекта — не единственный канал, посредством которого прогресс в области аппаратного обеспечения способен повлиять на экзистенциальный риск. Еще одна возможность заключается в том, что аппаратное обеспечение может до некоторой степени заменить программное: более совершенная аппаратная основа снижает требования к минимальному уровню навыков, которые требуются для создания кода зародыша ИИ. Быстрые компьютеры могут также стимулировать использование подходов, которые больше полагаются на полный перебор (вроде генетических алгоритмов и прочих методов, работающих по схеме «генерация–оценка–уничтожение») и меньше — на техники, требующие глубокого понимания ситуации. Если в результате использования методов полного перебора, как правило, возникают системы с более беспорядочной и менее точной архитектурой, где проблему контроля решить труднее, чем в системах с более точно спроектированной и теоретически предсказуемой архитектурой, то это означает еще одну причину, по которой более быстрые компьютеры увеличивают экзистенциальный риск.
Еще одно соображение состоит в том, что быстрый прогресс в области аппаратного обеспечения повышает вероятность быстрого взлета. Чем больших успехов добивается индустрия микропроцессоров, тем меньше человеко-часов требуется программистам для вывода возможностей компьютеров на новый уровень производительности. Это значит, что взрывное развитие искусственного интеллекта вряд ли произойдет на самом нижнем уровне производительности аппаратного обеспечения. То есть более вероятно, что такой взрыв случится тогда, когда компьютеры окажутся на гораздо более высоком уровне развития. Это означает, что взлет произойдет в условиях «аппаратного навеса». Как мы видели в четвертой главе, аппаратный навес — один из многих факторов, снижающих сопротивляемость системы в процессе взлета. А значит, быстрый прогресс в области аппаратного обеспечения, скорее всего, приведет к более быстрому и взрывоопасному переходу к сверхразуму.
Быстрый взлет за счет так называемого аппаратного навеса может разными путями оказывать влияние на риски перехода. Наиболее очевидно, что при быстром взлете остается меньше возможностей отреагировать и внести корректировки в процесс перехода, что повышает связанные с ним риски. Кроме того, в случае аппаратного навеса снижаются шансы, что потенциально опасный зародыш ИИ, приступивший к самосовершенствованию, будет удачно изолирован и не допущен к достаточному объему вычислительных ресурсов, поскольку чем быстрее процессоры, тем меньше их требуется, чтобы ИИ быстро развился до уровня сверхразума. Еще один эффект аппаратного навеса заключается в том, что он уравнивает шансы мелких и крупных проектов, снижая преимущества крупных в более мощном компьютерном парке. Он также повышает экзистенциальный риск, поскольку в рамках крупных проектов выше вероятность решить проблему контроля и установить более приемлемые с этической точки зрения цели
[552].
У быстрого взлета есть свои преимущества. Он увеличивает вероятность того, что будет сформирован синглтон. Если формирование синглтона важно для решения проблемы постпереходной координации, может иметь смысл пойти на более высокий риск в ходе взрывного развития искусственного интеллекта, чтобы снизить риск катастрофических последствий провала координационных усилий после него.
Успехи в сфере вычислений могут повлиять на исход революции машинного интеллекта не только прямо, но и косвенно, благодаря своему влиянию на общество и опосредованному участию в формировании условий для взрывного развития искусственного интеллекта. Скажем, интернет, для развития которого требуется массовое производство недорогих компьютеров, влияет на деятельность людей во многих областях, включая работу над созданием искусственного интеллекта и исследования по проблеме контроля. (Эта книга, скорее всего, не была бы написана, и вы могли бы остаться без нее, не будь интернета.) Однако аппаратное обеспечение уже довольно хорошо развито, чтобы появились отличные приложения, облегчающие людям работу, общение, размышления, — поэтому неясно, действительно ли прогресс в этих областях сдерживается скоростью его совершенствования
[553].
Итак, представляется, что с объективной точки зрения более быстрый прогресс в области развития аппаратного обеспечения нежелателен. Это предварительное заключение может быть опровергнуто, например, если окажется, что другие экзистенциальные риски или риски, связанные с провалом постпереходной координации, окажутся чрезвычайно высокими. В любом случае, похоже, трудно еще сильнее полагаться на скорость совершенствования оборудования. А значит, наши усилия по улучшению исходных условий взрывного развития искусственного интеллекта следует сосредоточить на других параметрах общего стратегического процесса.
Обратите внимание, что даже если мы не знаем, как влиять на тот или иной параметр, может быть полезно для начала работы над стратегией хотя бы определить «знак» этого влияния (то есть понять, что лучше — увеличивать или уменьшать значение параметра). А точку опоры для воздействия на выбранный параметр можно будет отыскать и позже. Возможно также, что знак одного параметра коррелирует со знаком какого-то другого, которым легче манипулировать, и тогда наш исходный анализ помог бы нам решить, что с ним делать.
Следует ли стимулировать исследования в области полной эмуляции головного мозга?
Чем труднее кажется проблема контроля в случае искусственного интеллекта, тем более соблазнительным представляется движение по пути создания имитационной модели мозга в качестве менее рискованной альтернативы. Однако есть некоторые сложности, которые стоит проанализировать, прежде чем делать окончательные выводы
[554].
