Примечания книги Искусственный интеллект. Этапы. Угрозы. Стратегии. Автор книги Ник Бостром

1

Должен признать, не все примечания содержат ценную информацию.

2

Вряд ли смогу сказать, что именно изложено корректно.

3

Гоминиды (лат. Hominidae) — высокоорганизованное семейство человекообразных обезьян; гоминид, человек ископаемый, представляет собой промежуточное звено между приматом и человеком разумным. (Прим. ред.)

4

В настоящее время доход на уровне прожиточного минимума равен примерно 400 долларов [Chen, Ravallion 2010]. Следовательно, для 1 млн человек эта сумма будет равняться 400 000 000 долларам. Мировой ВВП составляет около 60 000 000 000 000 долларов и растет с темпом четыре процента в год (учитывается среднегодовой темп роста с 1950 года, см. данные: [Maddison 2010]). Цифры, приведенные мною в тексте, основаны на этих данных, хотя они представляют всего лишь оценку порядка величины. Если проанализировать сегодняшнюю численность людей на Земле, то выяснится, что в среднем она увеличивается на 1 млн человек за полторы недели; но подобный темп прироста населения лимитирует скорость экономического развития, поскольку доход на душу населения растет тоже. При переходе к животноводству и земледелию население планеты выросло к 5000 году до н. э. на 1 млн человек за 200 лет — огромное ускорение по сравнению с эпохой гоминидов, когда на это требовалось 1 млн лет, — поэтому после неолитической, или сельскохозяйственной, революции прогресс пошел значительно быстрее. Тем не менее, согласитесь, не может не впечатлять, что семь тысяч лет назад на экономическое развитие требовалось 200 лет, тогда как сегодня приросту на ту же величину хватает полутора часов для мировых экономик и полутора недель для населения планеты. См. также [Maddison 2005].

5

Резкий рост и значительное ускорение подтверждают предположение о возможном приближении к точке сингулярности; в свое время это предвидели математики Джон фон Нейман и Станислав Улам:

Чаще всего мы вели беседы на такие темы, как ускорение технического прогресса и общие перемены, влияющие на образ жизни человека. Наблюдая стремительные изменения, мы понимали, что исторически вся наша гонка неизбежно приведет человечество к некой неустранимой точке; перейдя ее, люди уже не смогут продолжать ту деятельность, к которой мы все так привыкли [Ulam 1958].

6

См.: [Hanson 2000].

7

См.: [Vinge 1993; Kurzweil 2005].

8

См.: [Sandberg 2010].

9

См.: [Van Zanden 2003; Maddison 1999; Maddison 2001; De Long 1998].

10

Два часто повторяемых в 1960-е гг. оптимистичных утверждения: «Через двадцать лет машины смогут выполнять всю работу, которую делают люди» [Simon 1965, p. 96]; «В течение жизни нашего поколения… задача создания искусственного интеллекта будет в целом решена» [Minsky 1967, p. 2]. Системное исследование прогнозов см.: [Armstrong, Sotala 2012].

11

См., например: [Baum et al. 2011; Armstrong, Sotala 2012].

12

По моему предположению, исследователи, работающие в области ИИ, сами не отдают себе отчета, что довольно плохо представляют, сколько времени требуется на его создание; причем данное обстоятельство может сказаться на оценке срока разработки: как в сторону завышения, так и занижения.

13

См.: [Good 1965, p. 33].

14

Согласно Центру по изучению экзистенциальных рисков (Кембридж), таковыми считаются потенциальные угрозы для человечества: искусственный интеллект, изменение климата, ядерное оружие, биотехнологии. (Прим. ред.)

15

Одним из немногих, кто выражал беспокойство по поводу возможных результатов, был Норберт Винер, в 1960 году писавший в статье «Некоторые моральные и технические последствия автоматизации» [Wiener 1960]:

Если для достижения собственных целей мы используем некое механическое устройство, на деятельность которого после его запуска уже не в состоянии повлиять, поскольку его действия настолько быстры и небратимы, что информация о необходимости вмешательства у нас появляется, лишь когда они завершатся, то в таких случаях хорошо бы быть полностью уверенными, что заложенная нами в машину цель действительно соответствует нашим истинным желаниям, а не является красочной имитацией.

О тревоге, связанной с возможным появлением сверхразумных машин, рассказал в своем интервью Эд Фредкин [McCorduck 1979]). Ирвинг Гуд продолжал говорить о возможных рисках и, чтобы предотвратить грозящую планете опасность, в 1970 году даже призвал к созданию ассоциации [Good 1970]; в более поздней статье он предвосхитил некоторые идеи косвенной нормативности [Good 1982] (мы их обсудим в главе 13). На принципиальные проблемные вопросы указал в 1984 году Марвин Мински [Minsky 1984].

16

См.: [Yudkowsky 2008a]. На необходимость дать оценку этическим аспектам потенциально опасных будущих технологий прежде, чем они станут реальностью, указывала Ребекка Роуч [Roache 2008].

17

Альфред Уайтхед, Бертран Рассел. Основания математики. В 3 т. / Под ред. Г. П. Ярового, Ю. Н. Радаева. Самара: Самарский университет, 2005–2006. (Прим. ред.)

18

См.: [McCorduck 1979].

19

См.: [Newell et al. 1959].

20

Программы Saints, Analogy и Student соответственно, см.: [Slagle 1963; Evans 1964; Evans 1968; Bobrow 1968].

21

См.: [Nilsson 1984].

22

См.: [Weizenbaum 1966].

23

См.: [Winograd 1972].

24

См.: [Cope 1996; Weizenbaum 1976; Moravec 1980; Thrun et al. 2006; Buehler et al. 2009; Koza et al. 2003]. Первая лицензия на право пользоваться беспилотным автомобилем выдана управлением транспортных средств штата Невада в мае 2012 года.

25

Система STANDUP [Ritchie et al. 2007].

26

Эти слова Хьюберта Дрейфуса как характерный пример общего скептического отношения к предмету обсуждения приводит в своей статье «Пределы искусственного интеллекта» Джекоб Шварц [Schwartz 1987].

27

В то время одним из самых неистовых и ярких противников ИИ считался Хьюберт Дрейфус, но и другие критики были не менее знамениты и заметны, например Джон Лукас, Роджер Пенроуз и Джон Сёрл. Дрейфус, опровергая работы ведущих исследователей, главным образом подвергал сомнению практическую пользу, которую сможет принести существовавшая на тот момент парадигма ИИ (причем, похоже, он не исключал появления более удачных концепций). Сёрл, будучи философом, прежде всего интересовался не инструментальными средствами для разработки ИИ, а тем, как решаются проблемы сознания, в частности, с точки зрения теории функциональных систем. Лукас и Пенроуз в принципе отрицали, что в рамках парадигмы классического компьютера можно разработать программное обеспечение, думающее и дышащее лучше живого математика; однако оба допускали и автоматизацию отдельных функций, и создание таких мощных инструментальных средств, которые в конечном счете приведут к появлению ИИ. И хотя Цицерон в трактате «О прорицании» (De divinatione) (Марк Туллий Цицерон. О дивинации. Философский трактат в двух книгах // Марк Туллий Цицерон. Философские трактаты. М. : Наука, 1985. (Прим. ред.)) заметил, что «нет такого абсурда, который нельзя было бы найти в книгах философов» [Cicero. On Divination, 119], как ни странно, мне трудно вспомнить хотя бы одного серьезного ученого и просто мыслящего человека, отрицавшего возможность создания искусственного интеллекта — в том значении этого термина, который используется в настоящей книге.

28

Однако во многих приложениях процесс обучения нейронных сетей несколько отличается от модели линейной регрессии — статистического метода, разработанного в начале XIX века Адриеном-Мари Лежандром и Карлом Фридрихом Гауссом.

29

Основной алгоритм был описан в 1969 году Артуром Брайсоном и Юй-Чи Хо как многошаговый метод динамической оптимизации [Bryson, Ho 1969]. Применить его к нейронным сетям предложил в 1974 году Пол Вербос [Werbos 1994], но признание у научного сообщества этот метод получил лишь в 1986 году после работы Дэвида Румельхарта, Джеффри Хинтона и Рональда Уильямса [Rumelhart et al. 1986].

30

Ранее было показано, что функциональность сетей без скрытых слоев серьезно ограничена [Minsky, Papert 1969].

31

Коннективизм, или коннекционизм (connectionism), — моделирует в сетях мыслительные и поведенческие явления из взаимосвязанных простых элементов; на самом деле понятие коннективизма возникло намного раньше самих искусственных нейронных систем; как подход он применяется не только в области искусственного интеллекта, но и в философии сознания, психологии, когнитивистике. (Прим. ред.)

32

См., например: [MacKay 2003].

33

См.: [Murphy 2012].

34

См.: [Pearl 2009].

35

Мы сознательно опускаем различные технические подробности, чтобы не перегружать повествование. К некоторым из них будет возможность вернуться в главе 12.

36

Программа p генерирует полное описание строки x, если p, запущенная на (некоторой) универсальной машине Тьюринга U, выдает x; это можно записать как U(p) = x. (Здесь строка x представляет любой возможный мир.) Тогда колмогоровская сложность x равна K(x) = min_p {l(p) : U(p) = x}, где l(p) — это длина p в битах. Соломоновская вероятность x определяется как , где сумма задана над всеми («минимальными», то есть не обязательно останавливающимися) программами p, для которых U выдает строку, начинающуюся с x; см.: [Hutter 2005].

37

Байесово обусловливание с учетом свидетельства Е дает (вероятность утверждения [например, Е] есть сумма вероятностей возможных миров, в которых это утверждение истинно.)

38

Или случайным образом выбирает одно из возможных действий с максимальной ожидаемой полезностью, если их несколько.

39

Более сжато ожидаемая полезность действия может быть записана как , где сумма берется по всем возможным мирам.

40

См., например: [Howson, Urbach 1993; Bernardo, Smith 1994; Russell, Norvig 2010].

41

См.: [Wainwright, Jordan 2008]. У байесовских сетей бесчисленное количество областей применения; см., например: [Pourret et al. 2008].

42

Возможно, некоторые читатели, сочтя это направление не слишком серьезным, зададут вопрос: зачем уделять столь пристальное внимание компьютерным играм? Дело в том, что игровые интеллектуальные системы, пожалуй, дают самое наглядное представление о сравнительных возможностях человека и машины.

43

См.: [Samuel 1959; Schaeffer 1997, ch. 6].

44

См.: [Schaeffer et al. 2007].

45

См.: [Berliner 1980 a; Berliner 1980 b].

46

См.: [Tesauro 1995].

47

В частности, такие программы по игре в нарды, как GNU [Silver 2006] и Snowie [Gammoned.net, 2012].

48

Процессом создания космического флота и битвами руководил сам Дуглас Ленат, написавший по этому поводу: «Итак, победа стала заслугой и Лената, и Eurisco — в пропорции 60 : 40. Основной момент тем не менее состоит в том, что в одиночку ни я, ни программа никогда не справились бы» [Lenat 1983, p. 80].

49

См.: [Lenat 1982; Lenat 1983].

50

См.: [Cirasella, Kopec 2006].

51

См.: [Kasparov 1996, p. 55].

52

См.: [Newborn 2011].

53

См.: [Keim et al. 1999].

54

См.: [Armstrong 2012].

55

См.: [Sheppard 2002].

56

См.: [Wikipedia, 2012 a].

57

См.: [Markoff 2011].

58

См.: [Rubin, Watson 2011].

59

См.: [Elyasaf et al. 2011].

60

См.: [KGS, 2012].

61

См.: [Newell et al. 1958, p. 320].

62

См.: [Vardi 2012].

63

Ирвинг Гуд предполагал в 1976 году:

Появление программного обеспечения, не уступающего по своему потенциалу гроссмейстерскому уровню, будет означать, что мы уже стоим на пороге <создания искусственного сверхразума. — Н. Б.> [Good 1976].

Даглас Хофштадтер писал в 1979 году в книге «Гёдель, Эшер, Бах», за которую в 1980-м он получит Пулитцеровскую премию:

Вопрос: Будут ли такие шахматные программы, которые смогут выиграть у кого угодно?

Возможный ответ: Нет. Могут быть созданы программы, которые смогут обыгрывать кого угодно, но они не будут исключительно шахматными программами. Они будут программами общего разума и, так же как люди, они будут обладать характером. «Хотите сыграть партию в шахматы?» — «Нет, шахматы мне уже надоели. Лучше давайте поговорим о поэзии…» (Даглас Хофштадтер. Гёдель, Эшер, Бах. Эта бесконечная гирлянда / Пер. с англ. М. А. Эскиной. Самара: Издательский дом «Бахрах-М», 2001. С. 635. (Прим. ред.)) [Hofstadter 1999, p. 678].

64

Минимаксный алгоритм поиска с альфа-бета отсечениями использовался совместно со специфической для шахмат функцией эвристической оценки позиций — это дало в сочетании с удачной библиотекой дебютов и эндшпилей, а также другими хитростями, очень сильную шахматную программу.

65

Впрочем, учитывая достижения в изучении оценочной эвристики в ходе моделирования, многие базовые алгоритмы могли бы хорошо проявить себя в большом количестве других игр.

66

См.: [Nilsson 2009, p. 318]. Конечно, Кнут несколько преувеличил успехи машинного разума. Все-таки есть еще интеллектуальные задачи, в которых ИИ не преуспел; например, остаются «непродуманными» такие аспекты, как открытие новых направлений в чистой математике, придумывание свежих философских концепций, создание циклов детективных романов, организация военного переворота, разработка очень нужного и инновационного товара широкого потребления.

67

AI-полная задача (где AI — artificial intelligence («искусственный интеллект»)) — неформальный термин, который применяется в теории ИИ по аналогии с NP-полным классом задач. По существу означает задачу создания искусственного интеллекта человеческого уровня. (Прим. ред.)

68

См.: [Shapiro 1992].

69

Можно только предполагать, почему машине трудно достичь человеческого уровня в восприятии окружающей действительности, регуляции двигательных функций, здравом смысле и понимании языка. Одна из причин заключается в том, что в нашем мозгу имеется специальный механизм, управляющий этими свойствами, — достигшие в процессе эволюции совершенства нейронные структуры. Логическое мышление и навыки вроде игры в шахматы, в отличие от перечисленных выше способностей, не столь естественны, и потому при решении этих задач мы вынуждены полагаться на ограниченные когнитивные ресурсы общего назначения. Возможно, для вычислений и явно выраженных логических рассуждений наш мозг запускает что-то похожее на «виртуальную машину» — медленный и громоздкий психический симулятор универсального компьютера. Если наше предположение верно, то тогда получается забавная вещь: не КИИ моделирует человеческое мышление, а как раз наоборот — логически мыслящий человек симулирует программу ИИ.

70

Надо заметить, что по мнению меньшинства, представленного приблизительно 20% взрослого населения США, Солнце «продолжает» вращаться вокруг Земли, — подобная картина наблюдается и в других развитых странах [Crabtree 1999; Dean 2005].

71

См.: [World Robotics 2011].

72

По оценке, взятой из работы: [Guizzo 2010].

73

См.: [Holley 2009].

74

Кроме того, есть гибридные подходы, основанные как на статистике, так и на правилах, но в наше время они не представляют никакого интереса.

75

См.: [Cross, Walker 1994; Hedberg 2002].

76

Алгоритмический высокочастотный трейдинг, или алгоритмическая высокочастотная торговля (algorithmic high-frequency trading), — формализованный процесс совершения торговых операций на финансовых рынках по заданному алгоритму с использованием специализированных компьютерных систем (торговых роботов). (Прим. ред.)

77

По сообщенным мне в частном порядке статистическим данным TABB Group — компании, специализирующейся на анализе рынка капиталов; ее офисы находятся в Нью-Йорке и Лодоне.

78

См.: [CFTC/SEC Report on May 6, 2010]; другую точку зрения на события 6 мая 2010 года см.: [CME Group, 2010] (CFTC (Commodity Futures Trading Commission) — Комиссия по срочной биржевой торговле; SEC (Securities and Exchange Commission) — Комиссия по ценным бумагам и биржам; CME Group — Группа Чикагской товарной биржи, крупнейший североамериканский рынок ценных бумаг, созданный в результате объединения ведущих нью-йоркских и чикагских бирж. (Прим. ред.)).

79

Мне не хотелось бы, чтобы это воспринималось как аргумент против алгоритмического высокочастотного трейдинга, который вполне способен играть полезную роль, повышая ликвидность и эффективность рынка.

80

Менее масштабное потрясение случилось на фондовом рынке 1 августа 2012 года, отчасти причиной стало то обстоятельство, что автоматический прерыватель не был запрограммирован приостанавливать торги в случае резких изменений в количестве обращаемых акций, см.: [Popper 2012]. Это затрагивает еще одну нашу тему: трудно предусмотреть все возможные варианты, когда стандартная ситуация, которая держится на хорошо продуманных принципах, вдруг выходит из-под контроля.

81

См.: [Nilsson 2009, p. 319].

82

См.: [Minsky 2006; McCarthy 2007; Beal, Winston 2009].

83

По данным Питера Норвига (из личного общения). В принципе, любые курсы по информационным технологиям и машинному обучению очень популярны. Может быть, это объясняется неожиданно возросшим массовым интересом к аналитике больших данных (big data) — интересом, инициированным в свое время Google и весьма подогреваемым огромными призовыми суммами Netflix.

84

См.: [Armstrong, Sotala 2012].

85

См.: [Müller, Bostrom <В печати>].

86

См.: [Baum et al. 2011; Sandberg, Bostrom 2011].

87

См.: [Nilsson 2009].

88

Безусловно, и в этом случае сохранялось условие, что научная деятельность будет продолжаться «без серьезных сбоев», а в мире не случится никаких цивилизационных катастроф. В интервью Нильсон использовал следующее определение ИИЧУ: «ИИ, способный выполнять приблизительно 80% работы не хуже человека или даже лучше» [Kruel 2012].

89

В таблице показаны результаты четырех отдельных опросов, в последней строке даны средние показатели. Первые два опроса проводились среди участников нескольких научных конференций. PT-AI — конференция «Философия и теория ИИ» (Салоники, 2011); опрос состоялся в ноябре 2012 года; всего участников — 88 человек, количество респондентов — 43 человека. AGI — конференции «Универсальный искусственный интеллект» и «Универсальный искусственный интеллект — степень воздействия и угрозы» (Оксфорд, декабрь 2012); всего участников — 111 человек, количество респондентов — 72 человека. EETN — съезд Греческой ассоциации искусственного интеллекта (апрель, 2013); всего участников — 250 человек, количество респондентов — 26 человек. TOP100 — опрос ведущих специалистов по искусственному интеллекту в соответствии с индексом цитирования (май 2013); всего в списке — 100 человек, количество респондентов — 29 человек.

90

См.: [Kruel 2011] — в работе собраны интервью с 28 специалистами по ИИ и в смежных областях.

91

На диаграмме показаны перенормированные медианные оценки. Средние значения несколько отличаются. Например, средние значения для варианта «чрезвычайно негативное» были равны 7,6% (в Tоп-100) и 17,2% (в объединенной оценке по всем опросам).

92

В литературе встречается огромное количество подтверждений ненадежности прогнозов экспертов во многих областях, поэтому есть все основания полагать, что подобное положение истинно и для сферы изучения искусственного интеллекта. В частности, делающие прогнозы люди, как правило, слишком уверенные в своей правоте, считают себя более точными предсказателями, чем это есть на самом деле, и поэтому присваивают слишком низкую вероятность возможности, что их любимая гипотеза может оказаться ложной [Tetlock 2005]. (О других документально зафиксированных заблуждениях см., например: [Gilovich et al. 2002].) Однако неопределенность — неотъемлемая черта человеческой жизни, и многие наши действия неизбежно основаны на вероятностных прогнозах, то есть ожиданиях того, какие из возможных событий произойдут скорее всего. Отказ от более четко сформулированных вероятностных прогнозов не устранит эпистемологическую проблему, а лишь задвинет ее в тень [Bostrom 2007]. Вместо этого нашей реакцией на чрезмерную самонадеянность должны стать как расширение доверительных интервалов, или интервалов правдоподобия, так и борьба с собственными предубеждениями путем рассмотрения проблемы с различных точек зрения и тренировки интеллектуальной честности. В долгосрочной перспективе можно также работать над созданием методик, подходов к обучению и институтов, которые помогут нам достичь лучших проверочных образцов. См. также: [Armstrong, Sotala 2012].

93

Во-первых, этому определению сверхразума наиболее близка формулировка, опубликованная в работах: [Bostrom 2003 c; Bostrom 2006 a]; во-вторых, оно вполне отвечает формализованному условию Шейна Легга: «Интеллект оценивается способностью агента добиваться своей цели в широком диапазоне условий» [Legg 2008]; в-третьих, оно очень напоминает описание, сделанное Ирвингом Гудом, которое приведено нами в главе 1 настоящего издания: «Давайте определим сверхразумную машину как машину, которая в значительной степени превосходит интеллектуальные возможности любого умнейшего человека» [Good 1965, p. 33].

94

Квалиа (от множ. числа лат. qualia — «свойства, качества») — философский термин, обозначающий субъективные ощущения, свойства чувственного опыта. (Прим. ред.)

95

По той же причине не буду выстраивать никаких предположений, сможет ли сверхразумная машина обрести «истинную интенциональность», то есть иметь самосознание и действовать преднамеренно (при всем уважении к Джону Сёрлу, она, похоже, и на это способна), поскольку данный вопрос не имеет отношения к предмету нашей книги. Также не собираюсь занимать ничью сторону — ни адептов интернализма, ни последователей экстернализма — в яростно ведущихся среди философов дискуссиях на такие темы, как содержание сознания и расширение сознания, см.: [Clark, Chalmers 1998].

96

А. Тьюринг. Может ли машина мыслить? / Пер. с англ. Ю. А. Данилова. М.: Гос. изд-во физико-математической литературы, 1960. С. 34. (Прим. ред.)

97

См.: [Turing 1950, p. 456].

98

А. Тьюринг. Может ли машина мыслить? С. 35. (Прим. ред.)

99

См.: [Turing 1950, p. 456].

100

См.: [Chalmers 2010; Moravec 1976; Moravec 1988; Moravec 1998; Moravec 1999].

101

См.: [Moravec 1976]; аналогичную аргументацию приводит и Чалмерс, см.: [Chalmers 2010].

102

Более подробно эта тема раскрывается в статье: [Shulman, Bostrom 2012].

103

В своей диссертации Шейн Легг предлагает этот подход в качестве аргумента, что люди на воспроизведение эволюционного пути потратят гораздо меньше времени и меньше вычислительных ресурсов (при этом сам автор отмечает, что ресурсы, потребовавшиеся в ходе биологической эволюции, нам недоступны), см.: [Legg 2008]. Эрик Баум утверждает, что часть работы, связанной с созданием ИИ, проделана намного раньше без вмешательства человека, например: само строение генома уже содержит важную информацию об эволюционных алгоритмах, см.: [Baum 2004].

104

См.: [Whitman et al. 1998; Sabrosky 1952].

105

См.: [Schultz 2000].

106

См.: [Menzel, Giurfa 2001; Truman et al. 1993].

107

См.: [Sandberg, Bostrom 2008].

108

Обсуждение этой точки зрения, а также анализ функций, определяющих приспособленность организма лишь на основании критерия его умственных способностей, см. в диссертации Легга [Legg 2008].

109

Более системное и подробное описание способов, с помощью которых специалисты смогут превзойти имеющиеся на сегодня результаты эволюционного отбора, см. в статье «Мудрость природы» [Bostrom, Sandberg 2009 b].

110

Обсуждая целевую функцию, мы говорим лишь о вычислительных ресурсах, необходимых для моделирования нервной системы живых существ, и не учитываем затраты на моделирование их тел или их виртуальной окружающей среды. Вполне возможно, что расчет целевой функции для тестирования каждого организма потребует гораздо меньше операций, чем нужно для симулирования всех нейронных вычислений, аналогичных нейронным процессам, происходящим в мозгу существа за срок его жизни. Сегодня программы ИИ часто разрабатывают для действий в совершенно абстрактной среде (программы для доказательства теорем — в символических математических мирах; программы-агенты — в турнирных мирах простых игр).

Скептики могут настаивать, что для эволюции общего интеллекта абстрактной среды будет недостаточно, а виртуальное пространство должно детально напоминать тот мир, в котором развивались наши предки. Создание реалистичного виртуального мира потребовало бы гораздо больших инвестиций в вычислительные мощности, чем симуляция придуманного игрового мира или области для абстрактных задач (в то время как реальный мир достался эволюции «на дармовщину»). В предельном случае требования к полной точности на микроуровне приводят к тому, что потребность в вычислительных ресурсах вырастает до несуразно большой величины. Однако такой экстремальный пессимизм практически ничем не подкреплен: маловероятно, что наилучшие условия — с точки зрения эволюционирования интеллекта — должны максимально точно имитировать природу. Напротив, вполне возможно, что для симуляции естественного отбора искусственного интеллекта гораздо эффективнее будет использовать специальную среду, совершенно не похожую на ту, которая окружала наших предков, такую, которая специально разработана для стимулирования приспособления на основе нужных нам критериев (например, способности к абстрактному мышлению и общим навыкам решения задач, а не наличия максимально быстрой инстинктивной реакции или высокооптимизированной зрительной системы).

111

См.: [Wikipedia, 2012 b].

112

Об эффекте наблюдения при селективном отборе см.: [Bostrom 2002 a] — общее описание; [Shulman, Bostrom 2012] — с точки зрения обсуждаемой здесь темы; [Bostrom 2008 b] — короткое определение на доступном для неспециалиста языке.

113

См.: [Sutton, Barto 1998; Schultz et al. 1997].

114

В научный обиход термин введен Элиезером Юдковским, см.: [Yudkowsky 2007].

115

Сценарий описан как Ирвингом Гудом [Good 1965], так и Элиезером Юдковским [Yudkowsky 2007]. Однако почему бы не представить альтернативный вариант, в котором итеративная последовательность пойдет по пути не развития интеллекта, а упрощения структуры? То есть время от времени зародыш ИИ будет переписывать самого себя таким образом, что работа его последующих версий значительно облегчится.

116

См.: [Helmstaedter et al. 2011].

117

См.: [Andres et al. 2012].

118

Чтобы стали возможны инструментально полезные формы когнитивного функционирования и коммуникаций, технологии должны соответствовать необходимым требованиям, но все-таки их уровень намного примитивнее уровня технологий, обеспечивающих нейро- и мышечно-компьютерные интерфейсы, получающие сигналы от мышц и органов чувств обычного человеческого тела.

119

См.: [Sandberg 2013].

120

См.: [Sandberg, Bostrom 2008, p. 79–81] — раздел «Требования к компьютеру»

121

Еще более простая модель может иметь микродинамику, подобную биологической, и активность, напоминающую активность мозга человека на ранних стадиях развития, например похожую на фазу медленного сна и реакции на раздражители. Подобная модель могла бы быть полезна при проведении нейробиологических исследований (хотя есть риск возникновения серьезных этических проблем), но она не может считаться полной эмуляцией мозга человека, поскольку недостаточно точна для выполнения большинства умственных задач, с которыми справляется биологический мозг. Существует эвристическое правило: чтобы компьютерная модель мозга могла считаться его полноценной эмуляцией, она должна уметь вербально выражать связанные мысли или иметь возможность научиться этому.

122

Интервал неопределенности (uncertainty interval) — количественная мера, характеризующая степень неопределенности результата оценки. (Прим. ред.)

123

См.: [Sandberg, Bostrom 2008].

124

Описание первого коннектома см. в работах: [Albertson, Thomson 1976; White et al. 1986]. Объединенная матрица (исправленная в некоторых местах) есть на сайте WormAtlas (http://www.wormatlas.org/).

125

Обзор недавних попыток конструирования модели C. elegans и их результатов можно найти в блоге Джефа Кауфмана [Kaufman 2011]. Кауфман приводит комментарий Дэвида Дальримпля, честолюбивого докторанта, занимающегося исследованиями в этой области: «Не сочтите за слишком большую самонадеянность, но я скажу, что с помощью оптогенетики и высокопроизводительных автоматизированных систем мы вот-вот получим способность считывать и записывать любую информацию в нервную систему живого C. elegans… Думаю справиться с C. elegans за два-три года. Сильно удивлюсь, если эта проблема не будет решена до 2020 года» [Dalrymple 2011]. Модели мозга, задуманные как биологически точные, но закодированные вручную (а не сгенерированные автоматически) уже способны выполнять некоторые базовые функции, см., например: [Eliasmith et al. 2012].

126

Подробнее см. в техническом отчете: [Sandberg, Bostrom 2008].

127

У Caenorhabditis elegans есть особенности, делающие эту нематоду удобным организмом-моделью для изучения, например: у всех экземпляров прозрачное тело, а связи между нейронами всегда одинаковы.

128

Если целью усилий становится не осуществление эмуляции мозга, а создание нейроморфного ИИ, тогда не обязательно пытаться выстраивать имитационную модель мозга именно человека. О важных особенностях работы коры головного мозга наверняка можно узнать в процессе изучения мозга животных. Часто с ним работать удобнее, поскольку он не так сложен по своим структурам и требует меньше ресурсов для сканирования и моделирования. Кроме того, требования, предъявляемые регулирующими инстанциями к таким исследованиям, наверняка будут слабее. Вполне возможно, что первый машинный интеллект человеческого уровня создадут, когда будет завершена полная эмуляция мозга некоего подходящего животного и будет найден способ развития этой компьютерной модели до уровня разума человека. И тогда, воспарив над обыденностью, какая-нибудь лабораторная мышь или макака получит наконец свой шанс отыграться на человечестве.

129

См.: [Uauy, Dangour 2006; Georgieff 2007; Stewart et al. 2008; Eppig et al. 2010; Cotman, Berchtold 2002].

130

По данным Всемирной организации здоровья, в 2007 году недостаточное потребление йода наблюдается примерно у 2 млрд человек [Lancet 2008]. Тяжелая степень йододефицита тормозит развитие нервной системы и приводит к развитию эндемического кретинизма, вследствие которого коэффициент умственного развития снижается в среднем на 12,5 пункта, см.: [Qian et al. 2005]. Предотвратить эту ситуацию можно легко и недорого: за счет йодированной поваренной соли, см.: [Horton et al. 2008].

131

См.: [Bostrom, Sandberg 2009 a].

132

См.: [Bostrom, Sandberg 2009 b]. Средний предполагаемый эффект фармакологических и диетических методов, повышающих умственную деятельность, составляет 10–20% — это подтверждается контрольными проверками, определяющими уровень кратковременной памяти, внимания и т. д. Правда, остаются сомнения, что эти показатели истинны, надежны в течение длительного времени и отражают улучшение состояния в условиях реальной жизни, см.: [Repantis et al. 2010]. Например, в некоторых случаях наблюдается компенсаторное снижение активности, которое выявляется отнюдь не на контрольных проверках, см.: [Sandberg, Bostrom 2006].

133

Если бы существовал простой способ улучшать когнитивные способности, следовало бы ожидать, что природа в процессе эволюции не преминула бы этим воспользоваться. Соответственно, самой многообещающей стала бы разработка таких ноотропных препаратов, которые были бы способны стимулировать развитие интеллекта за счет увеличения размера головы при рождении или путем активации метаболизма глюкозы в головном мозгу, но тогда это привело бы — с наследственной точки зрения — к резкому снижению приспособленности организма к среде обитания. Подробное обсуждение идеи (обратите внимание на весьма существенные квалификационные оговорки) см.: [Bostrom 2009 b].

134

Сперматозоид сложнее подвергнуть скринингу, поскольку, в отличие от эмбрионов, он состоит из одной клетки, которая должна быть разрушена в процессе секвенирования. Ооциты, женские половые клетки, тоже состоят из одной клетки, однако ее первое и второе деления асимметричны и приводят к появлению одной дочерней клетки (так называемое полярное тельце) с небольшим объемом цитоплазмы. Поскольку цитоплазма содержит тот же геном, что и основная клетка, и является избыточной (в конечном счете вырождается), ее можно извлечь и использовать для скрининга, см.: [Gianaroli 2000].

135

Генетические методы сначала вызывали некоторые разногласия с этической стороны вопроса, но сейчас, похоже, складывается тенденция к их все более широкому признанию. В разных культурах отношение к генной инженерии в применении к человеку и селекции эмбрионов очень неровное. Это означает, что развитие генетических технологий продолжится независимо от осторожной позиции отдельных стран, хотя, безусловно, и моральные, и религиозные, и политические соображения будут оказывать значительное давление на скорость процесса их внедрения.

136

См.: [Davies et al. 2011; Benyamin et al. 2013; Plomin et al. 2013]; см. также: [Mardis 2011; Hsu 2012].

137

В широком смысле показатель наследуемости коэффициента умственного развития у взрослых представителей среднего класса населения развитых стран обычно оценивается в диапазоне от 0,3 до 0,8 [Bouchard 2004, p. 148]. В узком смысле показатель наследуемости, который обычно измеряется как доля дисперсии, приходящаяся на аддитивные генетические факторы, несколько ниже (диапазон 0,3–0,5), но все еще достаточно высок [Devlin et al. 1997; Davies et al. 2011; Visscher et al. 2008]. Эти оценки могут колебаться в зависимости от популяции и окружающей среды. Например, более низкие коэффициенты наследуемости выявляются среди детского населения и представителей социально неблагополучных слоев [Benyamin et al. 2013; Turkheimer et al. 2003]. Многочисленные примеры влияния окружающей среды на изменчивость когнитивных способностей приведены в работе «Интеллект. Новые данные и теоретические разработки» [Nisbett et al. 2012].

138

Следующие параграфы и таблицы в значительной степени основаны на работе, написанной в соавторстве с Карлом Шульманом [Shulman, Bostrom 2014].

139

См.: [Shulman, Bostrom 2014]. Таблица основана на игрушечной модели, в которой предполагается нормальное, или Гауссово, распределение ожидаемых коэффициентов интеллекта среди эмбрионов со стандартным отклонением в 7,5 пункта. Степень когнитивного улучшения — оно получается при разном количестве взятых для отбора эмбрионов — зависит от того, насколько сильно отличаются они друг от друга вариантами аддитивных генов, влияние которых нам известно. У братьев и сестер общие варианты аддитивных генов отвечают за половину или меньше дисперсии уровня интеллекта взрослых, см.: [Davies et al. 2011]. Таким образом, если стандартное отклонение для наблюдаемой популяции из развитых стран равно 15 пунктам, то стандартное отклонение генетического влияния для совокупности эмбрионов будет меньше или равно 7,5 пункта.

140

Неполная информация об аддитивных эффектах генов на когнитивные способности снижает эффективность селекции, однако наличие даже небольшого количества данных дает сравнительно много, поскольку выигрыш от селекции не связан линейно с дисперсией, которую мы можем предсказать. Скорее, эффективность селекции зависит от стандартного отклонения среднего ожидаемого значения коэффициента умственного развития, которое равно квадратному корню из дисперсии. Например, если на этот фактор приходится 12,5% дисперсии, то наполовину уменьшаются величины эффекта, приведенные в табл. 1, где предполагается, что он отвечает за 50%. Для сравнения, в одном недавнем исследовании удалось выявить его влияние на 2,5% дисперсии, см.: [Rietveld et al. 2013].

141

Для сравнения: сегодня стандартной практикой является создание не больше десяти эмбрионов.

142

Из стволовых клеток взрослых людей и эмбрионов можно создать сперматозоиды и ооциты, из которых после оплодотворения получатся эмбрионы, см.: [Nagy et al. 2008; Nagy, Chang 2007]. Предшественники яйцеклеток также могут формировать партеногенетические бластоцисты, нефертильные и нежизнеспособные эмбрионы, из которых тоже можно брать стволовые клетки для этого процесса, см.: [Mai et al. 2007].

143

Цит. по [Cyranoski 2013]. По опубликованным в 2008 году прогнозам Хинкстонской группы (Hinxton Group), международного консорциума ученых по этическим вопросам применения стволовых клеток, гаметы из стволовых клеток человека удастся получить в течение десяти лет [Hinxton Group, 2008] — достигнутый к настоящему времени прогресс вполне согласуется с таким прогнозом.

144

См.: [Sparrow 2013; Miller 2012; Uncertain Future, 2012].

145

См.: [Sparrow 2013].

146

Светская общественность, как всегда озабоченная земными проблемами, будет говорить о многих нежелательных последствиях: углублении социального неравенства; несоблюдении медицинской безопасности самой процедуры; угрозе ужесточения бешеной гонки за успехом; правах и обязанностях родителей перед их потенциальными отпрысками; призраке евгенических экспериментов XX века. Она обязательно напомнит о человеческом достоинстве и границах допустимого вмешательства государства в репродуктивный выбор граждан. Подробное обсуждение морально-этических принципов, связанных с проблемой улучшения человеческого разума, см.: [Bostrom, Ord 2006; Bostrom, Roache 2011; Sandberg, Savulescu 2011]. У представителей мировых религий возникнут свои опасения, в частности: духовные вопросы по статусу эмбриона с точки зрения церковного права; пределы вмешательства человека в божественный процесс творения.

147

Чтобы предотвратить негативные последствия инбридинга, для итерационного отбора эмбрионов может потребоваться увеличить количество доноров или приложить дополнительные усилия при отсеве, снизив количество вредоносных рецессивных аллелей. Оба пути приведут к меньшему генетическому сходству потомков с родителями (и большему сходству друг с другом).

148

См.: [Shulman, Bostrom 2014].

149

См.: [Bostrom 2008 b].

150

Неизвестно, насколько будут велики эпигенетические препятствия [Chason et al. 2011; Iliadou et al. 2011].

151

Хотя когнитивные способности во многом передаются по наследству, может быть мало или вовсе не быть общих аллелей, каждый из которых имеет сильное влияние на интеллект, см.: [Davis et al. 2010; Davies et al. 2011; Rietveld et al. 2013]. По мере совершенствования методов секвенирования будет постепенно уточняться карта низкочастотных аллелей и их связи с когнитивными и поведенческими особенностями. Имеются определенные теоретические свидетельства, что некоторые аллели, вызывающие генетические нарушения у гомозигот, могут обеспечить заметный прирост когнитивных способностей у гетерозигот, а это значит, что у гетерозиготных пациентов, несущих аллель болезни Гоше, Тея–Сакса и Ниманна–Пика, коэффициент интеллекта должен быть примерно на 5 пунктов выше, чем у контрольной группы [Cochran et al. 2006]. Время покажет, так ли это.

152

В одной статье приведена оценка — 175 мутаций на геном в каждом поколении [Nachman, Crowell 2000]; в другой говорится, что среднее количество новых мутаций у новорожденного составляет 50–100 случаев в зависимости от использования различных методов [Lynch 2010]; в третьей статье речь идет о 77 новых мутациях в поколении [Kong et al. 2012]. Большинство мутаций не влияют на функционирование или влияют в пренебрежимо малой степени; но накопленный эффект многих малозаметных мутаций способен привести к значительному снижению приспособленности; см. также: [Crow 2000].

153

См.: [Crow 2000; Lynch 2010].

154

Эта мысль нуждается в критически важном разъяснении. Возможно, для избежания проблем модальный геном придется корректировать. Например, различные части генома могли приспособиться к взаимодействию друг с другом на определенном уровне эффективности. Повышение их эффективности может привести к перегрузке некоторых метаболических путей.

155

Обобщенные портреты составлены южноафриканским фотографом Майком Майком из сделанных им в разных странах мира фотографий незнакомых людей в рамках проекта The Face of Tomorrow, см.: [Mike 2013].

156

Конечно, общество начнет улавливать некоторые сигналы намного раньше, но это будет легко объясняться действием эффекта ожидания.

157

См.: [Louis Harris & Associates, 1969; Mason 2003].

158

См.: Kalfoglou et al. 2004].

159

Понятно, что данных не очень много, но результаты некоторых лонгитюдных исследований (Лонгитюдное исследование (longitudinal study) — продолжительное онтогенетическое исследование одних и тех же индивидов или групп людей; научный метод, применяемый в социологии и психологии. (Прим. ред.)) показывают, что у людей, отобранных в детстве с помощью элементарных тестов на умственные способности, значительно больше шансов стать штатными университетскими профессорами, изобретателями и успешными предпринимателями, чем у тех, кто показал менее выдающие результаты (соотношение составляет — 1 человек на 10 000 сверстников), см.: [Kell et al. 2013]. В книге Анны Роу «Как изготовить ученого» приведены данные о шестидесяти четырех известных ученых; выяснилось, что средний показатель их когнитивной способности на три-четыре стандартных, или среднеквадратических, отклонения выше нормы для всей популяции и намного выше показателя среднестатистического ученого [Roe 1953]. Кроме того, интеллектуальные способности могут соотноситься с общим объемом дохода на протяжении жизни и такими нематериальными показателями, как, например, средняя продолжительность жизни, количество разводов и вероятность выбыть из учебного заведения [Deary 2012]. Сдвиг распределения интеллектуальных способностей вверх будет иметь непропорционально большое значение для его «хвоста», в частности, увеличив количество высокоодаренных людей и уменьшив количество тех, у кого наблюдаются задержки в развитии и неспособность к обучению. См. также: [Bostrom, Ord 2006; Sandberg, Savulescu 2011].

160

См., например: [Warwick 2002]. Стивен Хокинг даже предположил, что этот шаг будет необходимым для достижения прогресса в области машинного интеллекта: «Мы должны как можно быстрее разработать технологию прямого соединения мозга и компьютера, чтобы искусственный мозг внес свой вклад в повышение интеллектуальных способностей человека вместо того, чтобы ему противостоять» (цит. по статье: [Walsh 2001]). С ним согласен Рэй Курцвейл: «Что касается… рекомендации Хокинга о прямом соединении мозга с компьютером, то я согласен, что это и оправданно, и желательно, и неизбежно [sic], и я многие годы говорю об этом» [Kurzweil 2001].

161

См.: [Lebedev, Nicolelis 2006; Birbaumer et al. 2008; Mak, Wolpaw 2009; Nicolelis, Lebedev 2009]. Более личный взгляд на проблему улучшения когнитивных способностей за счет имплантации можно найти в книге Майкла Хорста «Обновление. Как, став частью компьютера, я почувствовал себя человеком» [Chorost 2005, ch. 11].

162

См.: [Smeding et al. 2006].

163

См.: [Degnan et al. 2002].

164

См.: [Dagnelie 2012; Shannon 2012].

165

См.: [Perlmutter, Mink 2006; Lyons 2011].

166

См.: [Koch et al. 2006].

167

См.: [Schalk 2008]; обзор современных исследований и тенденций см: [Berger et al. 2008]. В книге «Киборг» Кевина Уорика приведены убедительные доводы в пользу этой системы как метода, повышающего интеллектуальные способности [Warwick 2002].

168

Синдром «запертого человека» (синдром изоляции, синдром деэфферентации) — синдром, который характеризуется отсутствием адекватной реакции больного на внешние, в том числе и словесные, стимулы из-за тетраплегии и паралича бульбарной, мимической и жевательной мускулатуры. Причинами развития синдрома могут быть инфаркт основания мозга, кровоизлияние в мозг, полиомиелит, некоторые яды. (Прим. ред.)

169

Некоторые примеры см.: [Bartels et al. 2008; Simeral et al. 2011; Krusienski, Shih 2011; Pasqualotto et al. 2012].

170

См.: [Hinke et al. 1993].

171

Есть некоторые исключения, особенно на ранней стадии обработки зрительной информации. Например, первичная зрительная кора использует ретинотопическое представление, то есть смежные сборки нейронов собирают данные со смежных областей сетчатки (хотя глазные доминантные колонки несколько усложняют эту картину).

172

См.: [Berger et al. 2012; Hampson et al. 2012].

173

В случаях некоторых имплантатов потребуются две формы обучения: устройство учится интерпретировать нейронные представления организма; сам организм учится пользоваться системой, генерируя соответствующие модели возбуждения, см.: [Carmena et al. 2003].

174

Некоторые исследователи предлагают рассматривать корпоративные структуры (компании, профсоюзы, правительства, церковь и тому подобное) в качестве агентов искусственного интеллекта, обладающих сенсорными и исполнительными механизмами, способных выражать знания, делать логические выводы и осуществлять действия; см., например: [Kuipers 2012] — ср. с дискуссией на тему, может ли существовать коллективное представление, см.: [Huebner 2008]. В отличие от людей, у агентов искусственного интеллекта совсем другие способности и внутреннее состояние; кроме того, они явно обладают большими возможностями и намного успешнее в установлении связей с окружающей средой.

175

См.: [Hanson 1995; Hanson 2000; Berg, Rietz 2003].

176

Например, что мешает работодателю в его непосильной борьбе против злоупотреблений на рабочем месте прибегать к помощи детектора лжи, проверяя на нем сотрудников в конце каждого дня; причем вопросы могут быть самые простые: не украли ли они что-нибудь и трудились ли они с должным усердием. Интересно было бы поинтересоваться у политических деятелей и руководителей крупных компаний, насколько они действительно искренни в своих заверениях и готовы ли защищать интересы своих избирателей и акционеров. Иметь такую игрушку было бы очень на руку диктаторам — это облегчило бы им задачу выявлять мятежных генералов в ближнем окружении, а также вылавливать по всей стране открытых противников режима и потенциальных оппозиционеров.

177

Можно представить методы нейровизуализации, когда с помощью компьютерной или магнитно-резонансной томографии обнаруживают нейронные следы так называемого объясненного сознания. Если в системе детектора лжи не заложена функция регистрации заблуждений, оборудование может давать сбой и ошибаться в случае проверки людей, подверженных самовнушению мыслей, не соответствующих действительности. Лучше всего метод выявления самообмана использовать при обучении рациональному мышлению и при изучении эффективных мер, направленных на избавление от когнитивных искажений.

178

Промульгация (promulgation) — официальное провозглашение закона, принятого парламентом или главой государства. Гносеологические правила — адекватное отражение объективной действительности; понятие, относящееся к нормативным правовым актам. (Прим. ред.)

179

См.: [Bell, Gemmel 2009]. Одним из начинателей такого подхода к жизни стал исследователь Массачусетского технологического института Деб Рой; Оснастив дом многочисленными видеокамерами, он запечатлел каждую секунду развития своего сына в первые три года жизни. По мнению Роя, аудиовизуальные данные детского поведения и лепета могут быть полезны с точки зрения анализа развития речевых способностей [Roy 2012].

180

Рост общей численности народонаселения с точки зрения уровня коллективного интеллекта явится лишь незначительным фактором. В случае создания машинного интеллекта население мира (включая цифровых агентов) в течение очень короткого времени вырастет на много порядков. Но такой путь к сверхразуму предполагает создание универсального искусственного интеллекта или полной эмуляции головного мозга, поэтому сейчас мы не будем затрагивать эту тему.

181

См.: [Vinge 1993].

182

Декомпозиция (decomposition) — научный метод, заключающийся в разделении целого на части и позволяющий рассматривать любую исследуемую систему на основании ее признаков как сложную, состоящую из отдельных взаимосвязанных подсистем, которые, в свою очередь, могут быть расчленены на части; применяется при анализе материальных объектов, процессов, явлений и понятий. (Прим. ред.)

183

Вернон Виндж, описывая результат, который мог бы получиться, если запустить человеческий мозг с ускоренной скоростью, выбрал термин слабый сверхразум [Vinge 1993].

184

Например, если сверхбыстродействующая система исполняет все, что делает любой человек, — разве что не танцует мазурку, — можем ли мы назвать ее скоростным сверхразумом? Наверное, нас все-таки будут интересовать те основные когнитивные способности, которые имеют значение тактического и стратегического порядка.

185

Если принять во внимание разницу в быстродействии и затратах энергии между процессами, идущими в мозгу человека, и действиями более эффективной системы преобразования информации, скорость можно было бы увеличить как минимум в миллион раз. Скорость света более чем в миллион раз выше скорости передачи сигнала нейронами, синапсы тратят более чем в миллион раз больше тепла, чем это оправданно с точки зрения термодинамики, а частоты, на которых работают современные транзисторы, более чем в миллион раз выше, чем частоты синапсисов, см.: [Yudkowsky 2008 a]; см. также: [Drexler 1992]. Предел скорости сверхразума задается следующими факторами: задержки в высокоскоростных сетях передачи данных; квантовые ограничения на скорость изменения состояний; объем емкости, вмещающей «разум» [Lloyd 2000]. «Предельный ноутбук», описанный в работе Сета Ллойда, на котором можно было бы проводить эмуляцию мозга, выполнял бы 1,4 × 10²¹ FLOPS со скоростью 3,8 × 10²⁹ операций в секунду (при условии, что их можно было бы существенным образом распараллелить) [Lloyd 2000]. Однако расчеты Ллойда не претендуют на абсолютную достоверность, его задачей было проиллюстрировать ограничения вычислений — ограничения, которые непосредственно вытекают из основных физических законов.

186

Когда речь заходит о полной эмуляции, сразу возникает вопрос, как долго сможет работать имитационная модель головного мозга человека, пока не сойдет с ума и не начнет «ходить по кругу». Совсем не очевидно — даже при условии разнообразия задач и регулярных передышек, — что имитационной модели удастся протянуть тысячи субъективных лет, ни разу не столкнувшись с психологическими проблемами. Кроме того, если из-за предельного количества нейронов объем полной памяти ограничен, то накапливать знания до бесконечности не получится, поэтому, начиная с какой-то точки, имитационной модели мозга, чтобы освободить место для усвоения новой информации, придется начать забывать уже усвоенное. (Думается, что искусственный интеллект можно будет разработать на таких принципах, чтобы постараться избежать таких потенциальных проблем.)

187

Таким образом, для наномеханизмов, двигающихся с довольно скромной скоростью 1 м/с, обычный масштаб времени — это наносекунды; см.: [Drexler 1992] — раздел 2.3.2. Робин Хэнсон отмечает работу роботов-«фей», размером всего 7 мм, двигающихся в 260 раз быстрее привычной нам скорости [Hanson 1994].

188

Брадителический (bradytelic) — присущий некоторым организмам темп морфологической эволюции, близкий к нулю, например отдельные виды моллюсков претерпели за последние 400 млн лет самые незначительные изменения. (Прим. ред.)

189

См.: [Hanson 2012].

190

Термин коллективный интеллект не имеет отношения к распараллеливанию на нижнем уровне аппаратного обеспечения, это понятие целиком лежит в плоскости интеллектуальных автономных агентов, например людей. Если начать проводить одну полную эмуляцию мозга, одновременно используя большое количество сверхмощного оборудования, можно получить скоростной сверхразум, но он не будет коллективным сверхразумом.

191

Улучшение когнитивных возможностей, таких как скорость и качество ума, может лишь косвенно влиять на производительность коллективного разума, но об этих вариантах усовершенствования будет правильнее говорить при обсуждении двух других форм сверхразума.

192

Считается, что именно рост плотности населения привел к верхнепалеолитической революции (культурная революция кроманьонцев), а после преодоления некой пороговой величины так называемая культурная сложность начала расти очень быстро; см.: [Powell et al. 2009].

193

Кажется, мы забыли упомянуть интернет? Увы, его развитие пока не достигло того масштаба, который требуется для «большого прыжка». Может быть, со временем интернет подтянется. Другим приведенным здесь факторам потребовались века и даже тысячелетия, чтобы раскрыть свой потенциал полностью.

194

Пример, взятый мною, конечно, из области фантастики. Планета — большая настолько, что может вместить семь квадриллионов мегаземлян, — при современном уровне технологий просто взорвалась бы, если не состояла бы из очень легкого вещества или не была бы полой, удерживаясь в таком состоянии давлением или каким-то иным искусственным способом. (Лучшим решением могла бы быть сфера Дайсона, или раковина Дайсона.) На такой огромной поверхности история развивалась бы совсем иначе. Но не будем отклоняться в сторону.

195

Нас больше интересуют функциональные свойства комплексного интеллекта, а не вопрос, будут ли у него квалиа, то есть будет ли он рассудком, имеющим опыт субъективных переживаний и ощущений. (Кого-то, впрочем, может заинтересовать, какого рода опыт сознания будет присущ интеллекту, интегрированному более или менее человеческого. По поводу самосознания существуют разные мнения, например, в теории глобального рабочего пространства предполагается, что более интегрированный мозг будет обладать и более полным самосознанием; см. также: [Baars 1997; Shanahan 2010; Schwitzgebel 2013].)

196

Небольшие группы людей, ставшие изолированными в силу обстоятельств, могут продолжать извлекать пользу из ранее приобретенной суммы знаний. Например, пользоваться языком, который был создан в гораздо более крупной языковой среде, или инструментами, придуманными до того, как они оказались в изоляции. Но даже если такое сообщество всегда жило изолированно, оно все равно остается частью более крупного коллективного разума, состоящего из всех предыдущих поколений, который можно считать системой последовательной обработки информации.

197

В соответствии с тезисом Чёрча–Тьюринга все вычислимые функции вычислимы машиной Тьюринга. Поскольку любой из трех типов сверхразума можно симулировать на машине Тьюринга (при наличии доступа к неограниченному объему памяти и возможности работать независимо), по этому формальному критерию они эквивалентны с вычислительной точки зрения. На самом деле среднестатистический человек тоже мог бы повторить машину Тьюринга (при наличии неограниченного запаса бумаги и времени) и поэтому эквивиалентен ей по тому же критерию. Но для наших целей важно, чего эти различные системы могут достичь на практике, в условиях ограниченной памяти и за разумное время. И разница в эффективности настолько велика, что ее нельзя не заметить. Например, среднестатистического человека с коэффициентом интеллекта, равным 85 пунктам, вполне можно научить моделировать машину Тьюринга. (Скорее всего, этому можно научить даже какую-нибудь особенно одаренную и послушную шимпанзе.) Но в практическом смысле такой человек вряд ли способен самостоятельно разработать общую теорию относительности или получить Филдсовскую премию.

198

Речь идет о Марселе Прусте. (Прим. ред.)

199

И коллективное народное творчество способно рождать великую литературу (взять, например, эпические поэмы Гомера) — в фольклоре тоже встречались гениальные исполнители.

200

Если только коллективный сверхразум не содержит элементы, характерные для двух остальных типов сверхразума: скоростного, или качественного, или обоих вместе.

201

Наша неспособность определить все подобные задачи отчасти связана с тем, что мы и не пробуем это сделать, поскольку нет смысла тратить время на детализацию интеллектуальных заданий, которые не смогут выполнить ни люди, ни все известные на сегодняшний день организации. Но возможно, что даже их концептуальное описание является одной из таких задач, которые мы сейчас не можем выполнить в силу ограниченности своего ума.

202

См.: [Boswell 1917]; см. также: [Walker 2002].

203

Эта мощность достижима в моменты резкого всплеска активности отдельных групп нейронов, обычная скорость их работы гораздо ниже; см.: [Gray, McCormick 1996; Steriade et al. 1998]. Есть также быстро возбуждающие нейроны (chattering neurons), которые достигают частоты в 750 Гц, но, похоже, они представляют редкое исключение.

204

См.: [Feldman, Ballard 1982].

205

Скорость передачи информации зависит от диаметра аксона (чем аксон толще, тем она выше) и наличия у него миелиновой оболочки. В пределах центральной нервной системы задержки лежат в диапазоне меньше чем от миллисекунды до 100 мс [Kandel et al. 2000]. Скорость передачи информации в оптоволокне равна примерно 68% скорости света (зависит от коэффициента преломления материала). В электрических кабелях скорость передачи примерно такая же, 59–77% скорости света.

206

Это при скорости передачи сигнала, равной 70% скорости света. При 100% оценка вырастает до 1,8 × 10¹⁸ м³.

207

Количество нейронов в мозгу взрослого мужчины примерно равно 86,1 ± 8,1 млрд, эти данные получены в результате подсчета клеточных ядер в ткани мозга, помеченных специальным маркером. В прошлом оценки обычно попадали в диапазон 75–125 млрд нейронов. Они были основаны на ручном подсчете количества клеток в сравнительно небольших областях мозга, см.: [Azevedo et al. 2009].

208

См.: [Whitehead 2003].

209

Вполне возможно, что в системах обработки информации могут использоваться процессы вычисления и хранения данных молекулярного масштаба, а сами такие системы способны достигать как минимум планетарных масштабов. Однако предельные физические размеры вычислительной системы, ограниченные законами квантовой механики, общей теории относительности и термодинамики, гораздо меньше этого «юпитероподобного» уровня [Sandberg 1999; Lloyd 2000].

210

См.: [Stansberry, Kudritzki 2012]. На долю центров хранения и обработки данных приходится примерно 1,1–1,5% общего объема потребления электроэнергии в мире, см.: [Koomey 2011]; см. также: [Muehlhauser, Salamon 2012].

211

Это упрощение. Количество блоков информации, которые могут храниться в рабочей памяти, зависит от характера как самой информации, так и задачи; тем не менее понятно, что их не может быть очень много; см.: [Miller 1956; Cowan 2001].

212

Пример: трудность изучения логических концепций (категорий, определенных правилами логики) пропорциональна длине наиболее коротких логически эквивалентных им пропозициональных формул. Обычно довольно трудно запоминаются даже формулы, состоящие всего из 3–4 букв; см.: [Feldman 2000].

213

См.: [Landauer 1986]. Это исследование основано на экспериментальных оценках скорости запоминания и забывания информации людьми. Если учесть еще и неявное обучение, оценка может чуть улучшиться. Исходя из допущения, что емкость хранения равна примерно 1 биту на синапс, верхнюю границу емкости человеческой памяти можно оценить в 10¹⁵ бит. Обзор других оценок см.: [Sandberg, Bostrom 2008, Appendix A].

214

Шум в канале передачи информации может привести к ложным срабатываниям, поэтому из-за синаптического шума сила передаваемых сигналов меняется довольно сильно. Похоже, нервной системе пришлось найти множество компромиссов между терпимостью к шуму и издержками (масса, размер, длительность задержки); см.: [Faisal et al. 2008]. Например, аксоны не могут быть тоньше 0,1 мкм, в противном случае возможна генерация спонтанных потенциалов действия, вызванная случайным открытием ионных каналов [Faisal et al. 2005].

215

См.: [Trachtenberg et al. 2002].

216

С точки зрения объема памяти и вычислительной мощности, но не энергоэффективности. Самый быстрый на момент написания этой книги китайский суперкомпьютер Tianhe-2, который в июне 2013 года обошел Titan, созданный Cray Inc., имеет быстродействие в 33,86 Пфлопс. Он использует 17,6 МВт электроэнергии, что почти на шесть порядков больше, чем нужные мозгу 20 Вт.

217

Обратите внимание, что этот список имеет альтернативный характер: цифровой мозг существенно превзойдет человеческий даже в том случае, если некоторые из перечисленных преимуществ окажутся иллюзорными, поскольку для этого достаточно, чтобы имело место хотя бы одно из них.

218

Может получиться, что система не пройдет какой-то из этих уровней. Вместо этого она постепенно, в течение какого-то времени, начнет опережать исследователей в выполнении все более сложных заданий на разработку самосовершенствования.

219

За последние пятьдесят лет широко признан вполне реальным как минимум один сценарий, по которому предполагается исчезновение существующего мирового порядка в течение если не минут, то часов, — мировая ядерная война.

220

Это согласуется с наблюдениями, что за последние годы в некоторых высокоразвитых странах, таких как Великобритания, Дания и Норвегия, похоже, перестал действовать или даже начал действовать в обратную сторону эффект Флинна — рост среднего коэффициента интеллекта у большей части населения примерно на 3 пункта за 10 лет, — исправно работавший на протяжении последних 60 лет; см.: [Teasdale, Owen 2008; Sundet et al. 2004]. Причина возникновения эффекта Флинна — и то, до какой степени он представляет истинные сдвиги в общем интеллектуальном уровне, а до какой является следствием роста навыков прохождения тестов на коэффициент интеллекта, — является предметом ожесточенных споров и до сих пор неизвестна. Даже если этот эффект (хотя бы отчасти) отражает реальный рост умственных способностей и даже если он в последнее время не действует или действует в обратную сторону, это не означает, что исчезла причина его возникновения, какой бы она ни была. Происходящие в последние годы изменения могут быть вызваны каким-то независимым фактором, который при отсутствии указанной причины мог бы привести к еще большему спаду коэффициента интеллекта.

221

См.: [Bostrom, Roache 2011].

222

Временной фактор можно было бы скорректировать с помощью соматической генной терапии, но она гораздо сложнее технически и имеет меньший потенциал, чем вмешательство на эмбриональном уровне.

223

Средний рост производительности в мировой экономике за период 1960–2000 гг. составил 4,3%; см.: [Isaksson 2007]. На повышение организационной эффективности приходится лишь часть этого роста. Конечно, некоторые сети и процессы совершенствовались гораздо более быстрыми темпами.

224

Эволюция биологического мозга ограничена многими факторами и необходимостью компромиссов, число которых резко снижается при переходе мозга «на цифровую платформу». Например, размер мозга определяется размером головы, а слишком большая голова вызовет проблемы при прохождении через родовые пути. Метаболические процессы, происходящие в таком мозгу, потребуют слишком большого расхода энергии. Степень связанности различных областей мозга также имеет стерические ограничения: объем белого вещества значительно превышает объем серого, которое оно соединяет. Отвод тепла ограничивается кровотоком и может уже находиться на пределе для приемлемого функционирования мозга. Более того, биологические нейроны являются медленными, зашумленными, нуждаются в постоянной защите и уходе, а также требуют большого количества глиальных клеток и кровеносных сосудов (из-за чего в черепной коробке становится слишком «тесно»). Обо всем это см.: [Bostrom, Sandberg 2009 b].

225

См.: [Yudkowsky 2008 a, p. 326]; более свежее обсуждение вопроса см.: [Yudkowsky 2013].

226

Для простоты интеллектуальные способности представлены на рисунке в виде однопараметрической функции. Но это не имеет значения с точки зрения обсуждаемой темы. Точно так же можно было бы, например, представить их профиль в виде гиперповерхности в многомерном пространстве.

227

См.: [Lin et al. 2012].

228

Определенный рост возможностей коллективного интеллекта можно обеспечить за счет простого увеличения количества его членов. Это позволит увеличить производительность системы как минимум за счет задач, выполнение которых можно легко распараллелить. Однако для реализации полного потенциала взрывного роста популяции придется обеспечить некоторый (не самый минимальный) уровень координации между этими членами.

229

Различия между скоростью и качеством интеллекта размываются в случаях, не относящихся к нейроморфным системам ИИ.

230

См.: [Rajab et al. 2006, p. 41–52].

231

Предположительно за счет использования конфигурируемых микросхем вместо процессоров общего назначения можно было бы увеличить скорость вычислений в нейронных сетях на два порядка; см.: [Markram 2006]. По результатам исследования климатических моделей на компьютерах, способных выполнять петафлопсы операций, оказалось, что использование кастомизированных процессоров приводит к снижению издержек в 22–24 раза, а потребности в электроэнергии падают примерно на два порядка; см.: [Wehner et al. 2008].

232

См.: [Nordhaus 2007]; есть множество обзоров различных значений закона Мура, см., например: [Tuomi 2002; Mack 2011].

233

Если развитие идет довольно медленно, разработчики проекта могут воспользоваться достижениями в других областях, например успехами или университетских исследователей в области кибернетики, или производителей микропроцессоров.

234

Вероятность возникновения алгоритмического навеса невысока, разве что появится такое экзотическое аппаратное обеспечение, как квантовые компьютеры, которые позволят запускать невозможные прежде алгоритмы. Кто-то может возразить, что примерами алгоритмического навеса являются нейронные сети и глубокое машинное обучение. В момент изобретения они были слишком затратными с точки зрения вычислительной мощности, на некоторое время оказались отложенными в сторону, а затем вновь стали востребованными — когда быстрые графические процессоры снизили затраты на их работу. И теперь они на коне.

235

Даже если продвижение к человеческому интеллектуальному уровню окажется медленным.

236

._мир — это часть оптимизирующей силы, приложенной для совершенствования рассматриваемой системы. Для проекта, который реализуется в условиях относительной изоляции и не получает заметной поддержки извне, _мир ≈ 0, даже если изначальные ресурсы (компьютеры, научные концепции, обученный персонал и т. д.) представляют собой часть мировой экономики и стали результатом многих веков развития человечества.

237

Наиболее важной среди всех когнитивных способностей зародыша ИИ является его способность выполнять интеллектуальную работу по саморазвитию, то есть способность повышать уровень своего интеллекта. (Если зародыш ИИ специализируется на улучшении другой системы, которая, в свою очередь, улучшает его, их можно рассматривать как подсистемы более крупной системы и анализировать в совокупности.)

238

Когда сопротивляемость не настолько высока, что может привести к отказу от инвестирования или переключению на другой проект.

239

Аналогичный пример обсуждается Юдковским [Yudkowsky 2008 b].

240

Поскольку входные параметры тоже растут (скажем, инвестиции в строительство новых заводов и количество людей, занятых в отрасли производства полупроводников), закон Мура как таковой не обеспечивает требуемого роста при исключении влияния этих параметров. Однако в сочетании с успехами в создании ПО допущение об удвоении возможностей систем каждые 18 месяцев может оказаться правдоподобным.

241

Было сделано несколько экспериментальных попыток развить идею о взрывном развитии интеллекта в рамках теории экономического роста; см., например: [Hanson 1998 b; Jones 2009; Salamon 2009]. В этих исследованиях указывается на возможность чрезвычайно быстрого экономического роста в случае создания цифрового разума, но поскольку теория эндогенного роста сравнительно плохо разработана даже в применении к историческим и современным условиям, ее применение к потенциально недолговечным будущим условиям лучше пока считать источником потенциально полезных концепций и мыслей, чем методом, способным обеспечить нас надежными прогнозами. Обзор попыток создать математическую модель технологической сингулярности см.: [Sandberg 2010].

242

Вполне возможно, что никакого взлета не будет. Но поскольку, как обсуждалось ранее, появление сверхразума представляется технически возможным, взлет может не начаться лишь в случае вмешательства какой-то внешней силы, скажем, экзистенциальной катастрофы, то есть окончательной глобальной катастрофы, которая приведет к вымиранию человечества. Если сильный сверхразум появится не в форме УИИ или имитационной модели мозга, а иными путями, тогда более вероятно развитие по сценарию медленного взлета.

243

Цифровой разум может быть запущен на единственной машине, а не с помощью глобальной компьютерной сети, но мы имеем в виду не такую концентрацию. Нас больше интересует степень концентрации власти — особенно такой, которую обеспечивает технологическое превосходство, — на последних стадиях революции машинного интеллекта или сразу после ее завершения.

244

Например, в развивающихся странах потребительские товары, как правило, выводятся на рынок медленнее, см.: [Talukdar et al. 2002]; см. также: [Keller 2004; World Bank, 2008].

245

Для настоящего обсуждения этой проблемы следовало бы привлечь серьезную экономическую литературу, посвященную теории организаций. Бесспорно, классическим источником до сих пор служит фундаментальный труд Рональда Коуза «Природа фирмы» [Coase 1937]; см. также: [Canbäck et al. 2006; Milgrom, Roberts 1990; Hart 2008; Simester, Knez 2002].

246

Тем не менее зародыш ИИ легко выкрасть — передать по сети или унести на флешке.

247

Согласно некоторым исследователям, шелк мог использоваться уже в культуре Яншао (5000–3000 гг. до н. э.), см.: [Barber 1991]. В относительно недавней работе приведено приблизительное время одомашнивания тутового шелкопряда (на основании генетических исследований) — около 4100 лет назад [Sun et al. 2012].

248

См.: [Cook 1984, p. 144] — эта легенда слишком красива, чтобы быть исторически правдоподобной, как и история, рассказанная Прокопием Кесарийским в его «Войнах» (VIII, 1–7), что тутовые шелкопряды были доставлены в Византию странствующими монахами в их бамбуковых посохах, см.: [Hunt 2011].

249

См.: [Wood 2007; Temple 1986].

250

В доколумбийских культурах колесо было известно, но использовалось только для игр (возможно, из-за отсутствия подходящих тягловых животных).

251

См.: [Koubi 1999; Lerner 1997; Koubi, Lalman 2007; Zeira 2011; Judd et al. 2012].

252

Испытанная в 1953 году РДС-6 стала первой бомбой с использованием термоядерной реакции, но первую «настоящую» термоядерную бомбу РДС-37, у которой на долю реакции синтеза приходилась большая часть мощности взрыва, испытали только в 1955 году.

253

Подтверждений нет.

254

Испытания прошли в 1989 году, в 1994-м проект был закрыт.

255

Развернутая система, радиус действия превышает 5000 км.

256

Ракеты Polaris, приобретенные у США.

257

Ведутся работы над ракетой Taimur, видимо, на базе китайской технологии.

258

Испытанный в 1989–1990 гг. ракетоноситель RSA-3 предполагалось использовать как для запусков спутников, так и в качестве МБР.

259

Многозарядные боеголовки индивидуального наведения позволяют использовать одну баллистическую ракету для поражения множества целей.

260

Система Agni V пока не принята на вооружение.

261

Оценка дана на основании множества источников. Скорее всего, показатель разрыва подсчитывался очень приблизительно и зависел от того, какие возможности считались сопоставимыми. Через пару лет после изобретения радара он использовался как минимум двумя странами, но точное время в месяцах рассчитать довольно трудно.

262

См.: [Ellis 1999].

263

Если мы считаем, что время отставания реализации проектов подчиняется нормальному закону распределения, тогда, скорее всего, расстояние между проектом-лидером и его ближайшим преследователем также должно зависеть от общего количества разработок. Когда проектов много, отрыв первого от второго будет относительно небольшим даже тогда, когда дисперсия довольно велика (и будет медленно сокращаться с ростом количества конкурентов). Однако маловероятно, что будет слишком много проектов, обладающих достаточными ресурсами, чтобы всерьез претендовать на успех. (Обилие проектов возможно лишь при обилии различных подходов и методик — большинство которых, скорее всего, окажутся тупиковыми.) Современный опыт говорит, что серьезных претендентов на достижение любой заметной с технологической точки зрения цели обычно можно пересчитать по пальцам. Несколько отличная ситуация на потребительском рынке, поскольку там существует множество ниш для лишь слегка отличающихся продуктов, а входные барьеры слишком низки. Есть тьма проектов по дизайну футболок, когда в каждой разработке принимает участие один человек, но всего несколько компаний в мире участвуют в разработке следующего поколения графических карт. (В настоящий момент фактической дуополией обладают AMD и NVIDIA, а в сегменте карт с низкой производительностью с ними конкурирует Intel.)

264

См.: [Bostrom 2006 c]. При желании можно вообразить разные варианты, например: синглтон, чье существование вообще невидимо (когда сверхразум обладает настолько развитыми технологиями и проницательностью, что может незаметно для людей управлять всем миром); синглтон, добровольно установивший жесткие самоограничения своей власти (пунктуально соблюдает международные нормы и договоры); синглтон-либертарианец. Какова вероятность возникновения синглтона того или иного типа — вопрос скорее умозрительный, пока не будет проверено на опыте. Однако почему бы не дать волю фантазии хотя бы на концептуальном уровне: хороший синглтон, плохой синглтон, дерзкий синглтон, вздорный синглтон, приторно-любезный синглтон, деспотичный синглтон с признаками паранойи, вопящий самодур синглтон, порою напоминающий разбушевавшуюся природную стихию.

265

См.: [Jones 1985, p. 344].

266

Нельзя забывать, что Манхэттенский проект был реализован во время войны. Многие ученые вспоминали, что дали согласие на участие в нем в основном по двум мотивам: помочь стране в ситуации военного времени и из страха, что нацистская Германия опередит союзников и первой создаст атомное оружие. В мирное время многим правительствам оказалось бы не по плечу мобилизовать такое количество работников — среди которых были крупнейшие ученые — на участие в столь масштабном и секретном мероприятии. Еще один классический пример научно-технического мегапроекта — программа Apollo. Но и она получила столь мощную поддержку лишь благодаря противостоянию, рожденному холодной войной.

267

Впрочем, даже если такие проекты и искались бы изо всех сил, то делалось бы это таким образом, что вряд ли стало бы достоянием общественности.

268

Благодаря методам криптографии команда проекта вполне могла бы работать распределенно. В такой цепочке передачи информации самый уязвимый момент — первый, когда информация вводится в систему, и теоретически можно проследить за действиями печатающего человека. Но если широкое распространение получит слежка внутри помещений (при помощи микроскопических записывающих устройств), то ради столь ценной секретности можно принять контрмеры (например, специальные помещения, защищенные от проникновения в них шпионской аппаратуры). Причем если физическое пространство в наступающую эпоху всеобщего контроля становится все более прозрачным, то киберпространство вполне может оказаться лучше защищенным благодаря все более широкому распространению довольно надежных криптографических протоколов.

269

Тоталитарные страны наверняка догадаются возродить менее технологичные, но более действенные меры. Можно, как в СССР, помещать ученых, работающих над интересующими государство направлениями, в трудовые лагеря вроде сталинских «шарашек», которые в дальнейшем переродились в респектабельные и абсолютно закрытые академгородки.

270

Когда в обществе низок уровень социальной тревоги, некоторые ученые обычно не прочь чуть подогреть степень беспокойства, чтобы привлечь внимание к своей работе и представить направление, которым занимаются, чуть более важным и интересным. Когда в обществе уровень тревоги повышен, те же ученые меняют тон, поскольку начинают беспокоиться о снижении финансирования, введении новых норм регулирования и негативной общественной реакции. Специалистов из смежных дисциплин (например, кибернетика и робототехника), не имеющих прямого отношения к искусственному интеллекту, может возмущать такой перекос в финансировании и внимании. Они также могут справедливо считать, что их работа не несет риска возникновения потенциально опасных последствий, как в случае со взрывным развитием искусственного интеллекта. (Некоторые исторические параллели мы находим в истории развития идеи нанотехнологий; см.: [Drexler 2013].)

271

Эти проекты были удачны в том смысле, что достигли некоторых целей хотя бы минимально. Насколько успешными они явились в более широком плане (принимая во внимание экономическую эффективность), сказать трудно. Например, при разработке проекта МКС был допущен серьезный перерасход бюджета и задержки по срокам. Подробнее о проблемах, возникших в ходе проекта, см.: [NASA, 2013]. С разработкой Большого адронного коллайдера связано несколько серьезных неудач, но, скорее всего, они были вызваны первоначальной сложностью поставленной задачи. Проект «Геном человека» в конечном счете достиг успеха, но, похоже, благодаря дополнительному импульсу, который ему придала конкуренция с частным проектом Крейга Вентера. Пользовавшиеся международной поддержкой проекты по контролю над термоядерной энергией, несмотря на огромные инвестиции, не оправдали ожиданий, вероятно, все по той же причине — поставленная задача оказалась слишком сложной.

272

См.: [US Congress, 1995].

273

См.: [Hoffman 2009; Rhodes 2008].

274

См.: [Rhodes 1986].

275

Криптослужба ВМФ США OP-20-G, похоже, сознательно проигнорировала британцев, готовых поделиться с союзником методами расшифровки «Энигмы»; руководители OP-20-G не сообщили об этом предложении высшему руководству страны, см.: [Burke 2001]. В результате у США сложилось впечатление, что Британия утаила от них важную информацию, что привело к ненужной напряженности в ходе войны. Некоторые данные, полученные в результате дешифровки немецких сообщений, британская контрразведка передавала СССР. В частности, Сталин был предупрежден о подготовке операции «Барбаросса» (план вторжения Германии в СССР), но он отказался верить этому предупреждению, отчасти потому что британцы не сообщили ему об источнике сведений.

276

Бертран Рассел защищал возможность ядерной войны в течение нескольких лет — чтобы заставить Россию принять план Баруха; позднее Рассел стал последовательным сторонником взаимного ядерного разоружения [Russell, Griffin 2001]. Как известно, Джон фон Нейман был убежден в неизбежности войны между США и Россией и даже как-то сказал: «Если вы говорите: “Почему бы не разбомбить [русских] завтра”, — я спрошу: “А почему не сегодня?” Если вы скажете: «Сегодня в пять», — я спрошу: “а почему бы не в час?”» [Blair 1957, p. 96]. (Вероятно, он сделал свое нашумевшее заявление, чтобы заработать дополнительные очки у ястребов-антикоммунистов из Министерства обороны — ведь то были времена Маккарти. Невозможно с уверенностью заявлять, что фон Нейман действительно нанес бы первым удар, отвечай он за политику США.)

277

См.: [Baratta 2004].

278

Если ИИ контролируется группой людей, проблема может возникнуть с ними, хотя есть шанс, что к тому моменту появятся новые способы обеспечить выполнение общественных договоров, в таком случае даже человеческие сообщества смогут избежать угрозы внутреннего противостояния и образования враждебных коалиций.

279

Каковы критерии, по которым человек считается доминирующим видом на Земле? С экологической точки зрения он является самым распространенным крупным (~ 50 кг) млекопитающим, но общая сухая человеческая биомасса (~ 100 млрд кг) не очень впечатляет по сравнению с биомассой муравьев (300–3000 млрд кг). На долю человека и его микрофлоры приходится ничтожно малая часть (< 0,001) общей биомассы планеты. При этом территория, используемая под посадки и пастбища, представляет собой одну из крупнейших экосистем и покрывает примерно 35% свободной ото льда поверхности суши [Foley et al. 2007]. Человек присваивает почти четверть чистой первичной продукции — это согласно стандартным оценкам [Haberl et al. 2007], хотя в общем — в зависимости от понятийных подходов и терминологических принципов — их диапазон составляет от 3% до более чем 50% [Haberl et al. 2013]. У человека самый обширный среди всех животных ареал обитания; человек находится на вершине пищевой цепи.

280

См.: [Zalasiewicz et al. 2008].

281

Каковы критерии, по которым человек считается доминирующим видом на Земле? С экологической точки зрения он является самым распространенным крупным (~ 50 кг) млекопитающим, но общая сухая человеческая биомасса (~ 100 млрд кг) не очень впечатляет по сравнению с биомассой муравьев (300–3000 млрд кг). На долю человека и его микрофлоры приходится ничтожно малая часть (< 0,001) общей биомассы планеты. При этом территория, используемая под посадки и пастбища, представляет собой одну из крупнейших экосистем и покрывает примерно 35% свободной ото льда поверхности суши [Foley et al. 2007]. Человек присваивает почти четверть чистой первичной продукции — это согласно стандартным оценкам [Haberl et al. 2007], хотя в общем — в зависимости от понятийных подходов и терминологических принципов — их диапазон составляет от 3% до более чем 50% [Haberl et al. 2013]. У человека самый обширный среди всех животных ареал обитания; человек находится на вершине пищевой цепи..

282

Строго говоря, это высказывание не совсем корректно. Интеллектуальный уровень человека может быть сколь угодно низким, а в каких-то случаях даже достигать нулевой отметки (например, эмбрион или человек, находящийся в вегетативном состоянии). Поэтому в качественном выражении, наверное, максимальное различие когнитивных способностей в пределах человеческого вида все-таки более существенное, чем дистанция между любым человеком и сверхразумом. Конечно, если, произнося человек, мы имеем в виду «среднестатистический дееспособный взрослый человек» — тогда сказанное вполне справедливо.

283

См.: [Gottfredson 2002]; см. также: [Carroll 1993; Deary 2001].

284

См.: [Legg 2008] — если в общих чертах, то Шейн Легг предлагает оценивать агента, обучающегося с подкреплением, по ожидаемой эффективности во всех средах с нормированным вознаграждением, где каждая среда получает вес в зависимости от ее колмогоровской сложности (обучение с подкреплением мы рассмотрим в главе 12). См. также: [Dowe, Hernandez-Orallo 2012; Hibbard 2011].

285

В таких областях исследований, как биотехнологическая и нанотехнологическая, сверхразум мог бы отлично проявить себя в деле проектирования и моделирования новых структур. Но поскольку гениальный проект и успешная модель не могут заменить физических экспериментов, эффективность сверхразума будет ограничена уровнем его доступа к средствам, необходимым для опытных проверок.

286

Например: [Drexler 1992; 2013].

287

Специализированный ИИ мог бы, конечно, иметь значительную коммерческую ценность, но это не значит обрести сверхмощь в области экономической эффективности. Например, даже если специализированный ИИ поможет своим владельцам зарабатывать несколько миллиардов долларов в год, эта сумма все же будет на четыре порядка меньше объема всей мировой экономики. Чтобы ИИ мог непосредственно и значительно увеличить мировой ВВП, он должен уметь выполнять различные виды работ, то есть обладать компетенциями во многих областях.

288

Это не исключает развития любого сценария, по которому ИИ потерпит поражение. Например, ИИ может сознательно выбрать высокий уровень риска, имеющий большую вероятность неудачи. Однако в этом случае условие принимает другие формы: 1) ИИ объективно оценивает, что шансы на успех довольно низки; 2) ИИ считает, что при игре возможны лишь самые высокие ставки, и просто не берет во внимание другие варианты действий — те варианты, которые мы, современные люди, в отличие от ИИ замечаем и можем просчитать.

289

См.: [Freitas 2000; Vassar, Freitas 2006].

290

См.: [Yudkowsky 2008 a].

291

См.: [Freitas 1980; Freitas, Merkle 2004, ch. 3; Armstrong, Sandberg 2013].

292

Эта оценка основана на данных космического аппарата WMAP (WMAP (Wilkinson Microwave Anisotropy Probe) — космический аппарат НАСА, созданный для изучения реликтового излучения, образовавшегося в результате Большого взрыва; запущен 30.06.2001. (Прим. ред.)) о космологической плотности барионов, равной 9,9 × 10^–30 г/см³, и предположении, что 90% этой массы приходится на межгалактический газ, что 15% общей галактической массы (около 80% массы барионов) составляет масса звезд и что масса средней звезды равна 0,7 массы Солнца; см.: [Read, Trentham 2005; Carroll, Ostlie 2007].

293

См.: [Armstrong, Sandberg 2013].

294

Даже при движении со скоростью, равной 100% скорости света (которая недостижима для объектов с массой покоя, отличной от нуля), можно добраться не больше чем до 6 × 10⁹ галактик; см.: [Gott et al. 2005; Heyl 2005]. Мы исходим из того, что наше нынешнее понимание соответствующих физических законов верное. Но с уверенностью говорить о любой верхней границе сложно, поскольку вполне вероятно, что сверхразумная цивилизация может увеличить доступное ей пространство какими-то путями, кажущимися нам сегодня невозможными (например, создав машину времени, или породив новые расширяющиеся вселенные, или каким-то иным невообразимым способом).

295

Здесь дана лишь очень грубая оценка, так как нам неизвестно, сколько обитаемых планет приходится на одну звезду. Уэсли Трауб считает, что у трети звезд спектральных классов F, G и K есть как минимум одна планета земного типа в зоне, где возможна жизнь [Traub 2012]; см. также: [Clavin 2012]. На звезды классов F, G, K приходится примерно 22,7% звезд в окрестностях Солнечной системы, то есть у 7,6% звезд есть потенциально подходящие для жизни планеты. Кроме того, такие планеты могут быть у более многочисленных звезд класса М, см.: [Gilster 2012]; см. также: [Robles et al. 2008].

Совсем необязательно, чтобы опасностям межгалактических путешествий подвергались человеческие существа. За тем, как продвигается колонизация космоса, вполне способен присмотреть сам ИИ. А Homo sapiens позволят размножаться ради получения данных, которые ИИ будет использовать для создания новых представителей нашего вида. Например, синтезируют ДНК на базе имеющейся генетической информации, выведут первых людей в инкубаторе, а затем вырастят и обучат их при помощи воспитателей, обладающих ИИ и антропоморфной внешностью.

296

См.: [O’Neill 1974].

297

Фримен Дайсон утверждает [Dyson 1960], что позаимствовал свою идею у британского писателя-фантаста Олафа Стэплдона ([Olaf Stapledon 1937]), который, в свою очередь, мог черпать полезные для себя мысли в трудах британского ученого Джона Бернала, см.: [Dyson 1979, p. 211].

298

Принцип Ландауэра гласит, что минимальное количество энергии, которая необходима для изменения одного бита информации, равна kT ln 2, где k — константа Больцмана (1,38 × 10^–23 J/K), а T — температура. Если предположить, что схема работает при температуре около 300 К, тогда 10²⁶ Вт позволяет нам стирать примерно 10⁴⁷ бит в секунду. (О достижимой эффективности наномеханических вычислительных устройств см.: [Drexler 1992]; см. также: [Bradbury 1999; Sandberg 1999; Ćirković 2004]. По поводу обоснованности принципа Ландауэра все еще идут споры, см., например: [Norton 2011].)

299

Звезды различаются по своей мощности, но Солнце представляет собой довольно типичную звезду главной последовательности.

300

Возможно провести более подробный анализ и внимательно изучить, какие типы вычислений нас интересуют. Количество возможных последовательных вычислений довольно ограниченно, поскольку быстрый последовательный компьютер должен быть небольшого размера, чтобы минимизировать задержки в передаче данных между различными его частями. Есть также ограничение на количество бит, которые можно хранить, и, как мы видели, на количество необратимых вычислительных операций (включая стирание информации), которые можно выполнить.

301

См., например: [Huffman, Pless 2003; Knill et al. 2000; Drexler 1986].

302

Иначе говоря, дистанция будет небольшой при каком-то «естественном» показателе, например логарифме численности населения, которому можно обеспечить прожиточный минимум, если на то направить все имеющиеся ресурсы.

303

Мы исходим из предположения, что внеземных цивилизаций, которые могут встать у него на пути, просто не существует. А также из ложности гипотезы симуляции, см.: [Bostrom 2003 a]. Если какое-то из этих предположения неверно, могут возникнуть серьезные катаклизмы неантропогенного характера — то есть те, которые вызваны агентами, отличными от людей; см.: [Bostrom 2003 b; 2009 c].

304

Например, благоразумный синглтон, осознав идею эволюции, мог бы предпринять попытки постепенно повысить уровень своего коллективного интеллекта, используя для этого евгенические программы.

305

См.: [Tetlock, Belkin 1996].

306

Уточним, что колонизация, а также реинжиниринг заметной и доступной части Вселенной, то есть ее фундаментальное переосмысление и радикальное перепроектирование, в настоящее время не является достижимой задачей. Межгалактические путешествия лежат за пределами возможностей современных технологий. Речь идет о том, что мы, в принципе, способны использовать имеющиеся у нас уже сейчас ресурсы для создания дополнительных возможностей, тем самым обеспечив косвенную достижимость этой цели. Безусловная правда, что человечество пока не является синглтоном и что нет уверенности в отсутствии некой разумной силы, с противодействием которой мы столкнемся в процессе реинжиниринга Вселенной. Однако чтобы преодолеть порог устойчивости благоразумного синглтона, достаточно обладать такими возможностями, которые сделали бы достижимой задачу колонизации и реинжиниринга Вселенной благоразумным синглтоном, не встречающим противодействия другой разумной силы.

307

Иногда полезно говорить о двух ИИ, обладающих равной сверхмощью. В более широком смысле слова можно было бы считать, что сверхмощь в какой-то области предполагает сравнение возможностей действующей силы и человеческой цивилизации, но за исключением другого ИИ.

308

Ханна Арендт (1906–1975) — один из самых ярких философов нашего времени, изучавшая проблемы власти, насилия, зла, свободы; основоположник современной теории тоталитаризма. Бенни Хилл (1924–1992) — популярный английский комический актер. (Прим. ред.)

309

Конечно, все сказанное не исключает, что могут быть различия — довольно незначительные под микроскопом, но имеющие большое значение с функциональной точки зрения.

310

См.: [Yudkowsky 2008 a, p. 310].

311

Дэвид Юм, шотландский философ эпохи Просвещения, считал, что одной убежденности (например, в том, как правильно поступать) недостаточно для мотивации поступка — требуется еще желание. Казалось бы, это только снимает одно возражение, которое возможно выдвинуть против нашего тезиса: достаточно развитый интеллект непременно обретет определенные убеждения, что обязательно приведет к появлению определенных мотиваций. Однако, несмотря на то что тезис об ортогональности внешне подкрепляется юмовской мотивационной концепцией, он не предполагает ее в качестве необходимого условия. В частности, трудно отрицать, что иногда лишь голые убеждения служат вполне убедительной мотивацией какого-либо действия. Почему бы не предположить, например, что агент, обладающий высоким интеллектом, может быть настроен на любой план действий, если на то у него имеются довольно сильные желания. Второй случай, когда принцип ортогональности может быть истинным даже при условии ошибочности мотивационной концепции Юма, — это если формирование подобных убеждений у обладающего произвольно высоким интеллектом агента само по себе не мотивирует его на соответствующие поступки. Третий случай, когда принцип ортогональности может быть истинным даже при условии ошибочности мотивационной концепции Юма, — это если возможно создать агента (или проще: запустить «процесс оптимизации») с произвольно высоким интеллектом, но с настолько чужеродным устройством, что у него вообще не будет прямых функциональных аналогов таким человеческим понятиям, как «убеждение» и «желание». (Недавние попытки защитить концепцию Юма можно найти в работах: [Smith 1987; Lewis 1988; Sinhababu 2009].)

312

Например, Дерек Парфит считает, что некоторые базовые предпочтения могут быть иррациональными, как, скажем, у нормального, в принципе, агента, но с синдромом «безразличия к следующему вторнику», то есть гедониста, которого очень заботит качество его будущего опыта, за одним исключением. Этим исключением является его безразличие к событиям будущего вторника. Вообще то, что происходит по вторникам, ему не безразлично. Ему безразличны лишь страдания и удовольствие, которые его ждут в следующий вторник… Это безразличие — неоспоримый факт. И поэтому, составляя планы на будущее, он предпочтет перспективу огромных страданий по вторникам умеренным страданиям в любой другой день [Parfit 1986, p. 123–124]; см. также: [Parfit 2011].

Для своих целей мы не будем задерживаться на выяснении, прав ли Парфит, считая такого агента рациональным, если мы примем, что в инструментальном смысле описанное в этом примере поведение агента не обязательно неразумно. Агент Парфита может быть безукоризненно рациональным в инструментальном смысле, а следовательно, иметь большой интеллект, даже если ему недостает восприимчивости к «объективной причине», которой должен был бы обладать полностью рациональный агент. Следовательно, такие примеры не опровергают тезис об ортогональности.

313

Даже наличие объективных этических норм, которые способен понять полностью рациональный агент, и даже если эти этические нормы обладают внутренней мотивирующей силой (в результате чего все, кто их понял, непременно будут поступать в соответствии с ними), не опровергает тезис об ортогональности. Он остается верным, если агент непоколебимо рационален в инструментальном смысле при отсутствии некоторых других составляющих рациональности или качеств, необходимых для полного понимания данных этических норм. (Агент также может быть чрезвычайно интеллектуальным, даже сверхинтеллектуальным, и не обладать полной инструментальной рациональностью во всех областях.)

314

Более подробно тезис об ортогональности рассматривается в работах: [Bostrom 2012; Armstrong 2013].

315

См.: [Sandberg, Bostrom 2008].

316

На эту тему есть две основополагающие работы Стивена Омохундро, считающего, что всем прогрессивным системам ИИ, скорее всего, будет присущ набор «базисных установок», под которыми он понимает «исходные склонности, влияющие до тех пор, пока не будет осуществлено явное противодействие» [Omohundro 2007; Omohundro 2008]. У термина установка ИИ есть несомненное преимущество — он короткий, яркий и узнаваемый. Но у него есть недостаток: он наводит на мысль, что инструментальные цели ИИ — чем, по сути, являются его базисные установки — воздействуют на процесс принятия им решений ровно таким же образом, как человеческие психологические установки влияют на процесс принятия решений людьми, когда мы — за счет своего рода феноменологической удавки, наброшенной на собственное я, — силой воли преодолеваем свои природные склонности. Подобная аналогия неплодотворна. Ведь никто из нас никогда в жизни не произнесет: «У меня есть установка своевременно заполнять налоговую декларацию», — даже если само действие является разумной инструментальной целью любого цивилизованного члена современного общества (реализация именно этой цели предотвращает неприятности, способные помешать человеку воплотить в жизнь многие его конечные цели). Некоторых другие заключения Омохундро тоже расходятся с нашей трактовкой, хотя в вопросе основной идеи мы с ним солидарны. См. также: [Chalmers 2010; Omohundro 2012].

317

См.: [Chislenko 1997].

318

См. также: [Shulman 2010 b].

319

Под влиянием перемен в онтологических взглядах агент может менять и общее целевое представление, чтобы придать равновесие своей мировоззренческой позиции, см.: [De Blanc 2011].

Еще одним фактором может стать важность принятия того или иного решения под воздействием бесспорности внешних обстоятельств: агент вынужден предпринимать те или иные действия, в том числе меняя конечные цели, чтобы увеличить очевидность принятия решений. Например, агент, следующий принципам теории выбора, может верить, что во вселенной существуют другие агенты, в чем-то похожие на него, и что от них можно ожидать поведения, сходного с его собственным. Вследствие чего агент выберет по отношению к гипотетическим вселенским агентам альтруистическую конечную цель, надеясь, что и они поведут себя так же. Впрочем, аналогичного результата можно добиться, не меняя конечных целей, а просто действуя таким образом, будто бы они были изменены.

320

Формированию адаптивных предпочтений посвящено множество работ в области психологии; см., например: [Forgas et al. 2010].

321

В формальных моделях ценность информации измеряется разностью между предполагаемым средним значением, полученным в результате оптимальных решений, принятых с учетом этой информации, и предполагаемым средним значением, полученным в результате оптимальных решений, принятых без ее учета; см., например: [Russell, Norvig 2010]. Отсюда следует, что значимость информации не может быть величиной отрицательной и что информация, которой, насколько вам известно, вы никогда не воспользуетесь для принятия решений, имеет для вас нулевую ценность. Однако в таких формальных моделях допускаются некоторые упрощения, правда, не очень значимые для реального мира: во-первых, знание не несет в себе результативной ценности (то есть оно имеет лишь инструментальную ценность, но само по себе ничего не значит); во-вторых, знания одних агентов недоступны другим агентам.

322

Голландский аукцион (Dutch auction) — типичный для этой страны аукцион, в ходе которого в начале объявляется самая высокая цена, а затем ставка снижается до тех пор, пока не появится первый покупатель; стал обобщенным названием для любых торгов, где ведется игра на понижение. (Прим. ред.)

323

См., например: [Hájek 2009].

324

Примером такой стратегии может быть поведение аcцидии: она свободно плавает будучи личинкой, но, повзрослев, находит подходящий камень, к которому прикрепляется навсегда. Обретя свое место, асцидия перестает нуждаться в сложной системе обработки информации и начинает поедать собственный мозг (в частности, головной ганглий). Такие же процессы происходят — что мы можем наблюдать — и с некоторыми учеными, когда они, став штатными профессорами, отдают себя в полное владение университетам.

325

См.: [Bostrom 2012].

326

См.: [Bostrom 2006 c].

327

Рассмотрим проблему с прямо противоположной стороны и расследуем вероятные причины, по которым сверхмощный и сверхразумный синглтон не стал бы развивать свои технологические возможности: 1) синглтон прогнозирует, что не воспользуется этими возможностями; 2) затраты на разработку слишком высоки по сравнению с предполагаемой пользой (например, новейшая технология никогда не пригодится для достижения одной из целей синглтона или ставка дисконтирования столь высока, что делает практически нереальными инвестиции); 3) конечная цель синглтона требует воздерживаться от развития конкретных технологических направлений; 4) если синглтон не уверен, что сможет сохранить стабильность, то может предпочесть воздержаться от развития технологий, которые могли бы угрожать его внутреннему состоянию равновесия или привести к более тяжелым последствиям в случае его распада (например, мировое правительство не станет содействовать развитию технологий, которые могут использоваться в случае массовых акций протеста, даже если у них есть и полезные области применения, или технологий, облегчающих производство оружия массового поражения, способное вырваться из-под контроля в случае падения самого правительства); 5) у синглтона есть ранее взятые обязательства не разрабатывать определенные виды технологий; эти обязательства могут по-прежнему действовать, несмотря на их невыгодность в новых условиях. (Следует отметить, что некоторые существующие сегодня причины развития технологий не будут иметь отношения к будущему синглтону: я имею в виду причины, связанные с гонкой вооружений.)

328

Предположим, что агент будет добывать в будущем ресурсы по экспоненциальной ставке дисконтирования, но обеспеченность ресурсами происходит в соответствии с полиномиальной моделью — из-за ограничений, которые накладывает скорость света. Будет ли это означать, что в определенный момент агент сочтет дальнейшую экспансию бессмысленной? Нет, поскольку так же будут вести себя и затраты на приобретение ресурсов, хотя текущая стоимость ресурсов, которые будут получены в будущем, станет тем быстрее стремиться по асимптоте к нулю, чем дальше в будущее мы будем заглядывать. Текущая стоимость запуска еще одного зонда фон Неймана через 100 млн лет (возможно, за счет ресурсов, приобретенных ранее) будет практически обнулена за счет того же коэффициента дисконтирования, который практически обнулит текущую стоимость будущих ресурсов, добытых этим зондом.

329

Хотя объем космического пространства, охваченный зондами, всегда будет представлять собой почти идеальную сферу, расширяющуюся пропорционально квадрату времени, прошедшему с момента запуска первого зонда (~t²), количество содержащихся в этом объеме ресурсов будет расти с гораздо меньшей скоростью, поскольку они распределены в нем неравномерно. Поначалу, во время колонизации родной планеты, скорость будет равной ~t²; потом она достигнет пика за счет колонизации ближайших планет и звездных систем; затем, когда с объемом в форме диска, в котором содержится Млечный Путь, будет покончено, скорость роста упадет примерно до t; после снова достигнет пика во время колонизации близлежащих галактик; вслед за этим скорость роста снова упадет до ~t², когда расширение достигнет масштабов, в которых распределение галактик можно считать однородным; далее еще один пик и плавный спад до ~t² в процессе колонизации галактического суперкластера; и наконец, скорость роста начнет снижаться, пока не упадет до нуля в момент, когда расширение Вселенной сделает дальнейшую колонизацию невозможной.

330

В этом контексте особенно большое значение приобретает гипотеза симуляции. Сверхразумный агент может присвоить высокую вероятность гипотезе, в соответствии с которой он существует в компьютерной имитационной модели, а его перцептивная последовательность генерируется другим сверхразумом, в результате чего могут возникнуть различные конвергентные инструментальные причины в зависимости от представлений агента о том, в какого типа имитационной модели он может скорее всего находиться; см.: [Bostrom 2003 a].

331

Открытие фундаментальных законов физики и других фундаментальных фактов является конвергентной инструментальной целью. Поместим ее в категорию «усовершенствование когнитивных способностей», хотя также она может находиться в категории «технологическое совершенство» (поскольку новые физические явления означают создание инновационных технологий).

332

Есть другие сценарии экзистенциального риска: человечество выживет, но будет пребывать в состоянии, далеком от оптимального; человечество выживет, но безвозвратно утратит большую часть своего потенциала, без которого дальнейший прогресс будет невозможен. Помимо этого, экзистенциальные риски могут быть связаны с самим процессом взрывного развития искусственного интеллекта: высока вероятность вражды между государствами, борющимися за лидерство в создании сверхразума.

333

Особенно уязвимым будет момент, когда ИИ впервые осознает необходимость скрывать свои намерения (это явление можно назвать рождением обмана). В самом начале процесса осознания ИИ еще не будет прятать свои мысли от разработчиков. Но как только поймет это окончательно, то сразу — чтобы иметь возможность продолжать работу над планом по реализации своей долгосрочной стратегии — запустит некие внутренние механизмы маскировки, скрывая в том числе и сам факт осознания (возможно, он будет использовать одни, невинно выглядящие, процессы для прикрытия других, гораздо более сложных).

334

Даже хакеры-люди способны писать небольшие и внешне невинные программы, способные делать совершенно неожиданные вещи. (Примеры можно найти, просмотрев список победителей Международного конкурса на самый запутанный код на языке Cи.)

335

Некоторые механизмы контроля над ИИ кажутся вполне надежными в каком-то определенном контексте, но если ситуация изменится, те же механизмы могут привести к катастрофическому отказу — допустимость такого поворота событий также подчеркивал Элиезер Юдковский [Yudkowsky 2008 a].

336

Кажется, впервые термин самостимуляция использовал писатель-фантаст Ларри Нивен [Niven 1973], но восходит он к реальным экспериментам по прямой электростимуляции «зон вознаграждения» мозга, которые проводили на животных Джеймс Олдс и Питер Милнер, см.: [Olds, Milner 1954; Oshima, Katayama 2010]. См. также: [Ring, Orseau 2011].

337

Вроде рычажка, замыкающего ток в электродах, на который беспрерывно нажимали подопытные крысы Олдса и Милнера (кажется, впервые термин самостимуляция использовал писатель-фантаст Ларри Нивен [Niven 1973], но восходит он к реальным экспериментам по прямой электростимуляции «зон вознаграждения» мозга, которые проводили на животных Джеймс Олдс и Питер Милнер, см.: [Olds, Milner 1954; Oshima, Katayama 2010]. См. также: [Ring, Orseau 2011].), чтобы производить самораздражение в центрах наслаждения, куда были подключены электроды. (Прим. ред.)

338

См. также: [Bostrom 1997].

339

«Включись, настройся, выпадай» (Turn on, tune in, drop out) — фраза Тимоти Лири, американского психолога, сторонника теории «расширения сознания», посвятившего жизнь изучению психоделических препаратов и исследованию их влияния на психическую деятельность и нервную систему человека. (Прим. ред.)

340

Возможно, удастся настроить механизм обучения с подкреплением таким образом, что во время процесса самостимуляции будет происходить безопасное отключение системы, а не отказ по типу инфраструктурной избыточности. Проблема в другом: ситуация, по самым неизвестным причинам, все равно может выйти из-под контроля.

341

Вариант, предложенный Марвином Мински; см.: [Russell, Norvig 2010, p. 1039].

342

Для обсуждения такой темы (в отличие от многих других тем книги) большое значение имеет вопрос, какие типы цифрового разума будут наделены сознанием, в смысле будут ли у них квалиа, то есть опыт субъективных переживаний и ощущений. Нерешенным остается вопрос, как в различных ситуациях поведут себя эти антропоморфные сущности; мы в принципе не можем оценить этого, не сделав моделирования их мозга на таком уровне детализации, который мог бы привести к появлению у них сознания. Неясно также, можно ли создать пригодные к практическому использованию в процессе создания ИИ алгоритмы, например методы обучения с подкреплением, в результате работы которых у него сформируются квалиа. Пусть мы придем к выводу, что вероятность появления сознания у таких подпрограмм довольно низка, но их количество может оказаться настолько решающим, что мы не имеем права допустить даже самого незначительного риска их страданий. По нашей шкале ценностей такая опасность должна иметь серьезное значение. См. также: [Metzinger 2003, ch. 8].

343

См.: [Bostrom 2002 a; 2003 a; Elga 2004].

344

См., например: [Laffont, Martimort 2002].

345

Предположим, большинство избирателей мечтают, чтобы в их стране был создан сверхразум. Они голосуют за кандидата, который обещает выполнить их пожелание, но могут ли они быть уверены, что он, придя к власти, выполнит обещания, данные в ходе предвыборной кампании, и будет реализовывать проект в соответствии с предпочтениями людей? Допустим, он сдержит слово и распорядится, чтобы правительство привлекло ученых и бизнесменов к выполнению этой задачи; но снова возникает агентская проблема: у бюрократов может быть своя точка зрения на то, что нужно делать, и проект будет реализован в соответствии с буквой, но не духом данных им инструкций. И даже если правительство честно выполнит свою часть работы, у привлеченных им исполнителей может быть собственное видение проекта. То есть проблема возникает на многих уровнях. Например, директор лаборатории, участвующей в проекте, может не спать ночами из страха, что какой-нибудь разработчик внесет несанкционированные изменения в программу, он уже представляет, как поздно ночью прокрадывается в свой кабинет профессор И. З. Менник, входит в систему и частично переписывает код, меняя конечные цели ИИ. И там, где было «служить человечеству», появляется «служить профессору И. З. Меннику».

346

Впрочем, даже во время развития ИИ возможно использовать бихевиористский подход — правда, лишь в качестве дополнительного средства тестирования в более обширной системе мер предосторожности. Если ИИ на стадии разработки начнет вести себя ненадлежащим образом, что-то обязательно пойдет наперекосяк в его системе — однако прошу обратить особое внимание, что при обратном эффекте это правило не справедливо.

347

Приведу классический пример, относящийся к уже далекому 1975 году, когда Стивен Домпье обнаружил, что его Altair 8800 (один из первых персональных компьютеров, примитивный и не экранированный) вызывает помехи в стоящем рядом радиоприемнике. Тогда он написал программу, управляющую электромагнитными разрядами, и с помощью приемника проиграл на своем Altair мелодию битловской Fool on the Hill («Дурак на холме»); см.: [Driscoll 2012]. Присутствовавший на демонстрации молодой Билл Гейтс был восхищен и заинтригован увиденным [Gates 1975]. Сегодня есть планы создания микропроцессоров со встроенным Wi-Fi-передатчиком [Greene 2012].

348

Это далеко не простой вопрос: брать под сомнение то, в чем твердо уверен. Но если мы не научимся это делать, то потеряем шанс заблаговременно принять соответствующие меры — и тогда прощай заветная мечта об освоении космоса. Пожалуй, можно было бы поговорить в пользу такого принципа: если некто в прошлом каждый раз (N случаев) был убежден в абсолютной защищенности своей системы, но всякий раз оказывалось, что он ошибался, то в очередном случае рассуждая об ее безопасности, он не вправе присваивать вероятность, превышающую 1/(N + 1).

349

В одном неофициальном эксперименте в роли ИИ выступил человек — естественно, обладающий незаурядным интеллектом. В роль охранника, которого каждый раз исполняли разные люди, входило ни при каком случае не выпускать «искусственного интелекта» из комнаты. «Искусственному интеллекту» дали всего два часа на то, чтобы убедить своего сторожа отпустить его на свободу, причем разрешили вступать в общение с ним лишь посредством текстовых сообщений. В трех случаях из пяти «искусственному интеллекту» удавалось сбегать; см.: [Yudkowsky 2002]. Если смог человек, то сможет и сверхразум. (Обратное, конечно, неверно. Даже если перед сверхразумом будет стоять более трудная задача — возможно, его охранники будут сильнее мотивированы, чем люди в ходе упомянутого эксперимента, — сверхразум справится там, где потерпит поражение человек.)

350

Однако и в этом случае не стоит переоценивать безопасность системы. Психические образы легко заменяются на визуальные с помощью графической информации. Более того, вспомним, какое воздействие на человека оказывают книги — притом что книга, насколько мы знаем, не вступает в диалог со своим читателем.

351

См. также: [Chalmers 2010]. Однако было бы неправильным считать, что систему, за действиями которой нельзя наблюдать со стороны, невозможно использовать. Во-первых, происходящее внутри нее может быть определено как результирующее значение. Во-вторых, не исключено, что кто-то, либо руководствуясь собственными соображениями, либо взяв на себя такое обязательство, создает именно замкнутую систему, чтобы иметь приоритетное право на то, что происходит внутри нее. Само существование определенных классов замкнутых систем, содержащих шаблон наблюдателя, может вызвать у некоторых внешних наблюдателей чувство сомнения в антропном принципе, что, естественно, повлияет на их дальнейшие действия.

352

Может возникнуть вопрос, почему социальная интеграция расценивается как один из методов контроля над возможностями? Наверное, правильнее было бы классифицировать ее как один из методов выбора мотивации? На том основании, что целью социальной интеграции является стимулирование нужного нам поведения системы. Довольно скоро мы начнем подробное обсуждение проблемы выбора мотивации, но сейчас, в поисках ответа на поставленный вопрос, скажем, что в этой конкретной ситуации метод контроля мы рассматриваем в свете метода выбора мотивации, имеющего прямое отношение к конечным целям системы, выбор или уточнение которых не имеет инструментального значения, поскольку они значимы сами по себе. Так как социальная интеграция не является конечной целью системы, она не относится к методам выбора мотивации. Скорее, социальная интеграция призвана ограничить огромные возможности системы, то есть не дать ей реализовать определенные сценарии, в которых она нарушает правила, не подвергаясь при этом соответствующему наказанию (возмездие и потеря выгоды от сотрудничества). Надежда лишь на одно: в результате резкого сужения потенциала, большую часть которого она не в состоянии раскрыть, система поймет, что наиболее значимой из оставшихся в ее распоряжении возможностей добиться конечных целей остается сотрудничество с человеческим обществом.

353

Этот подход может оказаться более удачным, если считать, что у имитационных моделей будет мотивация, аналогичная человеческой.

354

Идею я позаимствовал у Карла Шульмана.

355

Создание шифра, способного противостоять сверхразумному дешифратору, — задача крайней сложности. Например, следы случайной последовательности могут сохраниться в мозгу какого-то наблюдателя или в микроструктуре генератора случайных чисел, откуда их сможет извлечь сверхразум. Помимо этого, если используются псевдослучайные числа, он способен разгадать или отыскать принцип их генерации. Более того, сверхразум может построить большие квантовые компьютеры или даже открыть новые физические явления, которые позволят создать совсем новые типы компьютеров.

356

ИИ мог бы перепрограммировать себя так, чтобы поверить в то, что получает наградные знаки, но это не будет прямым стимулированием, если он сконструирован так, чтобы стремиться получать именно знаки (а не формулировать те или иные убеждения насчет них).

357

См.: [Bostrom 2003 a]; см. также: [Elga 2004].

358

См.: [Shulman 2010 a].

359

Предположительно, доступная нам реальность базового уровня требует большего количества вычислительных ресурсов, чем имитационный мир, поскольку все вычислительные процессы, происходящие в имитационной модели, делаются на компьютерах, на которых она запущена. Реальность базового уровня также содержит множество других физических ресурсов, к которым трудно получить доступ имитационным агентам — агентам, существующим лишь милостью сверхмощных и сверхразумных имитаций-принципалов; причем у последних могут быть свои виды на эти ресурсы. (Конечно, дедуктивный вывод здесь не идеально строг — вполне допустимо, что имитационные миры обладают таким количеством ресурсов, что сверхмощные и сверхразумные имитации-принципалы в среднем имеют доступ к большему количеству ресурсов, чем сверхразумы, обитающие в реальном мире, даже если каждая неимитационная цивилизация, запускающая имитационные модели, обладает большими ресурсами, чем все ее имитации, вместе взятые.)

360

Перевод Б. Пастернака. (Прим. ред.)

361

Есть и другие эзотерические соображения, имеющие отношение к этой теме и способные привести к таким последствиям, которые еще не проанализированы в должной мере. В конечном счете они могут оказаться критически важными для создания всеобъемлющего подхода к подготовке взрывного развития искусственного интеллекта. Однако маловероятно, что мы преуспеем в выяснении степени практической значимости этих эзотерических соображений, не добившись вначале определенного прогресса в анализе более приземленных вещей, которым посвящена большая часть этой книги.

362

См., например: [Quine, Ullian 1978].

363

О них ИИ может узнать, проведя анализ характеристики производительности различных базовых вычислительных компонентов, включая размер и емкость шин данных, время доступа к разным областям памяти и т. д.

364

Размышляя об априорной вероятности создания миров, наш сверхразум не стал бы первооткрывателем: еще в 1960-е гг. Рэй Соломонов ввел концепцию алгоритмической вероятности, которая легла в основу его, соломоновской, теории индуктивного вывода — теории предсказаний, сделанных в результате наблюдений; см.: [Li, Vitanyi 2008].

365

Уже в следующий момент — сразу после рождения обмана — ИИ может решить стереть следы своих мятежных мыслей. Поэтому очень важно, чтобы «растяжки» работали постоянно. Кроме того, было бы полезно иметь «черный ящик» вроде тех, которые используются в самолетах, где могли бы храниться следы всех действий ИИ (включая точное время введения информации с клавиатуры программистами), чтобы после автоматического отключения системы их можно было проследить и проанализировать. Храниться информация может на устройстве с возможностью лишь однократной записи и многократного чтения.

366

Консеквенциализм (consequentialism) — этическая теория, согласно которой правильность или неправильность действий оценивается с точки зрения того, каковы их результаты или последствия. (Прим. ред.)

367

См.: [Asimov 1942] (Рассказ Айзека Азимова Runaround известен русскоязычному читателю с 1963 года как «Хоровод»; в сборнике «Я, робот» (М.: Центрполиграф, 2003) опубликован под названием «Вокруг да около». (Прим. ред.)). К этим трем позднее был добавлен «нулевой» закон: 0) робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред [Asimov 1985] (Айзек Азимов. Роботы и Империя. М.: Эксмо, 2003. (Прим. ред.)).

368

См.: [Gunn 1982].

369

Альфред Уайтхед, Бертран Рассел. Основания математики. В 3 т. / Под ред. Г. П. Ярового, Ю. Н. Радаева. Самара: Самарский университет, 2005–2006. (Прим. ред.)

370

Бертран Рассел. Философия логического атомизма / Пер. с англ. В. А. Суровцева. Томск: Водолей, 1999. С. 5. (Прим. ред.)

371

См.: [Russell 1986, p. 161f

372

У философов порою уходила вся жизнь на то, чтобы ясно сформулировать положения деонтологической этики (Деонтологическая этика, или деонтология (от др.-греч. δέον — «должное») — учение о проблемах морали и нравственности; раздел этики. (Прим. ред.)), тем более что и время, и мир никогда не стоят на месте, постоянно возникают новые события и обстоятельства, требующие пересмотра концепций, а значит, и обновленных изложений. Эта аналогия невольно приходит на ум в связи с нашей темой. Например, со второй половины прошлого века набирает силу новое междисциплинарное направление, названное «мысленный эксперимент», и всем, кто занимается этическими учениями или теорией познания, вновь пришлось переоценивать стандартные представления. С позиций деонтологии речь прежде всего идет, конечно, о так называемой проблеме вагонетки — этическом мысленном эксперименте, открывшем современным исследователям многие нравственные установки, присутствующие в сознании современных людей. Возьмем хотя бы наши едва уловимые представления, связанные с различиями таких понятий, как последствия действия и бездействия, последствия намеренные и непреднамеренные; см.: [Kamm 2007].

373

Классический утилитаризм, или ранний утилитаризм (от лат. utilitas — «польза, выгода»), — направление в теории этики, согласно которому моральная ценность поведения или поступка определяется его полезностью; как философское учение окончательно сложился во второй половине XIX — первой половине XX вв. (Прим. ред.)

374

См.: [Armstrong 2010].

375

Здравый смысл подсказывает, что если планируешь использовать многочисленные предохранительные устройства для изоляции ИИ, а также другие методы контроля и мотивации, то самым разумным было бы действовать так, будто каждое устройство и каждый метод является тем единственным, который следовало бы применять именно в данном случае. Говоря языком программистов, когда ставишь одно дырявое ведро в другое дырявое ведро — вода все равно вытекает наружу.

376

Вариант той же идеи: создать ИИ, мотивированный действовать в соответствии со своим представлением, каким мог бы быть неявно заданный стандарт. В данной ситуации конечная цель ИИ — всегда действовать в соответствии с неявно заданным стандартом, а задача определения того, каким он может быть, выполняется в рамках достижения инструментальной цели.

377

Я сознательно остановился на антропоморфных названиях, но им не следует придавать привычный нам смысл. Это всего лишь ярлыки для обозначения внешних отличий различных интеллектуальных систем, которые можно создать.

378

При вопросе о результатах следующих выборов вряд ли было бы удобно пользоваться ответом, содержащим полный перечень всех прогнозных вариантов, касающихся как людей, так и ситуаций.

379

Привязанных к определенному набору команд и компьютеру.

380

См.: [Kuhn 1962; De Blanc 2011].

381

Применить метод консенсуса к ИИ-джиннам и ИИ-монархам было бы сложнее, поскольку для достижения одной и той же цели можно использовать различные и при этом почти одинаково эффективные последовательности базовых действий (например, направление определенных наборов электрических сигналов к исполнительным механизмам системы); разные агенты могут выбирать несколько отличные действия, и тогда консенсус окажется невозможным. В отличие от этого, у вопросов, сформулированных нужным образом, не так много вариантов подходящих ответов (например, «да» и «нет»). (О концепции фокусной, или фокальной, точки, или точки Шеллинга, см.: [Schelling 1980].)

382

В некотором отношении поведение мировой экономики в чем-то напоминает поведение джинна, только джинна какого-то вялого и тщедушного, хотя и чрезвычайно алчного. Мировая экономика, которая может возникнуть в будущем, будет напоминать джинна, обладающего коллективным сверхразумом.

Правда, есть один момент, когда современная экономика не напоминает джинна: я могу приказать ей (конечно, за оплату ее услуг) обеспечить мне пиццу с доставкой на дом, но не в моих силах дать ей команду обеспечить мир во всем мире. Причем причина не в том, что экономика не обладает достаточной властью, просто она недостаточно скоординированна. В этом смысле мировая экономика скорее похожа не на одного джинна или иного единого агента, а на партию джиннов, обслуживающую разных и конкурирующих между собой владельцев.

Вряд ли окажется перспективным путь, если мы начнем наделять каждого джинна большим могуществом — это не сделает нашу экономику более сильной и не обеспечит мир на планете. Чтобы экономика могла функционировать как сверхразумный джинн, нужно не только повышать ее производительность, то есть добиваться при минимальных затратах максимального выпуска товаров и услуг (в том числе тех, которым требуются принципиально новые технологии), но и приспосабливать ее к тому, чтобы она была заинтересована лучше решать проблемы общемировой координации.

383

Если джинн почему-то будет неспособен отказаться от выполнения команды — и перепрограммировать себя так, чтобы избавиться от этого слабого места, — он может действовать так, чтобы исключить возможность появления новых команд.

384

Для джинна или монарха, находящихся в поисках нужного варианта ответа, может оказаться полезным даже оракул, отвечающий в духе «да» и «нет». Помощь оракула удобно использовать для написания исходного кода для джинна или монарха — нужно лишь задать ему ряд вопросов, приблизительно такого плана: «В бинарной версии кода первого ИИ, который, по твоему мнению, мог бы стать джинном, n-й символ — это ноль?»

385

Можно разработать более сложного оракула (или джинна), принимающего вопросы (или команды) только от уполномоченных на это лиц. Но где гарантия, что эти люди не окажутся коррумпированными или не станут жертвами шантажа со стороны ИИ?

386

Концепция «вуаль неведения», или «вуаль невежества», принадлежит одному из самых известных политических философов XX века Джону Ролзу; согласно ей при формировании принципов справедливого распределения нужно абстрагироваться от возможных последствий для своего личного благосостояния. Другими словами, когда мы размышляем над устройством такого понятия, как общественный договор, нам следует представить, будто мы находимся под «вуалью неведения», не позволяющей нам узнать, ни каким человеком мы станем, ни какую социальную роль будем выполнять. Идея в том, чтобы мы думали построить такое общество, которое могло бы быть наиболее справедливым и желательным безотносительно наших эгоистических интересов и когнитивных искажений. В противном случае мы стали бы действовать в пользу собственной выгоды и предпочли бы такой социальный порядок, при котором имели бы незаслуженные привилегии [Rawls 1971].

387

См.: [Karnofsky 2012].

388

Возможным исключением может быть ПО, непосредственно замкнутое на достаточно мощные исполнительные механизмы, скажем, системы раннего предупреждения о ракетном нападении, напрямую соединенные с ядерными боеголовками или передающие информацию офицерам, уполномоченным на нанесение ядерного удара. Ошибки в его работе способны привести к абсолютно рискованным ситуациям. В истории человечества это происходило минимум дважды. Первый случай: 9 ноября 1979 года в результате компьютерного сбоя Объединенное командование воздушно-космической обороны Североамериканского континента получило ложный сигнал о начале полномасштабного нападения СССР на США. Немедленно началась подготовка ответного удара, но данные с радарных систем раннего предупреждения показали, что ни одной ракеты со стороны СССР запущено не было [McLean, Stewart 1979]. Второй случай: 26 сентября 1983 года ошибочно сработала «Око» — советская спутниковая система обнаружения стартов межконтинентальных баллистических ракет с континентальной части США, — сообщив о ракетном ударе со стороны Соединенных Штатов. Оперативный дежурный командного пункта подполковник Станислав Петров правильно определил, что эта тревога ложная, — практически он один предотвратил ядерную войну [Lebedev 2004]. Вряд ли она привела бы к исчезновению человечества, даже если был бы задействован весь ядерный потенциал, имевшийся у всех стран на пике холодной войны, но, безусловно, вызвала бы неисчислимые смерти и страдания и крах современной цивилизации [Gaddis 1982; Parrington 1997]. Что угрожает нам в будущем? Может быть накоплен еще больший ядерный потенциал, изобретено более мощное смертоносное оружие, наши модели ядерного Армагеддона (в частности, оценки суровости ядерной зимы) могут оказаться несостоятельными.

389

Этот подход можно отнести к категории метода точной спецификации, основанного на системе четко прописанных правил (см. главу 9).

390

Ничего не изменится и в том случае, если критерий успеха будет определять лишь меру успешности решения, а не его точное определение.

391

Апологеты ИИ-оракула заявили бы, что у его пользователя по крайней мере есть возможность заметить изъян в предлагаемом решении — что он не соответствует намерениям пользователя, хотя и отвечает формально заданному критерию успеха. Вероятность обнаружения ошибки на этом этапе зависит от множества факторов, включая то, насколько понятны для человека результаты работы оракула и насколько доброжелательно он подходит к отбору тех черт потенциального сценария, которые представляет вниманию пользователя.

Можно не полагаться на ответы оракула, а попытаться создать отдельный инструмент, который мог бы инспектировать предложения ИИ и сообщать нам, что произойдет, если мы с ними согласимся. Но чтобы обеспечить это в полной мере, потребуется еще один сверхразум, чьему мнению мы должны будем доверять, то есть проблема надежности по-прежнему не будет решена. Можно также попробовать повысить безопасность за счет использования множества оракулов, перепроверяющих друг друга, но это не защитит нас в том случае, если все оракулы совершат одну и ту же ошибку — что может произойти, например, в ситуации, когда все они пользуются одним и тем же формальным определением того, что считать удовлетворительным решением.

392

«Секретный агент Макгайвер» (MacGyver) — популярный американский телесериал (1985–1992). (Прим. ред.)

393

См.: [Bird, Layzell 2002; Thompson 1997]; см. также: [Yaeger 1994; p. 13–14].

394

См.: [Williams 1966].

395

См.: [Leigh 2010].

396

Пример взят из работы Элиезера Юдковского, см.: [Yudkowsky 2011].

397

См.: [Wade 1976]. Проводились также компьютерные эксперименты по симулированию некоторых аспектов биологической эволюции, и иногда тоже с очень неожиданными результатами (см., например: [Yaeger 1994]).

398

При наличии довольно большой — ограниченной, но физически невозможной — вычислительной мощности было бы возможно получить универсальный сверхразум даже на базе имеющихся сейчас алгоритмов. (Например, AIX — UNIX-подобная операционная система IBM, см.: [Hutter 2001].) Но для достижения нужного уровня вычислительной мощности будет недостаточно соблюдения закона Мура даже в течение еще ста лет.

399

Совсем не обязательно, что это наиболее вероятный или желательный сценарий, поскольку он — один из наиболее простых с точки зрения анализа средствами стандартной экономической теории и потому представляет собой удобную стартовую точку для нашего обсуждения.

400

См.: [American Horse Council, 2005]; см. также: [Salem, Rowan 2001].

401

См.: [Acemoglu 2003; Mankiw 2009; Zuleta 2008].

402

См.: [Fredriksen 2012, p. 8; Salverda et al. 2009, p. 133].

403

Важно, чтобы часть капитала была инвестирована в активы, которые растут вместе с рынком. Повысить шансы, что волна не пройдет мимо, может диверсификация портфеля активов, например приобретение паев индексного фонда.

404

Пенсионные системы многих европейских стран являются распределительными, то есть пенсии выплачиваются скорее за счет текущих отчислений и налогов работающих граждан, чем накопленных сбережений. Такая система не будет автоматически удовлетворять нашим требованиям, поскольку в случае внезапного всплеска безработицы доходы, которые распределяются в виде пенсий, могут оскудеть. Однако у правительства может быть возможность восполнить дефицит из каких-то других источников.

405

См.: [American Horse Council, 2005].

406

Чтобы 7 млрд человек получали годовую пенсию в размере 90 000 долларов, потребуется 630 трлн долларов в год, что в десять раз превышает величину современного мирового ВВП. По имеющимся данным, за последние 100 лет он вырос в 19 раз — с 2 млрд долларов в 1900 году до 37 млрд долларов в 2000-м (в международных долларах 1900 года), см.: [Maddison 2007]. Поэтому если темпы роста, которые мы видели в прошлом веке, сохранятся на протяжении следующих двухсот лет, а население планеты не вырастет, обеспечение каждого годовой пенсией в 90 000 долларов будет стоить всего 3% мирового ВВП. Благодаря взрывному развитию искусственного интеллекта такой рост может случиться гораздо раньше. См. также: [Hanson 1998 a; 1998 b; 2008].

407

За последние 70 тысяч лет могло вырасти в миллион раз; см.: [Kremer 1993; Huff et al. 2010].

408

См.: [Cochran, Harpending 2009]; см. также: [Clark 2007] и [Allen 2008] — с критикой.

409

См.: [Kremer 1993].

410

См.: [Basten et al. 2013]. Также возможны сценарии и продолжения роста; но надо сказать, что неопределенность резко вырастает при прогнозе более чем на пару поколений.

411

В среднем в мире минимальный коэффициент фертильности для замещения в 2013 году равнялся 2,33 ребенка на одну женщину. Это число учитывает факт, что два ребенка нужно для того, чтобы заменить родителей, плюс еще «треть» для компенсации: 1) более высокая вероятность рождения мальчиков; 2) ранняя смерть до достижения фертильного возраста; для развитых стран этот показатель ниже, около 2,1 ребенка, из-за более низкой смертности; см.: [Espenshade et al. 2003, Introduction, table 1, p. 580]. Не будь иммиграции, численность населения большинства развитых стран снижалась бы. Приведу несколько примеров стран с фертильностью, недотягивающей до уровня замещения: Сингапур — 0,79 (самая низкая в мире), Япония — 1,39, Китай — 1,55, ЕС — 1,58, Россия — 1,61, Бразилия — 1,81, Иран — 1,86, Великобритания — 1,90. Даже население США медленно уменьшалось бы с их коэффициентом фертильности 2,05; см.: [CIA, 2013].

412

Этот час может пробить лишь через миллиарды лет.

413

Карл Шульман отмечает, что если люди рассчитывают сохранить свой образ жизни в условиях цифровой экономики, им нужно добиться, чтобы политическое устройство цифрового мира обеспечивало бы защиту их интересов на протяжении очень долгого времени [Shulman 2012]. Например, если события в цифровом мире разворачиваются в тысячу раз быстрее, чем вне его, то человеку придется полагаться на политическую стабильность в нем на протяжении 50 000 лет постоянных внутренних изменений. Но если цифровой политический мир будет хоть в чем-то похож на наш, за эти тысячи лет в нем произойдет огромное количество революций, войн и бунтов, способных сделать жизнь обычных людей «снаружи» невыносимой. Даже при минимальных шансах (не превышающих 0,01% за год) начала мировой ядерной войны или подобного ей катаклизма возможна практически неизбежная гибель людей, живущих в гораздо более медленном времени, чем их цифровые имитации. Чтобы устранить эту проблему, может потребоваться более стабильный порядок в цифровой реальности, например правление синглтона, постепенно приобретающего всю большую стабильность.

414

Даже при условии, что машины будут намного эффективнее людей, все-таки может сохраниться некоторый уровень зарплат, при котором окажется выгоднее нанимать работников-людей, скажем, за один цент в час. Но если для самих людей это обернется единственным источником дохода, наш род просто вымрет, потому что не сможет прокормить себя на такие суммы. Конечно, у людей останется еще доход на капитал. Если теперь предположить, что население будет расти до тех пор, пока доход на душу населения не дойдет до уровня прожиточного минимума, может показаться, что после этого люди станут работать усерднее. Допустим, прожиточный минимум равен одному доллару в день на человека. Тогда получается, что население будет расти до тех пор, пока он не снизится до девяноста центов, и людям придется работать на десять часов больше, чтобы получить эти недостающие десять центов. Однако это не обязательно так, поскольку прожиточный минимум зависит от количества выполненной работы — люди, занимающиеся трудом, сжигают больше калорий. Представим себе, что каждый час работы увеличивает издержки на питание на два цента. И теперь можно получить модель, в которой человечество находится в равновесии.

415

Может показаться, что такая ситуация невозможна, поскольку «организм, находящийся в подобном овощном состоянии» не сможет голосовать и защищать свои права. Но он может оставить доверенность ИИ на управление делами и защиту его политических интересов. (Все наши предположения исходят из того, что права собственности будут уважаться.)

416

Не очень понятно, какой термин выбрать: слово убивать звучит более жестоко, чем это может оказаться на самом деле; слово отключать звучит, может быть, более приемлемо, но для нашего случая оно слишком упрощает ситуацию. А сложность в том, что фактически речь идет о двух отдельных процедурах: остановке активной деятельности и удалении информационных шаблонов. Смерть человека обычно предполагает одновременно и то и другое, но в случае с эмуляторами эти процедуры могут быть разделены во времени. Мы могли бы сравнить временную остановку программы с обычным человеческим сном, а постоянную остановку — с комой. Еще сильнее усложняет ситуацию возможность копирования эмуляторов и запуск их с различными скоростями — это вообще не имеет прямых аналогий с человеческой жизнью. См.: [Bostrom 2006 b; Bostrom, Yudkowsky 2014].

417

Придется искать компромисс между общей мощностью параллельных вычислений и их скоростью, поскольку высочайшая скорость вычислений достижима только за счет снижения их эффективности. Это будет особенно верно с началом эры обратимых вычислений.

418

Эмуляторы можно испытывать, подвергая их искушению. Путем многократных проверок, как эмулятор, запущенный из состояния готовности, реагирует на различные последовательности стимулов, можно убедиться в его надежности. Но чем дальше в процессе развития он продвигается от своего исходного состояния, тем сильнее снижается уверенность в нем работодателя. (Поскольку проницательный эмулятор может догадываться, что работает в режиме имитации, следует быть осторожными, экстраполируя его поведение на ситуации, в которых гипотеза о симуляции будет меньше влиять на принимаемые им решения.)

419

Некоторые эмуляторы скорее будут идентифицировать себя со своим кланом — то есть со всеми копиями и вариациями, полученными из одного шаблона, — чем думать о себе как отдельном субъекте. Такие эмуляторы, скорее всего, не станут считать свое отключение смертью, зная, что другие члены клана выживут. Они могут понимать, что рано или поздно их настройки сбросят к некоторому исходному состоянию и они потеряют память, но будут так же мало беспокоиться об этом, как и любители вечеринок, которые часто не могут вспомнить утром события предыдущей ночи, — считайте это ретроградной амнезией, а не смертью.

420

С этической оценкой можно подходить и ко многим другим факторам. Даже если все работники испытывают «чувство глубокого удовлетворения» от условий своего труда, результат все-таки может быть сомнительным с нравственной точки зрения по другим основаниям, хотя эти основания и являются предметом споров между сторонниками различных этических учений. Однако важнейшим факторов все равно следует считать субъективное ощущение благополучия. См. также: [Bostrom, Yudkowsky 2014].

421

См.: [World Values Survey, 2008].

422

См.: [Helliwell et al. 2012].

423

Laissez-faire (фр. букв. «не мешать; оставаться пассивным») — принцип невмешательства; экономическая доктрина, согласно которой государственное вмешательство в экономику должно быть минимальным. (Прим. ред.)

424

Joie de vivre (фр.) — радость жизни. (Прим. ред.)

425

См.: [Bostrom 2004]; см. также: [Chislenko 1996; Moravec 1988].

426

Будут ли системы для обработки информации, возникшие в рамках этого сценария, обладать сознанием (в смысле наличия квалиа и возможности субъективных переживаний)? Трудно сказать. Отчасти из-за эмпирической неопределенности: какого рода когнитивными субъектами они будут. Отчасти из-за философской неопределенности: какие типы систем обладают сознанием. Можно попытаться переформулировать наш вопрос и спросить: будут ли они иметь моральный статус или будут ли они такими, что у нас появятся предпочтения относительно их «благополучия». Но на эти вопросы ответить не легче, чем на вопрос о сознании. На самом деле может оказаться, что ответы на вопросы и о сознании, и о моральном статусе, и о наших предпочтениях будут зависеть от того, смогут ли обсуждаемые системы субъективно переживать условия, в которых находятся.

427

Свидетельства того, что и в геологической, и человеческой истории прослеживается тенденция в пользу большей сложности, можно найти в книге Роберта Райта «Не ноль. Логика человеческой судьбы» [Wright 2001]. Противоположные аргументы (которые Райт критикует в главе 9 своей книги) см.: [Gould 1990]. См. также: [Pinker 2011], где приведены аргументы в пользу того, что мы являемся свидетелями устойчивой и длительной тенденции снижения уровня насилия и жестокости.

428

Об эффекте выбора наблюдателя см.: [Bostrom 2002 a].

429

См.: [Bostrom 2008 a]. Чтобы исключить влияние эффекта наблюдателя, потребуется гораздо более тщательное изучение деталей нашей эволюционной истории; см., например: [Carter 1983; 1993; Hanson 1998 d; Ćirković et al. 2010].

430

Мелиоризм (от лат. melior — «лучше») — концепция, признающая реальность идеи прогресса как ведущей к совершенствованию мира. (Прим. ред.)

431

См.: [Kansa 2003].

432

См., например: [Zahavi, Zahavi 1997].

433

См.: [Miller 2000].

434

См.: [Kansa 2003]; см. также: [Frank 1999] — очень интересная книга Роберта Франка «“Роскошная” лихорадка», дающая серьезную пищу для размышлений.

435

В принципе, не вполне ясно, как лучше всего измерять степень глобальной политической интеграции. Можно сравнить эпоху охотничье-собирательской культуры, когда в руководящие структуры в общем входило максимум несколько сот человек, принимающих все решения, и наше время, когда крупнейшие политические структуры в общем насчитывают более миллиарда человек. Это означает разницу в семь порядков, всего на порядок меньше ситуации, в которой единой политической структурой стал бы весь мир. Однако в те времена, когда максимальным уровнем интеграции являлось племя, население планеты было несравнимо меньше. Тогда племя могло включать в себя до тысячной доли всех жителей Земли. Оценка доли населения планеты, вовлеченной в процесс политической интеграции, а не абсолютных цифр, кажется более правильной в современных условиях (особенно учитывая, что переход к искусственному интеллекту может вызвать взрывной рост количества жителей планеты за счет появления имитационных моделей или иных форм цифрового разума). Развиваются принципиально отличные от государственных и других официальных институций глобальные организации и сети, которые тоже следует принимать во внимание.

436

Одна из возможных причин, почему первая революция ИИ должна закончиться довольно быстро, — избыточное количество аппаратных средств. Но это не исключает и прорыва в ПО, связанного с переходом от имитационных моделей к композиционным моделям ИИ.

437

См.: [Shulman 2010 b].

438

Эусоциальность — наивысший уровень социальной организации животных. (Прим. ред.)

439

Как получится уравновесить все pro и contra, будет зависеть от работы, которую пытается выполнить суперорганизм, и насколько большими возможностями будет обладать наиболее развитый единый шаблон эмуляторов. Человеческая потребность в крупных организационных структурах, в которые постоянно объединяются множества различных типов людей, отчасти вызвана тем, что людей, талантливых сразу во всем, очень мало.

440

Естественно, изготовить множество копий интеллектуального программного агента очень легко. Но для уверенности, что скопированные имитационные модели будут обладать одинаковыми конечными целями, этого недостаточно. Чтобы два агента имели одинаковые конечные цели (одинаковые в прямом смысле этого слова — то есть «одни и те же»), эти цели должны совпадать в своих дейктических (то есть указательных) элементах. Если Боб эгоист, то имитация Боба тоже будет эгоистом. Тем не менее цели их не одинаковые, поскольку Боба заботит благополучие Боба, а имитацию Боба — благополучие имитации Боба.

441

[Shulman 2010 b, p. 6].

442

Это скорее относится к людям и имитационным моделям, а не к системам ИИ, которые могут быть разработаны таким образом, что будут способны включать скрытые модули или функциональные процессы, которые практически невозможно обнаружить. Однако ИИ, специально созданные для обеспечения прозрачности, позволят проводить более тщательные контрольные проверки, чем системы, по архитектуре схожие с человеческим мозгом. Давление общества может заставить ИИ раскрыть свой исходный код или изменить себя в сторону большей прозрачности — особенно если прозрачность является предварительным условием для доверия и возможности заключать выгодные сделки. См.: [Hall 2007].

443

Есть издержки, которые кажутся относительно незначительными, особенно на фоне общих переговоров, где ставки слишком высоки (например, возможность провала согласования на глобальном уровне ключевых вопросов); имеются в виду издержки при поиске взаимовыгодных политических решений или когда некоторые агенты могут принципиально отстаивать позицию «независимости», степень которой явно понизится в результате присоединения к всеобъемлющим международным соглашениям, предусматривающим механизмы контрольных проверок и надзора.

444

Возможно, ИИ будут этого добиваться, меняя соответствующим образом свой исходный код, а всем своим наблюдателям предоставляя доступ к себе лишь в режиме «только для чтения». Машинный интеллект с менее прозрачной архитектурой (имитационные модели мозга) может поступить иначе: публично применить к себе один из методов выбора мотивации. Еще один вариант выбора посредника — услуги независимого агента, обладающего принудительной функцией. Например, это может быть полицейский суперорганизм, в чье предназначение входит не только принуждение к исполнению соглашений, достигнутых между несколькими сторонами, но и обеспечение контроля за выполнением обязательств.

445

Возможно, сам естественный отбор благоволил тем, кто не обращал внимания на угрозы и имел настолько сильный характер, что явно предпочел бы скорее умереть в бою, чем поступиться своими интересами хотя бы в малом. Эта непреклонность могла приносить большую пользу, недвусмысленно сигнализируя окружающим, с кем им придется иметь дело. (Естественно, чисто инструментальное вознаграждение не обязательно играло сколь-нибудь значимую роль в сознательной мотивации агента — он вполне мог ценить справедливость и честь как таковые.)

446

Для вынесения окончательного вердикта по этому вопросу пришлось бы проводить более глубокий анализ. Есть сложности разной степени, но мы сейчас не будем на них задерживаться.

447

Историческое состояние (history state) — согласно унифицированному языку моделирования, применяется в контексте составного состояния; используется для запоминания того из последовательных подсостояний, которое было текущим в момент выхода из составного состояния. (Прим. ред.)

448

У этой базовой идеи есть множество вариаций. Об одной из них мы рассказывали в главе 8: агент не обязан каждую секунду стремиться все доводить до максимума, вполне возможно существование такого агента, которого бы все «устраивало», то есть агента, отвечающего критерию разумной достаточности. В следующей главе мы коротко затронем проблему альтернативных подходов к принятию решений. Но поскольку сейчас эти вопросы несущественны, мы не будем сбиваться на другие темы, а сосредоточим внимание на агенте, максимизирующем ожидаемую полезность.

449

При условии, что функция полезности этого ИИ не совсем примитивна. Например, очень легко создать агента, который всегда выбирает действие, максимизирующее ожидаемую полезность в случае, если функция полезности, например, константа: U(w) = 0. При такой функции полезности каждое действие одинаково хорошо максимизировало бы ожидаемую полезность.

450

Вероятно, мы забыли ту цветовую мешанину, которую наблюдали в раннем младенчестве, когда мозг еще не научился интерпретировать поступающую в него визуальную информацию.

451

См. также: [Yudkowsky 2011] и [Muehlhauser, Helm 2012] — см. обзор в части пятой.

452

Вполне возможно, что прогресс в области программирования в конечном счете поможет преодолеть и эти сложности. Используя современные инструменты, один-единственный программист может создавать такие продукты, которые не снились целой команде, вынужденной писать сразу в машинном коде. Сегодня разработчики ИИ могут пользоваться такими выразительными возможностями, как высококачественные библиотеки для машинного обучения и научных вычислений, позволяющие легко собрать, например, приложение для подсчета людей с помощью веб-камеры из библиотек, написать которое с чистого листа мало кому по силам. Благодаря накоплению целого пласта «многоразового» программного обеспечения, созданного специалистами, но доступного неспециалистам, у будущих программистов будет огромный выбор выразительных средств. Например, разработчики роботов смогут воспользоваться стандартными библиотеками изображений лиц, коллекциями типичных офисных объектов, специальными библиотеками траекторий движения и многими другими инструментами, еще недоступными в настоящее время.

453

См.: [Dawkins 1995, p. 132] — хотя речь не о том, что страданий в мире больше, чем радости.

454

Однако размер популяций всегда был эффективным, поэтому — несмотря на все страдания, войны и смерти — среднее число особей в нашей популяции стабильно обеспечивало передачу свойственных ей генов от поколения к поколению. Вопреки всему наши предки не выродились и не погибли; см.: [Shulman, Bostrom 2012].

455

Хельсинкская декларация (Declaration of Helsinki) — набор этических принципов для медицинского сообщества, касающихся экспериментов на людях; разработана Всемирной медицинской ассоциацией в 1964 году. (Прим. ред.)

456

In silico (лат.) — термин, обозначающий компьютерное моделирование (симуляцию) эксперимента, чаще биологического; в нашем контексте речь идет об имитационных моделях головного мозга человека. Сама фраза тоже представляет собой «имитацию», так как создана по аналогии с такими моделями, как in vivo («в живом организме») и in vitro («в пробирке»). (Прим. ред.)

457

Безусловно, с моральной точки зрения было бы намного справедливее, если мы смогли бы легко добиваться подобных результатов, не заставляя страдать множество невинных существ. Но если имитационным моделям все-таки придется претерпевать бессмысленные страдания, то эту несправедливость мы попробуем возместить, сохранив их файлы, а много позже, при более благоприятных условиях — когда человечество обеспечит себе полную безопасность — запустить их снова. В каком-то смысле это возрождение будет напоминать религиозную идею загробной жизни с последующим воскрешением — вполне в духе теологической концепции, пытающейся примирить нашу бренную жизнь с существованием зла.

458

Один из ведущих специалистов в области обучения с подкреплением Ричард Саттон определяет этот вид обучения не с методологической точки зрения, а в категориях проблематики самого подхода: по его мнению, любой способ, пригодный для решения этой проблемы, является методом обучения с подкреплением [Sutton, Barto 1998, p. 4]. Напротив, наше обсуждение напрямую касается методов, в которых конечной целью агента является стремление получать максимальное совокупное вознаграждение (в том смысле, что «совокупное вознаграждение» представляет собой восприятие общей ценности всех видов поощрения). Например, решить проблему обучения с подкреплением возможно и таким образом: обучить агента с совершенно иными конечными целями имитировать в самых разных ситуациях поведение агента, стремящегося к максимизации вознаграждения, — в соответствии с мнением Саттона и такой прием допустимо считать «методом обучения с подкреплением», но только в этом случае он не приведет к возникновению эффекта самостимуляции. Однако замечание Саттона верно по отношению к большинству приемов, которые используют в своей практике специалисты в области обучения с подкреплением.

459

Даже если удастся каким-то образом создать машинный интеллект «человеческого типа», совсем не обязательно, что его конечные цели начнут напоминать конечные цели человека. Разве только условия воспитания цифрового дитя будут близки к условиям воспитания обычного ребенка. Не представляю, как это можно обеспечить, но предположим, кому-то удалось. И все равно результат не будет гарантирован, поскольку даже небольшая разница во врожденных способностях приведет к совершенно иным реакциям на события. Однако вполне допускаю, что в будущем для цифрового разума человеческого типа разработают более надежный механизм ценностного приращения (с использованием новых лекарственных препаратов, имплантатов или их цифровых эквивалентов).

460

Невольно возникает вопрос: почему мы, люди, похоже, никогда не пытаемся «отключить механизм», иногда вынуждающий нас изменять своей прежней системе ценностей? Видимо, роль играют многие факторы. Во-первых, человеческая система мотивации пока плохо описана в качестве алгоритма, отстраненно вычисляющего максимум функции полезности. Во-вторых, у нас может не быть подходящих средств видоизменять пути, которыми мы приобретаем ценности. В-третьих, у нас могут быть инструментальные причины (связанные, в частности, с социальными сигналами, о которых мы говорили в главе 7) иногда приобретать новые конечные цели, поскольку окружающие способны догадываться о наших намерениях, и тогда нам приходится в собственных интересах пересматривать свои цели. В-четвертых, встречаются моменты, когда мы действительно активно сопротивляемся чьему-то тлетворному влиянию, заставляющему нас пересмотреть свою систему ценностей. В-пятых, есть вероятный и довольно любопытный вариант: мы наделяем некоторыми конечными ценностями своего рода агента, способного приобретать новые конечные ценности обычным человеческим способом.

461

Или попытаться создать такую систему мотивации, чтобы ИИ был индифферентен к замене целей; см.: [Armstrong 2010].

462

Мы опираемся на объяснения, данные Дэниелом Дьюи [Dewey 2011]. Использованы также идеи из работ: [Hutter 2005; Legg 2008; Yudkowsky 2001; Hay 2005].

463

Чтобы избежать ненужного усложнения, мы остановимся на агентах с детерминированным поведением, которые не дисконтируют будущее вознаграждение.

464

С математической точки зрения поведение агента можно формализовать при помощи агентской функции, ставящей в соответствие каждой возможной истории взаимодействий свое действие. Явно задать агентскую функцию в табличном виде невозможно за исключением случаев самых простых агентов. Вместо этого агенту дается возможность вычислить, какое действие лучше выполнять. Поскольку способов вычисления одной и той же агентской функции может быть много, это ведет к индивидуализации агента в виде агентской программы. Агентская программа — это такая программа или алгоритм, которая вычисляет действие, соответствующее каждой истории взаимодействий. Хотя часто удобнее и полезнее — с математической точки зрения — считать, что агент взаимодействует с другими в некоторой формально определенной среде, важно помнить, что это является идеализацией. На реальных агентов действуют реальные физические стимулы. Это означает не только, что агент взаимодействует со средой посредством датчиков и исполнительных механизмов, но также, что «мозг» или контроллер агента сам является частью физической реальности. Поэтому на его поведение, в принципе, могут воздействовать физические помехи извне (а не только объекты восприятия, или перцепты, полученные с датчиков). То есть с какого-то момента становится необходимым считать агента реализацией агента. Реализация агента — это физическая структура, которая в отсутствие влияния среды выполняет агентскую функцию. (Определения даны в соответствии с работой Дэниела Дьюи [Dewey 2011].)

465

Дьюи предлагает следующее определение оптимальности для агента, обучающегося ценностям:

Здесь P₁ и P₂ — две вероятностные функции. Вторая сумма располагает в определенном порядке некоторый подходящий класс функций полезности по всем возможным историям взаимодействия. В версии, представленной в тексте, мы явно выделили некоторые зависимости, а также упростили обозначение возможных миров.

466

Нужно заметить, что набор функций полезности U должен быть таким, чтобы полезность можно было сравнивать и усреднять. В принципе, это непросто, кроме того, не всегда очевидно, как представлять различные этические теории в терминах количественно выраженной функции полезности. См., например: [MacAskill 2010].

467

В более общем случае нужно обеспечить ИИ адекватным представлением условного распределения вероятностей P(v(U) | w), поскольку v не всегда может напрямую дать ответ, истинно ли утверждение v(U) в мире w для любой пары «возможный мир — функция полезности» (w, U).

468

Рассмотрим вначале Y — класс действий, возможных для агента. Одна из сложностей связана с тем, что именно следует считать действием: только базовую моторную команду (вроде «отправить электрический импульс по каналу вывода #00101100») или команду более высокого уровня (вроде «удерживать фокус камеры на лице»)? Поскольку мы скорее пытаемся дать определение оптимальности, а не разработать план практического применения метода, можно ограничить область только базовыми моторными командами (а поскольку набор таких команд может со временем меняться, нам следует проиндексировать Y по времени). Однако чтобы двигаться в сторону практической реализации, очевидно, будет необходимо создать некий процесс иерархического планирования, в рамках которого придется решить, как применять формулу к классу действий более высокого уровня. Еще одна сложность связана с тем, как анализировать внутренние действия системы (вроде записи данных в рабочую память). Поскольку внутренние действия могут иметь важные последствия, в идеале хотелось бы, чтобы в Y были включены и базовые внутренние действия, и моторные команды. Но есть определенные пределы, как далеко можно зайти в этом направлении — вычисление ожидаемой полезности любого действия из Y требует выполнения многочисленных вычислительных действий, и если каждое из них также считается действием из Y, которое должно быть оценено в соответствии с моделью ИИ-ОЦ, мы имеем дело с бесконечной регрессией, которая вообще не позволит тронуться с места. Чтобы исключить эту ситуацию, нужно сузить количество явных попыток оценить ожидаемую функцию полезности ограниченным количеством наиболее важных возможностей для совершения действий. После этого систему нужно наделить некоторым эвристическим процессом, который определит список наиболее важных возможностей совершения действий для дальнейшего рассмотрения. (В конечном счете система могла бы сама принимать решения относительно некоторых возможных действий и вносить изменения в этот эвристический процесс, чтобы постепенно приближаться к идеалу, описанному в модели ИИ-ОЦ.)

Теперь рассмотрим W — класс возможных миров. Одна из сложностей связана с описанием W так, чтобы он оказался достаточно представительным. Отсутствие каких-то важных w в W приведет к тому, что ИИ не сможет составить представление о некой реальной ситуации и примет неверное решение. Предположим, что для определения вида W мы используем какую-то онтологическую теорию. Например, включаем в W все возможные миры, составляющие некий пространственно-временной континуум, населенный элементарными частицами, описанными в стандартных физических моделях. Если эта стандартная модель окажется неполной или неправильной, эпистемологическая основа ИИ будет нарушена. Можно попробовать использовать более широкий класс W, чтобы покрыть больше возможностей, но даже будучи уверенными, что учтены все возможные физические вселенные, мы не можем исключать, что за скобками остались еще какие-то. Может быть, дуалистические возможные миры, в которых осознаваемые факты не вытекают из физических? Или дейктических фактов? А может быть, нормативных? Математических? Возможно, каких-то иных видов фактов, которые мы, смертные, просмотрели, но которые могут быть важными с точки зрения устройства мира? Есть люди, убежденные в правильности той или иной онтологической теории. (Те, кто создает будущее ИИ, часто принимают как должное веру в материалистическую онтологию, которая предполагает первичность физического и вторичность психического.) Хотя даже недолгое размышление об истории идей поможет понять, что есть высокая вероятность ложности нашей любимой онтологии. Если ученые XIX века попытались бы дать основанное на физических законах описание W, они, вероятно, не включили бы в него возможность неэвклидова пространства–времени, квантовой («многомировой») теории Эверетта, космологического мультиверса или иных подобных гипотез — то есть возможностей, вероятность которых сегодня представляется довольно высокой. Вполне может быть, что и в наши дни существуют возможности, о которых не подозревает нынешнее поколение людей. (В то же время, если W будет слишком большим, могут возникнуть технические трудности, связанные с операциями над трансфинитными множествами.) Идеальным решением мог бы стать подход, в границах которого ИИ наделяется какой-то открытой онтологией с возможностью ее самостоятельного расширения на базе тех же принципов, которыми пользуемся мы сами, принимая решение, признавать или нет новый тип метафизических возможностей.

Теперь рассмотрим P(w | Ey). Определение этой условной вероятности, строго говоря, не является частью проблемы загрузки ценностей. Чтобы считаться разумным, ИИ уже должен уметь каким-то образом оценивать вероятность возникающих в реальном мире возможностей. Неспособная на это система не будет представлять опасности, о которой мы говорим. Однако существует риск, что эпистемология ИИ окажется достаточно хорошей, чтобы сделать его инструментально эффективным, и при этом недостаточно хорошей, чтобы правильно оценивать возможности, имеющие важное нормативное значение. (В этом смысле проблема определения P(w | Ey) связана с проблемой определения W). Определение P(w | Ey) также требует преодоления и других трудностей, в частности: как представлять неопределенность, связанную с логически невозможными событиями.

Упомянутые выше вопросы — как определить класс возможных действий, класс возможных миров и распределение вероятности, связывающее событие с классами возможных миров, — имеют довольно общий характер, поскольку те же самые вопросы возникают в случае широкого диапазона формально определяемых агентов. Остается рассмотреть вопросы, более специфические для метода обучения ценностям, а именно как определить U, V(U) и P(V(U) | w).

U — это класс функций полезности. U и W связаны, поскольку каждая функция полезности U(w) в U должна в идеале присваивать полезность каждого возможного мира w из W. Но U тоже должна быть довольно широкой в том смысле, что должна содержать много разных функций полезности — это повысит нашу уверенность, что хотя бы одна из них справится с задачей адекватного представления требуемых ценностей.

Причина написания P(V(U) | w), а не просто P(U | w), в том, чтобы подчеркнуть факт присвоения вероятностей утверждениям. Сама функция полезности утверждением не является, но ее можно трансформировать в утверждение. Например, можно сказать о некоторой функции полезности U(.), что она описывает предпочтения некоторого субъекта, или представляет утверждения некоторой этической теории, или что эту функцию полезности хотел бы использовать в системе ИИ принципал, если бы долго и глубоко размышлял на эту тему. Тогда «критерий ценности» V(.) может выглядеть как функция, которая в качестве аргумента использует функцию полезности U, а в качестве значения выдает утверждение, что U удовлетворяет критерию V. Определив утверждение V(U), мы, скорее всего, получим условную вероятность P(V(U) | w) из того же источника, который используем для получения и других распределений вероятности нашего ИИ. (Если мы уверены, что все существенные с нормативной точки зрения факты приняты во внимание при задании возможных миров W, тогда в каждом из возможных миров P(V(U) | w) будет равняться нулю или единице.) Остается вопрос, как определить V, — это обсудим далее в основном тексте.

469

Здесь приведены не единственные сложности метода обучения ценностям. Неясно, например, как наделить ИИ набором достаточно разумных исходных убеждений до того момента, когда он окрепнет настолько, что сможет воспротивиться попыткам программистов их скорректировать.

470

См.: [Yudkowsky 2001].

471

«Аве Мария» — термин из американского футбола. Так называется очень длинный пас вперед, сделанный в отчаянной ситуации — обычно когда время на исходе, — в надежде, что кто-то из игроков поймает мяч у зачетного поля противника и выполнит тачдаун.

472

Подход «Аве Мария» основан на идее, что сверхразум может формулировать свои предпочтения точнее, чем мы, люди, излагаем свои. Например, ИИ может сделать это при помощи кода. Поэтому если наш ИИ представляет другие сверхразумные системы в виде вычислительных процессов, воспринимающих окружающую их среду, то он сможет предположить, как эти системы могли бы реагировать на разные гипотетические стимулы, например «окна», выскакивающие в их поле зрения, с исходным кодом нашего ИИ и предложением сформулировать свои инструкции для нас в каком-то заранее выбранном и удобном для понимания формате. После этого наш ИИ мог бы изучить эти воображаемые инструкции (фактически из своей собственной модели, работающей по принципу «от обратного», в которой и существуют эти «другие» системы сверхразума) и выполнить их, поскольку изначально был мотивирован нами на это.

473

Альтернативный вариант — создать детектор, который в рамках модели мира нашего ИИ ищет представления физических структур, созданных сверхразумными цивилизациями. Затем мы могли бы исключить шаг определения функций предпочтения этих гипотетических сверхразумных систем и наделить наш ИИ конечными ценностями, предполагающими попытку скопировать те физические структуры, которые, как ему кажется, скорее всего создали бы эти гипотетические системы.

Однако и для этого варианта характерны технические трудности. Например, поскольку наш ИИ, даже достигнув уровня сверхразума, скорее всего, не будет знать с достаточной точностью, какие именно физические структуры создают другие сверхразумные системы, он может попытаться аппроксимировать их. Для этого ему потребуется метрика, с помощью которой он мог бы оценивать сходство двух физических артефактов. Но метрики, основанные исключительно на физических показателях, могут быть неадекватными; например, вывод, что мозг больше похож на камамбер, чем на компьютер, работающий в режиме имитационной модели, был бы в корне неправильным.

Более правильным мог бы быть подход, основанный на поиске «радиомаячков» — сообщений относительно функций полезности, закодированных в каком-то подходящем простом формате. Тогда наш ИИ мог бы искать признаки этих гипотетических сообщений о функциях полезности во Вселенной, а нам оставалось бы надеяться, что дружественные инопланетные системы ИИ создали множество таких «радиомаячков», предвидя (благодаря своему сверхразуму), что более примитивные цивилизации (вроде нашей, человеческой) построят ИИ, чтобы их искать.

474

Если все цивилизации попытаются решить проблему загрузки ценностей при помощи подхода «Аве Мария», дорога окажется тупиковой. Кому-то придется выбрать более трудный путь.

475

См.: [Christiano 2012].

476

Искусственному интеллекту, который мы создаем, может быть, вообще не потребуется искать эту модель. Как и мы, он мог бы просто размышлять над тем, какие следствия могли бы быть у столь сложного косвенно заданного определения (возможно, изучая свою среду и следуя тому же ходу рассуждений, которым воспользовались бы и мы).

477

См. главу 9 и главу 11.

478

Например, экстази способен временно повышать эмпатию, а окситоцин — доверие; см.: [Vollenweider et al. 1998; Bartz et al. 2011]. Однако этот эффект меняется в широком диапазоне и сильно зависит от контекста.

479

Улучшенных субагентов можно было бы убивать, ставить на паузу, сбрасывать до более раннего состояния или лишать полномочий и не подвергать дальнейшему улучшению до тех пор, пока вся система не станет настолько зрелой и безопасной, что эти субагенты перестанут представлять для нее угрозу

480

Ответ на этот вопрос может не быть очевидным и по отношению к человеческому обществу, оснащенному великолепным арсеналом новейших средств слежения, биомедицинских методов психологического манипулирования; кроме того, достаточно богатому, чтобы позволить себе огромный штат сотрудников спецслужб, следящих за обычными гражданами (и друг за другом).

481

См.: [Armstrong 2007; Shulman 2010 b].

482

Остается открытым вопрос, до какой степени контролер уровня n должен контролировать не только агентов уровня (n – 1), но и агентов уровня (n – 2), чтобы убедиться, так ли хорошо агенты уровня (n – 1) выполняют свою работу. Чтобы узнать, насколько правильно агенты уровня (n – 1) управляют агентами уровня (n – 1), агенту уровня n придется брать под контроль и агентов уровня (n – 3)?

483

Этот метод занимает промежуточное место между методами выбора мотивации и контроля над возможностями. С технической точки зрения та часть системы, которая состоит из людей, контролирующих набор агентов-программ первого уровня, управляет методами контроля над возможностями, а та, что состоит из множества уровней контролирующих друг друга агентов-программ, управляет методами выбора мотивации (постольку, поскольку эта схема определяет мотивацию системы).

484

На самом деле заслуживают внимания и многие другие издержки, но описывать их здесь не представляется возможным. Например, связанные с тем, что агенты, находящиеся на вершине этой иерархии, могут оказаться коррумпированными или начнут злоупотреблять своей властью.

485

Чтобы эта гарантия была эффективной, к ее разработке нужно подойти добросовестно. Это поможет избежать манипулирования эмоциональным состоянием эмуляторов и влиять на их принятие решений, в результате чего (например) можно вселить в эмулятора вечный страх, что его отключат или не дадут возможности рационально оценивать имеющиеся у него варианты действий.

486

См., например: [Brinton 1965; Goldstone 1980; 2001]. (Прогресс социальных наук в этом направлении станет отличным подарком для мировых деспотий: в их распоряжении окажутся более точные предсказательные модели социальных беспорядков, которые помогут им оптимизировать свои стратегии контроля над населением и мягко подавлять мятежи в зародыше с меньшими потерями для всех.)

487

См.: [Bostrom 2011 a; 2009 b].

488

В случае полностью искусственной системы можно обеспечить некоторые преимущества институциональной структуры без необходимости создавать субагентов. Например, в процессе принятия решений можно было бы использовать несколько различных точек зрения, не выделяя их в отдельные сущности с полным набором черт, характерных для независимого агента. Однако в случае, когда система не состоит из субагентов, будет сложнее обеспечить полноценное наблюдение за последствиями поведения, вызванного предлагаемыми изменениями, и возврат к предыдущей версии, если эти последствия окажутся нежелательными.

489

В ходе недавних опросов профессиональных философов была выявлена доля респондентов, которые «поддерживают или склоняются к поддержке» тех или иных теорий. В области нормативной этики: деонтология — 25,9%; консеквенциализм — 23,6%; этика добродетели —18,2%. В области метаэтики: моральный реализм — 56,4%; моральный антиреализм — 27,7%. В области моральных суждений: когнитивизм — 65,7%; нонкогнитивизм — 17,0%; см.: [Bourget, Chalmers 2009].

490

См.: [Pinker 2011].

491

Обсуждение этого вопроса см. в работе: [Shulman et al. 2009].

492

См.: [Moore 2011].

493

См.: [Bostrom 2006 b].

494

См.: [Bostrom 2009 b].

495

См.: [Bostrom 2011 a].

496

Если быть совсем точным, то нам следует полагаться на его мнение за исключением тех случаев, когда у нас есть весомые основания считать, что наши суждения более точные. Например, мы лучше сверхразума знаем, о чем мы думаем в тот или иной момент, — если, конечно, он не научился сканировать наш мозг. Но если у сверхразума есть доступ к нашим взглядам, то этим замечанием руководствоваться не стоит. Тогда мы вполне можем положиться на его мнение, в каких случаях нам доверять собственным суждениям, а в каких нет. (В отдельных случаях, когда речь идет, например, о дейктических знаниях, сверхразум может «встать на наше место» и объяснить, во что нам рациональнее верить.) О философских дискуссиях на темы моральных суждений и эпистемологического авторитета см. в статье Адама Эльги: [Elga 2007].

497

[Yudkowsky 2004]. См. также: [Mijic 2010].

498

Например, Дэвид Льюис предложил диспозиционную теорию ценности, которая предполагает, что некая вещь Х значима для А тогда и только тогда, когда А хотел бы ею обладать, будучи идеально рациональным и идеально информированным об Х; см.: [Smith et al. 1989]. Родственные идеи были озвучены и ранее, см., например: [Sen, Williams 1982; Railton 1986; Sidgwick, Jones 2010]. Отчасти напоминает их и другой общий философский подход к выработке суждений: метод рефлексивного равновесия — процесс итерационной взаимной корректировки наших интуитивных представлений о ситуации, общих правил, которыми мы обычно руководствуемся в аналогичных случаях, и принципами, в соответствии с которыми, как нам кажется, эти элементы могут быть пересмотрены для того, чтобы система стала более согласованной; см., например: [Rawls 1971; Goodman 1954].

499

Предполагается, что, работая над предотвращением подобных катастрофических исходов, ИИ должен действовать максимально легкими касаниями, то есть так, чтобы можно было избежать несчастья и при этом не радикально вмешиваться в судьбу человечества в других смыслах.

500

[Yudkowsky 2004].

501

Замечание Ребекки Роуч (личное собщение).

502

Приведу три этих ценностных принципа, которые могли бы стать конечными целями сверхразума: 1) «защищать людей, будущее человечества и нашу человечную природу» (именно «человечную», а не просто «человеческую», то есть такую природную среду, какую нам хотелось бы иметь); 2) «человечество не должно провести остаток вечности, отчаянно сожалея о том, что сделали программисты»; 3) «помогать людям».

503

Некоторые религиозные сообщества делают особый акцент на вере, противопоставляя ее разумному доводу, которого, по их мнению, недостаточно для обретения духовного опыта — даже в наиболее идеализированной форме разума, даже после упорного и беспристрастного изучения всех священных текстов, откровений и толкований. Те, кто придерживается этих взглядов, вряд ли увидят в КЭВ оптимальный метод принятия решений (однако все-таки решат предпочесть именно его, а не еще более несовершенные методы, которые могут быть реализованы в случае отказа от КЭВ).

504

Подобный силам природы, действующий незаметно и регулирующий жизнь людей, — такой ИИ скорее можно считать «системным оператором» пространства, занятого человеческой цивилизацией, см.: [Yudkowsky 2001].

505

«Был бы нанесен» — потому что так может случиться, если когерентное экстраполированное волеизъявление человечества не согласится рассматривать моральные соображения в отношении этих субъектов, видимо, из-за сомнений в наличии у них морального статуса (хотя сейчас нам кажется более вероятным, что он у них есть). Но даже в случае блокировки решения КЭВ о прямой защите их интересов допустимо думать о возможности, что в рамках существующих правил те индивидуумы, которые желают эти интересы защитить и обеспечить благополучие субъектов за пределами базы экстраполяции, все-таки смогут добиться компромисса по этому вопросу (за счет отказа от части своей доли на ресурсы). Реально это или нет, будет зависеть от того, станет ли результат КЭВ выглядеть как набор базовых принципов, которые позволят в подобных случаях приходить к компромиссу (что, в свою очередь, предполагает решение проблемы стратегического торга).

506

Индивидуумы, внесшие вклад в создание безопасного и полезного человечеству сверхразума, могут получить за свой труд некоторую особую награду, которая в первую очередь не должна быть эксклюзивным правом определять характер деятельности человечества по овладению космическим пространством. Однако идея, что все, входящие в базу экстраполяции, получают равную долю, может быть настолько хорошей отправной точкой, что ее не стоит отбрасывать в сторону. В любом случае следует найти способ косвенным образом вознаградить тех, кто этого заслуживает, — альтруистов, работающих на благо всего человечества. Это можно сделать, не присваивая таким людям специального значения в базе экстраполяции, если КЭВ одобрит сам принцип (в том смысле, что присвоит ему какой-то минимальный ненулевой вес).

507

См.: [Bostrom et al. 2013].

508

Если у морального суждения, которое мы делаем, есть некий (довольно четко выраженный) смысл, понятный другим, сверхразум сможет определить его значение. Если суждение обладает свойствами высказывания (то есть имеет пропозициональный, или истинностный, характер, позволяющий ему быть истинным или ложным), сверхразум все равно сможет отыскать истинное значение, выраженное в виде: «агент Х должен сейчас сделать О». Так или иначе, но с подобной задачей он справится лучше нас. Даже не имеющий изначально способностей к оценке моральных суждений ИИ может ими овладеть, если обладает сверхмощью в области совершенствования интеллекта. Один из способов сделать это — разобраться, как функционирует этот механизм в человеческом мозгу, и разработать аналогичный, но более быстрый, действующий с более точной фактической информацией.

509

В силу неопределенности вопроса, связанного с метаэтикой, нужно решить, что должен делать ИИ, если не выполняются предварительные условия МП. Один из вариантов — постановить, что ИИ должен отключиться, если присвоит довольно высокую вероятность тому, что когнитивизм не работает или что подходящих абсолютных моральных истин не существует. Или предложить ему воспользоваться каким-то альтернативным методом вроде КЭВ.

Можно также уточнить метод МП, чтобы было понятнее, как поступать в различных неоднозначных или вырожденных случаях. Например, если теория ошибок верна (и, как следствие, любые утвердительные моральные суждения вида «я должен сейчас делать Т» ложны), тогда должна реализовываться запасная стратегия (например, отключение). Нам также нужно указать, как поступать, если существует несколько возможных действий, каждое из которых будет отвечать критерию моральной правоты. Например, можно сказать, что в таких случаях ИИ следует выполнить одно из возможных действий, которые предпочла бы коллективная экстраполяция человечества. Можно также оговорить, что произойдет, если в базовом словаре истинной этической теории не окажется терминов вроде «моральная правота». Например, в рамках консеквенциалистской теории одни действия могут считаться лучше других, но отсутствовать такое понятие, как «морально правильное действие». Тогда следует сказать, что в случае истинности такой теории ИИ следует выполнить одно из действий, наиболее приемлемых с моральной точки зрения, если таковое имеется; если приемлемых действий бесконечно много и для каждого из них есть лучшее с моральной точки зрения, тогда ИИ следует выполнить любое из тех действий, которое лучше лучшего действия, выбранного в такой ситуации человеком; если такового нет, то действие, которое как минимум не хуже того лучшего действия, выбранного в такой ситуации человеком.

Размышляя, как можно уточнить метод МП, нужно помнить о нескольких важных моментах. Во-первых, следует придерживаться консервативного подхода и использовать запасной вариант практически во всех случаях, оставив вариант «моральной правоты» только для тех ситуаций, которые мы полностью понимаем. Во-вторых, определение МП следует дополнить общим модулятором, что оно «должно трактоваться доброжелательно и пересматриваться так же, как его пересмотрели бы люди, если могли бы долго и глубоко размышлять над ним, прежде чем его сформулировать, и т. д.».

510

Из этих терминов лишь «знания» кажется наиболее подходящим для формального анализа (в информационно-теоретическом смысле). Однако чтобы представить, что означает для человека «знать что-то», сверхразуму может потребоваться изощренный набор представлений, связанных со сложными психологическими свойствами. Человек не «знает» всю информацию, которая хранится в его мозгу.

511

Одним из косвенных показателей меньшей непрозрачности (в очень незначительной степени) терминологии КЭВ является факт, что для анализа модели МП не существует терминологической базы даже такого уровня. Если МП когда-нибудь обрастет «своей» терминологией, то с философской точки зрения это будет огромным прорывом. На самом деле теория идеального наблюдателя — одно из основных направлений в метаэтике — как раз и выполняет функцию описания. См., например: [Smith et al. 1989].

512

Это требует решения проблемы фундаментальной нормативной неопределенности. Можно показать, что не всегда приемлемо действовать в соответствии с той этической теорией, которая имеет максимальную вероятность оказаться истинной. Можно также показать, что не всегда приемлемо выполнять действие, которое имеет максимальную вероятность быть правильным. Похоже, необходимо как-то корректировать вероятности на «степень неприемлемости» результата и важность того, что поставлено на кон. Некоторые идеи см.: [Bostrom 2009 a].

513

Можно даже заявить, что любое определение моральной правоты должно отвечать некоторому условию адекватности, например чтобы даже средний гражданин мог разобраться, что хорошо, а что плохо.

514

Первая опасность состоит в том, что, создавая ИИ, в котором используется модель МП, у нас нет уверенности в своей абсолютной моральной правоте, даже если мы исходим из того, что сам ИИ всегда будет действовать правильно с этической точки зрения. Возможно, с нашей стороны это вообще будет проявлением высокомерия (если учитывать, сколько людей могут не одобрять проект разработки ИИ). Отчасти проблему можно решить за счет тонкой настройки модели МП. Предположим, мы оговорим, как ИИ следует действовать, то есть делать то, что было бы морально правильно, только если разработчики были морально правы, создав его, — в противном случае он должен отключиться. Непохоже, что, создавая такой ИИ, мы были бы морально неправы, поскольку даже если разрабатывать его и было неправильно, то единственным последствием нашего труда стало бы его немедленное отключение, если, конечно, до того момента он не успеет совершить никакого мысленного преступления. (И все-таки мы могли бы быть неправы, например, потому что упустили возможность создать другой ИИ.) Вторая опасность — слишком большая «плотность добра». Представьте, что есть множество морально правильных действий, которые мог бы совершить ИИ, — в смысле моральной допустимости, притом что некоторые из них с моральной точки зрения лучше других. Один вариант — чтобы ИИ выбирал в таких случаях лучшее с моральной точки зрения действие (или одно из лучших, если таких несколько). Другой — чтобы он выбирал из одинаково морально допустимых действий такое, которое удовлетворяет какому-то иному (не моральному) критерию. Например, ИИ мог бы выбирать из морально допустимых действий такое, которое было бы предпочтительнее с точки зрения КЭВ. Такой ИИ никогда не совершит ничего морально недопустимого и поэтому лучше защитит наши интересы, чем тот, который ориентируется лишь на лучшие с моральной точки зрения действия.

515

Оценивая моральную допустимость нашего действия по созданию ИИ, нужно интерпретировать допустимость объективно. Например, в формальном смысле доктор действует морально допустимо, прописывая пациенту лекарство, которое по своему назначению (и по мнению врача) должно помочь заболевшему человеку — но у пациента на этот препарат аллергия, и в результате он может умереть. Если ИИ сосредоточится на объективной моральной допустимости, он обеспечит себе более выигрышную эпистемологическую позицию.

516

Еще более прямолинейно: это зависит от убеждения ИИ в том, какая этическая теория является истинной (или точнее, от распределения вероятностей, присвоенных им этическим теориям).

517

Трудно даже представить, какой невероятно чудесной была бы их жизнь. В работе «Письмо из Утопии» я даже поэтически представил эту будущую жизнь [Bostrom 2008 c], а в работе «Почему я хочу жить в постчеловеческом мире» мною приведены аргументы в пользу того, что некоторые из этих возможностей были бы хороши и для нас, людей, живущих сейчас [Bostrom 2008 b].

518

Тактика продвижения одной рекомендации, если при этом считаешь более правильной другую, может показаться обманом или манипуляцией. Но так можно делать, не боясь показаться неискренним. Почему бы открыто не признавать превосходство идеала, но тем не менее выступать за неидеальный вариант в качестве лучшего из возможных компромиссов?

519

Или какое-то иное слово, предполагающее положительный смысл: хороший, отличный, чудесный.

520

В программировании принцип «делай то, что я имею в виду» называется ненужной добавкой, или бантиком (Do What I Mean, DWIM); см.: [Teitelman 1966].

521

Мы выбрали для обсуждения три проектных решения: описание цели, принятие решений и познание мира, но не собираемся поднимать вопрос об их возможной декомпозиции.

522

С этической точки зрения было бы правильным, чтобы проект предполагал распределение небольшой доли благ, которые будут получены в результате создания сверхразума, в качестве особого вознаграждения тем, кто внес морально допустимый вклад в его успех. Направить на формирование стимулирующего пакета значительную долю благ было бы недостойно. Практически это было бы равно ситуации, когда благотворительный фонд тратит 90% собранных средств на премии сотрудникам и на рекламные кампании по привлечению новых пожертвований.

523

Как можно вознаградить мертвых? В голову приходят несколько вариантов. Во-первых, организация мемориальных торжеств и создание монументов, которые могли бы считаться наградой в том случае, если люди желали посмертной славы. Во-вторых, имена умерших могли бы быть увековечены в таких сферах, как культура, искусство, архитектура и природа. В-третьих, большинство людей беспокоит судьба их потомков, поэтому специальные привилегии можно даровать их детям и внукам. В-четвертых, сверхразум был бы готов создать сравнительно правдоподобные имитационные модели умерших — модели, обладающие разумом и напоминающие свои оригиналы настолько, что ушедшие могли бы считаться воскресшими. Скорее всего, последний вариант достижим лишь для тех, кто после смерти был подвергнут криогенной заморозке, но, может быть, сверхразуму не составит труда сделать что-то подобное и на основании других сохранившихся материальных следов умершего человека: личная переписка, публикации, аудиовизуальные материалы, цифровые записи, а также воспоминания живущих. Кроме того, сверхразум найдет и другие возможности, для нас не столь очевидные.

524

«Ограбление Паскаля» — см.: [Bostrom 2009 b]; неограниченные выигрыши — см.: [Bostrom 2011 a]: фундаментальная нормативная неопределенность — см.: [Bostrom 2009 a].

525

См., например: [Price 1991; Joyce 1999; Drescher 2006; Yudkowsky 2010; Dai 2009].

526

См., например: [Bostrom 2009 a].

527

Уменьшить проблемы, возникающие из-за неверно заданного подхода к принятию решений, можно при помощи косвенной нормативности. Например, при помощи модели КЭВ. При правильном применении она могла бы компенсировать некоторые ошибки, связанные с определением подхода к принятию решений ИИ. Ее использование позволило бы поставить цели, которые наше КЭВ хотело бы внедрить в ИИ, в зависимости от его подхода к принятию решений. Если бы наши идеализированные двойники знали, что они определяют цели для ИИ, который использует определенный подход к принятию решений, то могли бы скорректировать их так, чтобы он вел себя правильно, несмотря на ошибки в этом подходе, — немного напоминает абсурдную ситуацию, когда вслед за линзой, искажающей изображение, ставят другую линзу, исправляющую эту ошибку.

528

Некоторые эпистемологические системы могут быть цельными и не предполагать явно сформулированных принципов. В этом случае преемственность будет обеспечиваться не выполнением этих принципов, а скорее некоторой эпистемологической точкой отсчета — теми или иными предпочтениями, которыми и определяется реакция субъекта на поток событий.

529

Обсуждение проблемы искажения — см.: [Bostrom 2011 a].

530

Например, одним из камней преткновения в рассуждениях о роли наблюдателя является правомерность следующего допущения: из факта вашего существования следует гипотеза, что существованию большего количества наблюдателей N следует присвоить вероятность, пропорциональную N. Аргументы против этого допущения можно найти в незавершенном эксперименте о самонадеянном философе, описанном в книге: [Bostrom 2002 a]. Аргументы в его защиту см.: [Olum 2002]; критику этих аргументов — см.: [Bostrom, Ćirković 2003]. Убежденность в правомерности данного допущения может влиять на различные эмпирические гипотезы, имеющие потенциально высокую стратегическую важность, например на теорему о конце света Картера–Лесли («Аргумент Судного дня»), гипотезу о симуляции и гипотезу о «великом фильтре». См.: [Bostrom 2002 a; 2003 a; 2008 a; Carter 1983; Ćirković et al. 2010; Hanson 1998 d; Leslie 1996; Tegmark, Bostrom 2005]. То же можно сказать и о других аспектах теории выбора наблюдателя.

531

См., например: [Howson, Urbach 1993]. Есть и другие интересные результаты, сужающие диапазон ситуаций, в которых два байесовских агента могут рационально не согласиться друг с другом, притом что их мнение основано на общем знании; см.: [Aumann 1976; Hanson 2006].

532

См. концепцию «верховного судии»: [Yudkowsky 2004].

533

В эпистемологии остаются нерешенными много важных вопросов, некоторые из них были нами упомянуты. Важно то, что нам, возможно, не обязательно иметь все ответы, чтобы обеспечить результат, практически неотличимый от наилучшего. Вполне может сработать смешанная модель, основанная на широком диапазоне априорных распределений.

534

Этот принцип впервые сформулирован в моей статье «Грабеж с насилием Паскаля» [Bostrom 2009 b, p. 190], там же отмечается, что это не тавтология. Визуальным аналогом может быть коробка большого, но ограниченного объема, представляющая собой пространство базовых возможностей, которые могут быть получены при помощи некоторой технологии. Представьте, что вы насыпаете в коробку песок, символизирующий усилия исследователей. От того, как вы его распределяете, зависит, в каком месте коробки образуется горка. Но если продолжать сыпать песок, рано или поздно заполнится весь ее объем.

535

См.: [Bostrom 2002 b].

536

Это не согласуется с традиционным взглядом на научно-технологическую политику. Харви Аверч считает, что между 1945 и 1984 гг. в США она была сфокусирована на поиске оптимального уровня правительственного финансирования научных и технологических предприятий, а также на обсуждении проблемы, насколько активно правительство должно поощрять лучших, чтобы обеспечить наибольшее процветание национальной экономики и скорейший рост ее военной мощи. В этих расчетах технологический прогресс всегда благо, но Аверч отмечает рост критических замечаний в адрес этого посыла [Averch 1985]. См. также: [Graham 1997].

537

См.: [Bostrom 2002 b].

538

Конечно, здесь явно просматривается тавтология. Легко можно построить аргументацию в пользу обратного порядка разработки подобных технологий. Скажем, для человечества будет лучше вначале решить менее трудную проблему — создать нанотехнологии, — потому что в результате мы создадим лучшие институты, усилим международную координацию и станем более зрелыми в вопросах глобальной стратегии. Может быть, правильнее потренироваться на какой-то проблеме, с которой связана не столь сложная угроза, как в случае машинного интеллекта? Нанотехнологии (или синтетическая биология, или какое-то менее опасное направление, с которым мы столкнемся впервые) могли бы стать своеобразной стремянкой, встав на которую мы дотянулись бы до уровня возможностей, которых будет достаточно, чтобы справиться с более высоким уровнем угрозы со стороны сверхразума. Этот аргумент следует оценивать для каждой ситуации отдельно. Например, в случае нанотехнологий следует помнить о самых разных последствиях их появления: скачок производительности аппаратного обеспечения за счет создания наноподложек микросхем; влияние на экономических рост дешевизны физического капитала; широкое распространение совершенных технологий слежения; возможность формирования синглтона как прямого или косвенного следствия прорыва в области нанотехнологий; огромные возможности развития таких направлений, как разработка машинного интеллекта, нейроморфного ИИ и полная эмуляция головного мозга. Рассмотрение всех этих вопросов (и других, возникающих в результате появления новых технологий, с которыми связан экзистенциальный риск) выходит за рамки нашей книги. Здесь мы лишь отмечаем причину, которая на первый взгляд обосновывает желание начать с разработки сверхразума, подчеркивая, впрочем, что в некоторых случаях возможно появление аргументов, способных изменить эту предварительную оценку.

539

См.: [Pinker 2011; Wright 2001].

540

Может возникнуть соблазн выдвинуть гипотезу, что ускорять одновременно все бессмысленно, поскольку тогда (на первый взгляд) это ускорение не будет иметь видимых последствий, но см., например: [Shoemaker 1969].

541

Уровень подготовленности зависит не от количества усилий, потраченных на подготовку, а от того, насколько тщательно сконфигурированы условия и насколько хорошо готовы к нужным действиям те, кто уполномочен на принятие ключевых решений.

542

Еще одним фактором может быть уровень международного доверия в период, предшествующий взрывному развитию интеллекта. Мы рассмотрим его в разделе «Сотрудничество».

543

Забавно другое: кажется, среди тех, кто сейчас всерьез интересуется проблемой контроля, непропорционально много представителей полярно иного хвоста распределения интеллектуальных способностей, хотя у этого впечатления могут быть различные альтернативные объяснения. Но если область станет модной, в нее, несомненно, потянутся бездари и психи.

544

За этот термин я благодарен Карлу Шульману.

545

Насколько близко должен воспроизводить мозг машинный интеллект, чтобы считаться полноценной имитационной моделью, а не нейроморфным ИИ? Подходящим критерием могло бы быть воспроизведение моделью или системы ценностей, или полного набора когнитивных и оценочных особенностей какого-то конкретного или просто среднестатистического человека, поскольку, вероятно, именно это важно с точки зрения проблемы контроля. Копирование этих качеств требует от модели более высокой точности.

546

Величина этого ускорения, конечно же, зависит от того, насколько велики приложенные усилия, и от источника использованных при этом ресурсов. Ускорения развития нейробиологии не произойдет, если все дополнительные ресурсы, распределенные на исследования в области компьютерного моделирования мозга, будут сняты с направления общих нейробиологических исследований — если только фокус на моделировании не окажется более эффективным способом развития нейробиологии в целом, чем стандартный портфель исследований в этой области.

547

См.: [Drexler 1986, p. 242]. Эрик Дрекслер (в личном общении) подтвердил, что эта реконструкция соответствует ходу рассуждений, который он хотел представить в своих работах. Наверное, если кто-то захочет превратить эту схему в логически завершенную цепочку умозаключений, придется добавить множество явных допущений.

548

Возможно, нам не стоит приветствовать мелкие катастрофы по той причине, что они повышают нашу бдительность и не дают произойти средним катастрофам, которые были бы необходимы для принятия сильных мер предосторожности, способных предотвратить экзистенциальные катастрофы? (И, конечно, как и в случае биологических иммунных систем, нужно помнить о возможной гиперреакции, аналога аллергических реакций и аутоиммунных нарушений.)

549

См.: [Lenman 2000; Burch-Brown 2014].

550

См.: [Bostrom 2007].

551

Обратите внимание, что этот аргумент касается только порядка, но не времени, когда произойдут указанные события. Более раннее появление сверхразума поможет снизить другие экзистенциальные риски только в том случае, если его вмешательство изменит последовательность ключевых событий: например, если сверхразум появится раньше, чем будут пройдены определенные вехи в развитии нанотехнологий или синтетической биологии.

552

Если решить проблему контроля несоизмеримо сложнее, чем проблему эффективности машинного интеллекта, и если возможности проекта очень слабо коррелируют с размером проекта, тогда, возможно, лучше вначале реализовать мелкие проекты, особенно если различия в возможностях среди мелких проектов выше. Даже если мелкие проекты отличаются в среднем более низким уровнем компетентности, чем крупные, вероятность того, что у какого-то из них уровень компетентности окажется достаточно высоким, чтобы решить проблему контроля, будет не ниже, чем в случае крупного проекта.

553

Никто не отрицает, что можно представить появление новых инструментов, которые способны еще больше облегчить общение в глобальных масштабах — например, для высококачественного перевода, точного поиска, повсеместной работы смартфонов, создания привлекательной виртуальной среды для общения и так далее — и для которых будет желательным (или даже обязательным) прогресс в области аппаратного обеспечения.

554

Инвестиции в развитие технологии полной эмуляции головного мозга ускорят движение в сторону создания полноценной имитационной модели не только прямо (за счет появления новых технических методов), но и косвенно, за счет создания условий, которые обеспечат увеличение финансирования, а также повысят заметность этого направления и доверие к нему.

555

Сколько может потерять человечество, если контуры будущего будут определяться желаниями одного случайного человека, а не суперпозицией желаний всего народонаселения? Ответ на этот вопрос очень сильно зависит от стандартов оценки, которые мы используем, а также от того, идет ли речь об идеализированных или «необработанных» желаниях.

556

Например, в то время как два человеческих мозга «обмениваются информацией» очень медленно, посредством языка, ИИ может быть разработан таким образом, что две копии одной и той же программы смогут легко и быстро передавать друг другу и информацию, и навыки. Изначально предназначенный для киберпространства машинный интеллект не нуждается в громоздкой системе приспособления к природной среде обитания, унаследованной людьми от своих предков. Устройство цифрового мозга позволяет ему воспользоваться всеми преимуществами быстрых последовательных вычислений, недоступных мозгу биологическому, а также быстро инсталлировать новые высокооптимизированные функциональные модули (например, для обработки символьной информации, распознавания образов, симуляции, глубинной обработки данных и планирования). У ИИ могут быть заметные преимущества нетехнического характера, например его легче запатентовать и с ним не связаны типичные для использования КИМГМ сложности этического плана.

557

Если p₁ и p₂ — вероятности риска неудачи на каждом шаге, то суммарная вероятность неудачи равна p₁ + (1 – p₁) p₂, поскольку фатальная неудача может случится лишь один раз.

558

Конечно, возможен и такой вариант, что у лидирующего проекта не будет такой большой форы и он не сможет сформировать синглтон. Также может быть, что синглтон сформируется прежде, чем появится ИИ, даже без вмешательства КИМГМ, в этом случае причины предпочитать сценарий «сначала КММ» отпадают полностью.

559

Есть ли возможность у сторонников КИМГМ скорректировать усилия по поддержке этого направления так, чтобы при этом минимизировать ущерб для направления ИИ? В этом смысле, вероятно, лучше развивать технологии сканирования, чем нейрокомпьютерного моделирования. (Поддержка разработки аппаратного обеспечения вряд ли сыграет какую-то роль, поскольку благодаря большому коммерческому интересу прогресс в этой области и так довольно заметен.) Развитие технологии сканирования может повысить вероятность многополярного исхода, поскольку устранит потенциальное узкое место метода и позволит создать первую популяцию эмуляторов на базе множества различных человеческих шаблонов, а не воспроизводить сто тысяч миллиардов одинаковых копий нескольких исходных сканов. Прогресс в области технологии сканирования также повысит вероятность того, что узким местом окажется аппаратное обеспечение, а это может замедлить взлет.

560

У нейроморфного ИИ может не быть и других свойств компьютерной модели мозга, повышающих безопасность проекта, в частности, аналогичного человеческому профиля сильных и слабых когнитивных черт (благодаря которому мы могли бы, опираясь на свои знания о людях, формировать ожидания об уровне развития системы на разных стадиях ее развития).

561

Если мотивом поддержки направления КИМГМ является желание, чтобы технология полной эмуляции головного мозга была создана раньше разработок ИИ, то следует помнить, что ускорение развития этого направления изменит порядок появления двух форм машинного интеллекта только в том случае, если они и так должны были бы появиться почти сразу друг за другом с небольшим преимуществом в пользу ИИ. В противном случае инвестиции в технологию эмуляции или просто ускорят создание КИМГМ (сократив аппаратный навес и время, оставшееся на подготовку к этому), не изменив порядок появления КИМГМ и ИИ, или вообще не будут иметь никакого успеха (возможен даже обратный эффект, если ускорение разработок приведет к созданию нейроморфного ИИ).

562

См.: [Hanson 2009].

563

Конечно, и в этом случае имеется некоторый экзистенциальный риск, из-за которого отложить прогресс было бы правильно даже с субъективной точки зрения — это или позволит ныне живущим людям прожить чуть дольше, или обеспечит дополнительное время для попыток снизить опасность.

564

Предположим, мы можем предпринять некоторое действие, которое приблизит взрывное развитие интеллекта на один год. Предположим также, что люди, в настоящее время населяющие Землю, умирают со скоростью 1% в год и что по умолчанию риск гибели человечества в результате взрывного развития равен 20% (число произвольное, взято просто для иллюстрации). Тогда ускорение появления взрывного развития интеллекта на один год означает (с субъективной точки зрения) увеличение риска с 20% до 21%, то есть на 5%. Однако большинство живущих за год до начала взрывного развития интеллекта людей заинтересованы отложить его, если тем самым можно снизить риск на один процентный пункт (поскольку большинство людей знают, что их риск смерти в следующий год гораздо меньше 1%, учитывая, что основная смертность приходится на сравнительно узкий сегмент старых и больных людей). Так можно получить модель, в которой население ежегодно голосует за то, чтобы отложить взрывное развитие искусственного интеллекта еще на год, притом что все живущие согласны с тем, что было бы хорошо, если рано или поздно он произошел бы. В реальной жизни, конечно, такого бесконечного откладывания, скорее всего, не будет — из-за плохой координации, ограниченных возможностей прогнозирования или предпочтений иных вещей, нежели личное выживание. Если вместо стандартов, затрагивающих личные интересы каждого, использовать экономический коэффициент дисконтирования, позитивный эффект от ускорения резко снизится, так как упадет приведенная стоимость того, что ныне живущие люди обеспечат себе астрономически длинные жизни. Этот эффект проявится особенно заметно, если коэффициент дисконтирования применять к субъективному времени каждого индивидуума, а не к звездному. Если будущие блага дисконтируются по ставке x% годовых, а фоновый уровень экзистенциального риска от других источников равен y% в год, то оптимальный момент для взрывного развития искусственного интеллекта настанет тогда, когда его откладывание еще на год приведет к снижению связанного с ним экзистенциального риска меньше, чем на x + y процентных пунктов.

565

Я в долгу перед Карлом Шульманом и Стюартом Армстронгом за помощь в создании этой модели. См. также: «Дэвид Чалмерс сообщает о полном согласии среди курсантов и преподавателей Военной академии США в Вест-Пойнте, считающих, что правительство не должно сдерживать исследования в области ИИ даже перед лицом потенциальной катастрофы из-за опасности, что решающее преимущество могут получить конкурирующие державы [Chalmers 2010]» [Shulman 2010 a, p. 3].

566

Слова о том, что информация — это всегда плохо, являются вплне ожидаемым утверждением. Конечно, все зависит от того, что это за информация, поскольку иногда она может оказаться положительной, например если выяснится, что разрыв между лидером и преследователями гораздо больше, чем предполагалось.

567

С таким столкновением может быть связан экзистенциальный риск, особенно если ему предшествовало создание новых военных технологий или беспрецедентный рост арсеналов.

568

Занятые в проекте люди могут жить в совершенно разных местах и связываться друг с другом по защищенным каналам. Но эта тактика является компромиссной с точки зрения безопасности: географическая разбросанность помогает защититься от военного нападения, но повышает операционную уязвимость, поскольку становится труднее обеспечить сохранность информации, предотвратить ее утечки и похищение сотрудников враждебными структурами.

569

Обратите внимание, что высокий коэффициент дисконтирования по времени может привести к возникновению ощущения гонки даже в тех случаях, когда известно об отсутствии реальных конкурентов. Высокий коэффициент дисконтирования означает, что о далеком будущем можно почти не беспокоиться. В зависимости от ситуации это может препятствовать проведению оторванных от действительности исследований и разработок, что, скорее всего, приведет к задержке революции машинного интеллекта (хотя, вероятно, сделает ее более резкой, когда она наконец случится, — из-за аппаратного навеса). Но высокий коэффициент дисконтирования — или нежелание думать о будущих поколениях — может также снизить значимость экзистенциального риска. Это потворствует авантюрам, в которых имеется возможность получить быструю выгоду за счет резкого роста риска экзистенциальной катастрофы, устраняет стимулы для инвестирования в безопасность и создает стимулы для более раннего появления машинного интеллекта, фактически имитируя ощущение гонки. Но, в отличие от реальной гонки, высокий коэффициент дисконтирования (или игнорирование будущих поколений) не будет провоцировать конфликт. Устранение ощущения гонки — главное преимущество сотрудничества. В ситуации сотрудничества облегчается обмен идеями о возможных путях решения проблемы контроля, что также является преимуществом, хотя в некотором смысле оно уравновешивается тем фактом, что облегчается также обмен идеями и о возможных путях решения проблемы компетентности. Чистым результатом облегчения обмена идеями может быть некоторое повышение уровня коллективного интеллекта соответствующего исследовательского сообщества.

570

С одной стороны, контроль над проектом со стороны правительственных структур единственной страны повышает риск, что эта страна монополизирует блага от его реализации. Этот результат хуже того, в котором никому не подотчетные альтруисты стремятся распределить блага между всеми. Более того, такой контроль вовсе не обязательно приведет к распределению благ среди всех граждан этой страны: в зависимости от конкретной страны есть более или менее высокий риск, что блага будут присвоены политической элитой или несколькими лицами, действующими в своих интересах.

571

Уточним только, что использование стимулирующего пакета (о котором шла речь в главе 12) в некоторых обстоятельствах может побудить людей активно участвовать в работе над проектом, а не оставаться пассивными зрителями.

572

Похоже, закон убывающей предельной полезности работает и в гораздо меньших масштабах. Большинство людей предпочли бы гарантированный доступ к одной звезде, чем один шанс из миллиарда владеть галактикой из миллиарда звезд. На самом деле большинство людей скорее согласились бы на одну миллиардную ресурсов Земли, чем на один шанс из миллиарда владеть ею целиком.

573

См.: [Shulman 2010 a].

574

Использование агрегированных этических теорий вызывает определенные проблемы, когда серьезно относишься к идее, что космос может быть бесконечным; см.: [Bostrom 2011 b]. Проблемы возникают и в том случае, если воспринимать серьезно идею о возможности невероятно огромной, хотя и ограниченной, полезности; см.: [Bostrom 2009 b].

575

Если увеличивать размер компьютера, в конечном счете столкнешься с релятивистскими ограничениями из-за задержек в передаче информации между различными его частями — сигналы не могут передаваться быстрее скорости света. Если сжимать компьютер, то столкнешься с пределами миниатюризации на квантовом уровне. Если увеличивать плотность компьютера, упрешься в границы черной дыры. Однако нужно признать, что есть вероятность открытия новых физических свойств, которые когда-нибудь позволят обойти эти ограничения.

576

Линейно с ростом ресурсов бесконечно могло бы расти количество копий человека. Хотя неясно, насколько высоко среднестатистический земной житель оценил бы возможность наличия множества своих копий. Даже у тех, кто предпочел бы прожить множество жизней, функция полезности может не быть линейной относительно количества копий. Вполне возможно, что количество копий, как и продолжительность жизни, для среднестатистического человека отвечает закону убывающей предельной полезности.

577

Высокая степень сотрудничества характерна для синглтона на самом верхнем уровне принятия решений. При этом синглтон мог бы отличаться отсутствием сотрудничества и конфликтами на нижних уровнях, если этого захотели бы составляющие его агенты верхнего уровня.

578

Если каждая из соперничающих команд, работающих над созданием ИИ, убеждена, что ее конкуренты идут в неверном направлении и не имеют никаких шансов приблизить взрывное развитие интеллекта, то исчезает одна из причин для сотрудничества — избежание ощущения гонки — и проектные группы могут независимо друг от друга принять решение замедлить скорость разработки, будучи уверенными, что серьезных конкурентов вокруг них нет.

579

Работающего над докторской диссертацией.

580

Предполагалось, что эта формулировка должна пониматься так, как если бы включала оговорку о необходимости принимать во внимание благо животных и других разумных существ (включая цифровые), которые живут или будут жить в будущем. Это не означает выдачу разработчикам ИИ лицензии на замену их этических представлений представлениями более широкого сообщества. Принцип сочетается с методом когерентного экстраполированного волеизъявления, который мы обсуждали в главе 12, когда база экстраполяции состоит из всех людей.

Необходимое пояснение: формулировка не обязательно предполагает отсутствие в постпереходный период прав собственности на искусственный сверхразум или алгоритмы и данные, из которых он состоит. Она нейтральна к тому, какие правовые или политические системы будут лучше с точки зрения организации транзакций в гипотетическом постчеловеческом обществе будущего. Что формулировка точно предполагает, так это то, что выбор такой системы в той мере, в какой он определяется типом создаваемого сверхразума, следует делать на базе указанного критерия; то есть система устройства постпереходного общества должна работать на благо всего человечества и служить общим этическим идеалам, а не интересам тех, кто оказался первым создателем сверхразума.

581

Очевидно, что принцип распределения сверхдоходов можно уточнить. Например, порог распределения может быть сформулирован в суммах на душу населения, или доля сверхдохода, которую может оставить у себя победитель, должна быть выше средней, чтобы сильнее мотивировать будущее производство (например, использовать принцип теории справедливости Ролза). Можно, в принципе, уйти от сумм в денежном выражении и описать задачу следующим образом: «влияние на будущее человечества», «степень того, насколько интересы каждой из сторон будут учитываться в функции полезности будущего синглтона» или что-то подобное.

582

Некоторые исследования важны не потому, что приводят к открытиям, но по каким-то иным причинам, например, потому что развлекают, развивают, возвеличивают или вдохновляют тех, кто ими занят.

583

Я не имею в виду, что никто не должен заниматься чистой математикой или философией. Или что эти направления означают пустую трату времени по сравнению со всеми остальными областями науки или жизни в целом. Вероятно, очень хорошо, что некоторые люди могут посвятить себя интеллектуальной деятельности и следовать за своим научным любопытством, куда бы оно ни завело, независимо от любых соображений относительно полезности или возможных последствий этих занятий. Я имею в виду, что как минимум некоторые из этих лучших умов могли бы, поняв, что в обозримом будущем их когнитивная эффективность может совершенно обесцениться, пожелать переключить свое внимание на теоретические проблемы, скорость решения которых имеет для человечества некоторое значение.

584

Однако следует быть внимательными в случаях, когда неопределенность может быть полезна, — вспомните, например, модель риска, связанного с гонкой вооружений (врезка 13), где мы выяснили, что дополнительная стратегическая информация может быть вредна. Говоря в общем, нас должна беспокоить потенциальная опасность информации, см.: [Bostrom 2011 b]. Возникает соблазн сказать, что нам нужно больше анализировать потенциально опасную информацию. Вероятно, это правда, хотя в таком случае нас не может не беспокоить, что в результате такого анализа, в свою очередь, появится потенциально опасная информация.

585

См.: [Bostrom 2007].

586

Я благодарен Карлу Шульману за то, что он подчеркнул этот момент.