Примечания книги Совместимость. Как контролировать искусственный интеллект. Автор книги Стюарт Рассел

1

Первое издание моего учебника по ИИ, написанного в соавторстве с Питером Норвигом, в настоящее время директором Google по науке: Stuart Russell and Peter Norvig, Artificial Intelligence: A Modern Approach, 1st ed. (Prentice Hall, 1995).

2

Робинсон разработал алгоритм разрешения, который может, при наличии времени, доказать любое логическое следствие из комплекса логических утверждений первого порядка. В отличие от предыдущих алгоритмов, он не требует преобразования в пропозиционную логику. J. Alan Robinson, «A machine-oriented logic based on the resolution principle», Journal of the ACM 12 (1965): 23–41.

3

Артур Самуэль, американский первопроходец компьютерной эры, начал карьеру в IBM. В статье, посвященной его работе с шашками, впервые был использован термин машинное обучение, хотя Алан Тьюринг еще в 1947 г. говорил о «машине, способной учиться на опыте». Arthur Samuel, «Some studies in machine learning using the game of checkers», IBM Journal of Research and Development 3 (1959): 210−29.

4

Так называемый Отчет Лайтхилла привел к отмене финансирования исследования ИИ везде, кроме Эдинбургского и Сассекского университетов: Michael James Lighthill, «Artificial intelligence: A general survey», in Artificial Intelligence: A Paper Symposium (Science Research Council of Great Britain, 1973).

5

CDC 6600 занимал целую комнату, а его стоимость была эквивалентна $20 млн. Для своего времени он был невероятно мощным, хотя и в миллион раз менее мощным, чем iPhone.

6

После победы DeepBlue над Каспаровым по крайней мере один комментатор предсказал, что в го подобное произойдет не раньше чем через сто лет: George Johnson, «To test a powerful computer, play an ancient game», The New York Times, July 29, 1997.

7

Очень легкое для понимания описание развития ядерной технологии см. в: Richard Rhodes, The Making of the Atomic Bomb (Simon & Schuster, 1987).

8

Простой алгоритм контролируемого обучения может не обладать таким эффектом, если не имеет оболочки в виде платформы A/B тестирования (обычного инструмента онлайнового маркетинга). Алгоритмы решения проблемы многорукого бандита и алгоритмы обучения с подкреплением окажут это воздействие, если будут работать с явным представлением состояния пользователя или неявным представлением в плане истории взаимодействий с пользователем.

9

Некоторые считают, что корпорации, ориентированные на максимизацию прибыли, уже являются вышедшими из-под контроля искусственными сущностями. См., например: Charles Stross, «Dude, you broke the future!» (keynote, 34th Chaos Communications Congress, 2017). См. также: Ted Chiang, «Silicon Valley is turning into its own worst fear», Buzzfeed, December 18, 2017. Эта мысль углубленно исследуется в сб.: Daniel Hillis, «The first machine intelligences», in Possible Minds: Twenty-Five Ways of Looking at AI, ed. John Brockman (Penguin Press, 2019).

10

Для своего времени статья Винера была редким примером расхождения с господствующим представлением, что любой технологический прогресс во благо: Norbert Wiener, «Some moral and technical consequences of automation», Science 131 (1960): 1355–58.

11

Сантьяго Рамон-и-Кахаль в 1894 г. предположил, что изменения синапсов являются признаком обучения, но эта гипотеза была экспериментально подтверждена только в конце 1960-х гг. См.: Timothy Bliss and Terje Lomo, «Long-lasting potentiation of synaptic transmission in the dentate area of the anaesthetized rabbit following stimulation of the perforant path», Journal of Physiology 232 (1973): 331–56.

12

Краткое введение см. в статье: James Gorman, «Learning how little we know about the brain», The New York Times, November 10, 2014. См. также: Tom Siegfried, «There’s a long way to go in understanding the brain», ScienceNews, July 25, 2017. Специальный выпуск журнала Neuron в 2014 г. (vol. 94, pp. 933−1040) дает общее представление о множестве подходов к пониманию головного мозга.

13

Наличие или отсутствие сознания — активного субъективного опыта — безусловно, принципиально важно для нашего отношения к машинам с точки зрения морали. Даже если бы мы знали достаточно, чтобы сконструировать сознающие машины или обнаружить тот факт, что нам это удалось, то столкнулись бы со множеством серьезных нравственных проблем, к решению большинства из которых не готовы.

14

Данная статья одной из первой установила четкую связь между алгоритмами обучения с подкреплением и нейрофизиологической регистрацией: Wolfram Schultz, Peter Dayan, and P. Read Montague, «A neural substrate of prediction and reward», Science 275 (1997): 1593–99.

15

Исследования внутричерепной стимуляции проводились в надежде найти средства лечения различных психических болезней. См., например: Robert Heath, «Electrical self-stimulation of the brain in man», American Journal of Psychiatry 120 (1963): 571–77.

16

Пример биологического вида, который может исчезнуть из-за зависимости: Bryson Voirin, «Biology and conservation of the pygmy sloth, Bradypus pygmaeus», Journal of Mammalogy 96 (2015): 703–7.

17

Появление понятия эффект Болдуина в эволюции обычно связывается со следующей статьей: James Baldwin, «A new factor in evolution», American Naturalist 30 (1896): 441–51.

18

Основная идея эффекта Болдуина также описывается в работе: Conwy Lloyd Morgan, Habit and Instinct (Edward Arnold, 1896).

19

Современный анализ и компьютерная реализация, демонстрирующие эффект Болдуина: Geoffrey Hinton and Steven Nowlan, «How learning can guide evolution», Complex Systems 1 (1987): 495–502.

20

Дальнейшее раскрытие эффекта Болдуина в компьютерной модели, включающей эволюцию внутренней цепи сигнализации о вознаграждении: David Ackley and Michael Littman, «Interactions between learning and evolution», in Artificial Life II, ed. Christopher Langton et al. (Addison-Wesley, 1991).

21

Здесь я указываю на корни нашего сегодняшнего понимания разума, а не описываю древнегреческое понятие нус, или «ум», имеющее много связанных друг с другом значений.

22

Цит. по: Aristotle, Nicomachean Ethics, Book III, 3, 1112b.

23

Кардано, один из первых европейских математиков, занимавшихся отрицательными числами, разработал раннюю математическую трактовку вероятности в играх. Он умер в 1576 г., за 87 лет до опубликования своего труда: Gerolamo Cardano, Liber de ludo aleae (Lyons, 1663).

24

Работу Арно, впервые изданную анонимно, часто называют «Логикой Пор-Рояля» [по названию монастыря Пор-Рояль, аббатом которого являлся Антуан Арно. — Прим. пер.]: Antoine Arnauld, La logique, ou l’art de penser (Chez Charles Savreux, 1662). См. также: Blaise Pascal, Pensées (Chez Guillaume Desprez, 1670).

25

Понятие полезности: Daniel Bernoulli, «Specimen theoriae novae de mensura sortis», Proceedings of the St. Petersburg Imperial Academy of Sciences 5 (1738): 175–92. Идея Бернулли о полезности вытекает из рассмотрения случая с купцом Семпронием, делающим выбор между перевозкой ценного груза одним судном или его разделением между двумя судами из соображения, что каждое судно имеет 50 %-ную вероятность затонуть в пути. Ожидаемая денежная полезность двух решений одинакова, но Семпроний, очевидно, предпочитает решение с двумя судами.

26

По большинству свидетельств, сам фон Нейман не изобретал эту архитектуру, но его имя значилось на начальном варианте текста влиятельного отчета, описывающего вычислительную машину с запоминаемой программой EDVAC.

27

Работа фон Неймана и Моргенштерна во многих отношениях является фундаментом современной экономической теории: John von Neumann and Oskar Morgenstern, Theory of Games and Economic Behavior (Princeton University Press, 1944).

28

Предположение, что полезность есть сумма дисконтируемых вознаграждений, было сделано в форме математически приемлемой гипотезы Полом Самуэльсоном: Paul Samuelson, «A note on measurement of utility», Review of Economic Studies 4 (1937): 155–61. Если s₀, s₁, … — последовательность состояний, то полезность в этой модели есть U (s₀, s₁, …) = ∑_tƴ ^tR (s_t), где ƴ — коэффициент дисконтирования, а R — функция вознаграждения, описывающая желательность состояния. Наивное применение этой модели редко согласуется с оценкой реальными индивидами желательности нынешнего и будущего вознаграждений. Тщательный анализ см. в статье: Shane Frederick, George Loewenstein, and Ted O’Donoghue, «Time discounting and time preference: A critical review», Journal of Economic Literature 40 (2002): 351–401.

29

Морис Алле, французский экономист, предложил сценарий принятия решения, в котором человек последовательно нарушает аксиомы фон Неймана — Моргенштерна: Maurice Allais, «Le comportement de l’homme rationnel devant le risque: Critique des postulats et axiomes de l’école américaine», Econometrica 21 (1953): 503–46.

30

Введение в анализ принятия неколичественных решений см. в: Michael Wellman, «Fundamental concepts of qualitative probabilistic networks», Artificial Intelligence 44 (1990): 257–303.

31

Я вернусь к рассмотрению свидетельств человеческой иррациональности в главе 9. Основные работы по данной теме: Allais, «Le comportement»; Daniel Ellsberg, Risk, Ambiguity, and Decision (PhD thesis, Harvard University, 1962); Amos Tversky and Daniel Kahneman, «Judgment under uncertainty: Heuristics and biases», Science 185 (1974): 1124–31.

32

Следует понимать, что это мысленный эксперимент, который невозможно поставить на практике. Выбор разных вариантов будущего никогда не предстает во всех деталях, и люди никогда не имеют роскошной возможности подробнейшим образом исследовать и оценить эти варианты, прежде чем выбирать. Мы получаем лишь краткие резюме, скажем, «библиотекарь» или «шахтер». Когда человек делает такой выбор, то в действительности ему предлагается сравнить два распределения вероятности по полным вариантам будущего, один из которых начинается с выбора «библиотекарь», а другой — с выбора «шахтер», причем каждое распределение предполагает оптимальные действия со стороны данного человека в рамках каждого будущего. Очевидно, сделать такой выбор непросто.

33

Первое упоминание о рандомизированной стратегии в играх: Pierre Rémond de Montmort, Essay d’analyse sur les jeux de hazard, 2nd ed. (Chez Jacques Quillau, 1713). В книге упоминается некий монсеньор де Вальдграв в качестве автора оптимального рандомизированного решения для карточной игры Ле Гер. Сведения о личности Вальдграва раскрываются в статье: David Bellhouse, «The problem of Waldegrave», Electronic Journal for History of Probability and Statistics 3 (2007).

34

Задача полностью определяется, если задать вероятность того, что Алиса забивает гол в каждом из следующих четырех случаев: если она бьет вправо от Боба, и Боб бросается вправо или влево, и если она бьет влево от Боба, и он бросается вправо или влево. В данном случае эти вероятности составляют 25, 70, 65 % и 10 % соответственно. Предположим, что стратегия Алисы — бить вправо от Боба с вероятностью p и влево с вероятностью 1 — p, тогда как Боб бросается вправо с вероятностью q и влево с вероятностью 1 — q. Выигрыш Алисы: U_A = 0,25 pq + 0,70 p (1 − q) + 0,65 (1 − p)q + 0,10 (1 − p) (1 − q), Боба: U_B = −U_A. В равновесии ∂U_A/∂p = 0 and ∂U_B/∂q = 0, что дает p = 0,55 и q = 0,60.

35

Исходную задачу теории игр предложили Меррил Флуд и Мелвин Дрешер в RAND Corporation. Такер увидел матрицу выигрышей, зайдя к ним в кабинет, и предложил сопроводить ее «историей».

36

Специалисты теории игр обычно говорят, что Алиса и Боб смогли сотрудничать друг с другом (отказались давать показания) или предать подельника. Мне эти определения кажутся вводящими в заблуждение, поскольку «сотрудничество друг с другом» не тот выбор, который каждый агент может сделать индивидуально, а также из-за влияния общепринятого выражения «сотрудничать с полицией», когда за сотрудничество можно получить более легкий приговор и т. д.

37

Интересное решение на основе доверия для дилеммы заключенного и других игр см.: Joshua Letchford, Vincent Conitzer, and Kamal Jain, «An ‘ethical’ game-theoretic solution concept for two-player perfect-information games», in Proceedings of the 4th International Workshop on Web and Internet Economics, ed. Christos Papadimitriou and Shuzhong Zhang (Springer, 2008).

38

Источник трагедии общих ресурсов: William Forster Lloyd, Two Lectures on the Checks to Population (Oxford University, 1833).

39

Современное рассмотрение темы в контексте глобальной экологии: Garrett Hardin, «The tragedy of the commons», Science 162 (1968): 1243–48.

40

Весьма вероятно, что, даже если бы мы попытались создать интеллектуальные машины на основе химических реакций или биологических клеток, объединения этих элементов оказались бы реализацией машины Тьюринга нетрадиционным способом. Вопрос о том, является ли объект универсальным компьютером, никак не связан с вопросом о том, из чего он сделан.

41

Эпохальная статья Тьюринга дает определение понятию, в настоящее время известному как машина Тьюринга, основополагающему в компьютерной науке. Entscheidungsproblem, или проблема принятия решения, в названии статьи есть проблема выбора следования в логике первого порядка: Alan Turing, «On computable numbers, with an application to the Entscheidungsproblem», Proceedings of the London Mathematical Society, 2nd ser., 42 (1936): 230–65.

42

Хорошее исследование отрицательной емкости от одного из ее изобретателей: Sayeef Salahuddin, «Review of negative capacitance transistors», in International Symposium on VLSI Technology, Systems and Application (IEEE Press, 2016).

43

Намного лучшее объяснение квантовых вычислений см. в кн.: Scott Aaronson, Quantum Computing since Democritus (Cambridge University Press, 2013).

44

Статья, проводящая четкое различие с точки зрения теории сложности между классическими и квантовыми вычислениями: Ethan Bernstein and Umesh Vazirani, «Quantum complexity theory», SIAM Journal on Computing 26 (1997): 1411–73.

45

Следующая статья известного физика представляет собой хороший обзор современного состояния теоретического понимания и технологии квантовых вычислений: John Preskill, «Quantum computing in the NISQ era and beyond», arXiv:1801.00862 (2018).

46

О максимальной вычислительной способности килограммового объекта: Seth Lloyd, «Ultimate physical limits to computation», Nature 406 (2000): 1047–54.

47

Пример предположения, что люди могут представлять собой вершину физически достижимой разумности, см. в статье: Kevin Kelly, «The myth of a superhuman AI», Wired, April 25, 2017: «Мы склонны верить, что предел далеко от нас, далеко „впереди“ нас, как мы „впереди“ муравья… Что доказывает, что не мы являемся этим пределом?»

48

Если вам интересно, можно ли решить проблему остановки простой хитростью: очевидный метод просто выполнять программу, чтобы узнать, завершится ли она, не работает, потому что необязательно имеет конец. Вы можете прождать миллион лет, но так и не узнать, застряла программа в бесконечном цикле или ей просто нужно время.

49

Доказательство того, что проблема остановки неразрешима, очень изящно. Вопрос: возможна ли программа проверки циклов LoopChecker (Р, Х), которая для любой программы Р и любого входа Х верно определяет за конечный промежуток времени, остановится ли Р, примененная к Х, выдав результат, или будет выполняться вечно? Допустим, программа LoopChecker существует. Напишем программу Q, использующую LoopChecker как подпрограмму с самой Q и Х в качестве входа и выполняющую противоположное тому, что предсказывает LoopChecker (Q, Х). Тогда, если LoopChecker сообщает, что Q остановится, Q не останавливается, и наоборот. Таким образом, предположение, что LoopChecker существует, приводит к противоречию, следовательно, LoopChecker не существует.

50

Я говорю «как представляется», потому что на сегодняшний день утверждение, что класс неполиномиальных задач требует сверхполиномиального времени (принятое обозначение: P ≠ NP), остается недоказанным. После почти 50 лет исследований, однако, почти все математики и специалисты в области компьютерных наук убеждены в его истинности.

51

Записи Лавлейс о вычислениях содержатся по большей части в ее примечаниях к собственному переводу комментариев итальянского инженера по поводу машины Бэббиджа: L. F. Menabrea, «Sketch of the Analytical Engine invented by Charles Babbage», trans. Ada, Countess of Lovelace, in Scientific Memoirs, vol. III, ed. R. Taylor (R. and J. E. Taylor, 1843). Оригинальная статья Менабреа, написанная на французском языке на основе лекций, с которыми Бэббидж выступал в 1840 г., вышла в издании Bibliothèque Universelle de Genève 82 (1842).

52

Одна из ранних эпохальных статей о возможности искусственного интеллекта: Alan Turing, «Computing machinery and intelligence», Mind 59 (1950): 433–60.

53

Проект «Шейки» Стэнфордского исследовательского института описан в воспоминаниях одного из его руководителей: Nils Nilsson, «Shakey the robot», technical note 323 (SRI International, 1984). В 1969 г. был снят 24-минутный фильм «Шейки: эксперименты по обучению и планированию в робототехнике», вызвавший общенациональный интерес.

54

Книга, ознаменовавшая начало разработки современного, вероятностного ИИ: Judea Pearl, Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (Morgan Kaufmann, 1988).

55

Строго говоря, шахматы не являются полностью наблюдаемыми. Программе все-таки приходится помнить небольшой объем информации, чтобы устанавливать допустимость рокировок и взятий на проходе и определять ничьи троекратным повторением позиции или правилом 50 ходов.

56

Полное описание см. в главе 2 кн.: Stuart Russell and Peter Norvig, Artificial Intelligence: A Modern Approach, 3rd ed. (Pearson, 2010).

57

Размер пространства состояний в StarCraft рассматривается в статье: Santiago Ontañon et al., «A survey of real-time strategy game AI research and competition in StarCraft», IEEE Transactions on Computational Intelligence and AI in Games 5 (2013): 293–311. Огромное количество ходов возможно, потому что игрок может перемещать все юниты одновременно. Число ходов снижается с введением ограничений относительно того, сколько юнитов или их групп могут быть перемещены одновременно.

58

О состязании человека и машины в StarCraft: Tom Simonite, «DeepMind beats pros at StarCraft in another triumph for bots», Wired, January 25, 2019.

59

AlphaZero описана в: David Silver et al., «Mastering chess and shogi by self-play with a general reinforcement learning algorithm», arXiv:1712.01815 (2017).

60

Оптимальные маршруты определяются с помощью А алгоритма и множества производных от него: Peter Hart, Nils Nilsson, and Bertram Raphael, «A formal basis for the heuristic determination of minimum cost paths», IEEE Transactions on Systems Science and Cybernetics SSC- 4 (1968): 100–107.

61

Статья, представившая программу Advice Taker и системы знания на основе логики: John McCarthy, «Programs with common sense», in Proceedings of the Symposium on Mechanisation of Thought Processes (Her Majesty’s Stationery Office, 1958).

62

Чтобы составить некоторое представление о значимости систем на основе знания, рассмотрим системы баз данных. База данных содержит четкие отдельные факты вроде местоположения моих ключей и личностей четырех моих друзей в Facebook. Системы баз данных не могут хранить общие правила, например правила игры в шахматы или юридическое определение британского гражданства. Они могут сосчитать, сколько людей по имени Алиса имеют друзей, которые носят имя Боб, но не способны определить, отвечает ли конкретная Алиса условиям предоставления британского гражданства, или приведет ли к победе определенная последовательность шахматных ходов. Системы баз данных не могут соединить два фрагмента знания, чтобы получить третий: они поддерживают функцию запоминания, но не мышления. (Действительно, многие современные системы баз данных дают возможность добавлять правила и использовать эти правила для получения новых фактов; в той мере, в которой они это делают, они являются системами на основе знания.) Хотя они представляют собой ограниченные версии систем на основе знания, системы баз данных лежат в основе большей части сегодняшней коммерческой деятельности и приносят сотни миллиардов долларов ежегодно.

63

Оригинальная статья, описывающая теорему о полноте для логики первого порядка: Kurt Gödel, «Die Vollständigkeit der Axiome des logischen Funktionenkalküls», Monatshefte für Mathematik 37 (1930): 349–60.

64

Алгоритм рассуждения в логике первого порядка тем не менее имеет недостаток: если ответа нет — то есть если доступного знания недостаточно, чтобы дать ответ, — то алгоритм может никогда не завершиться. Этого невозможно избежать: математически невозможно, чтобы верный алгоритм всегда прерывался, отвечая «я не знаю», в сущности, по той же причине, по которой ни один алгоритм не может решить проблему остановки.

65

Первый алгоритм доказательства теорем в логике первого порядка, занимающийся сокращением предложений первого порядка до (очень многочисленных) пропозиционных предложений: Martin Davis and Hilary Putnam, «A computing procedure for quantification theory», Journal of the ACM 7 (1960): 201–15. Алгоритм разрешения Робинсона выполнял действия непосредственно над логическими предложениями первого порядка, используя «унификацию» для сопоставления комплексных выражений, содержащих логические переменные: J. Alan Robinson, «A machine-oriented logic based on the resolution principle», Journal of the ACM 12 (1965): 23–41.

66

Возникает вопрос, как логический робот Shekey вообще приходил к каким-либо определенным выводам о том, что делать. Ответ прост: база знаний Shekey включала ложные предположения. Например, он был убежден, что, если выполнить «протолкнуть объект А через дверь Г в комнату Б», то объект А в результате окажется в комнате Б. Это было ложное убеждение, потому что Shekey мог застрять в дверях, промахнуться мимо двери, или кто-то мог коварно похитить объект А у него из захвата. Его модуль выполнения плана был способен зарегистрировать провал плана и провести соответствующее перепланирование, так что, строго говоря, Shekey не был чисто логической системой.

67

Ранние замечания о роли вероятности в человеческом мышлении: Pierre-Simon Laplace, Essai philosophique sur les probabilités (Mme. Ve. Courcier, 1814).

68

Описание Байесовой логики доступным языком: Stuart Russell, «Unifying logic and probability», Communications of the ACM 58 (2015): 88–97. Статья опирается на исследование моего бывшего студента Брайана Милча, проведенное в ходе работы над диссертацией на соискание звания доктора философии.

69

Источник теоремы Байеса: Thomas Bayes and Richard Price, «An essay towards solving a problem in the doctrine of chances», Philosophical Transactions of the Royal Society of London 53 (1763): 370–418.

70

Строго говоря, программа Самуэля не рассматривает выигрыш и проигрыш как абсолютные вознаграждения; однако, фиксируя стоимость материала как положительную, программа в общем склонна действовать на достижение победы.

71

Применение обучения с подкреплением для создания программы, играющей в нарды на мировом уровне: Gerald Tesauro, «Temporal difference learning and TD-Gammon», Communications of the ACM 38 (1995): 58–68.

72

Система DQN, которая учится играть в широкий спектр видеоигр с использованием глубокого обучения с подкреплением: Volodymyr Mnih et al., «Human-level control through deep reinforcement learning», Nature 518 (2015): 529–33.

73

Высказывания Билла Гейтса об ИИ Dota 2: Catherine Clifford, «Bill Gates says gamer bots from Elon Musk-backed nonprofit are ‘huge milestone’ in A. I»., CNBC, June 28, 2018.

74

Отчет о победе OpenAI Five над людьми — чемпионами мира по Dota 2: Kelsey Piper, «AI triumphs against the world’s top pro team in strategy game Dota 2», Vox, April 13, 2019.

75

Собрание примеров из литературы, когда неверное определение функции вознаграждения приводило к неожиданному поведению: Victoria Krakovna, «Specification gaming examples in AI», Deep Safety (blog), April 2, 2018.

76

Случай, когда функция эволюционной пригодности, определенная через максимальную скорость передвижения, привела к очень неожиданным результатам: Karl Sims, «Evolving virtual creatures», in Proceedings of the 21st Annual Conference on Computer Graphics and Interactive Techniques (ACM, 1994).

77

Захватывающее знакомство с возможностями рефлекторных агентов: Valentino Braitenberg, Vehicles: Experiments in Synthetic Psychology (MIT Press, 1984).

78

Газетная статья об аварии со смертельным исходом с участием автомобиля в режиме самоуправления, который сбил пешехода: Devin Coldewey, «Uber in fatal crash detected pedestrian but had emergency braking disabled», TechCrunch, May 24, 2018.

79

Об алгоритмах рулевого управления см., например: Jarrod Snider, «Automatic steering methods for autonomous automobile path tracking», technical report CMU-RI-TR-09–08, Robotics Institute, Carnegie Mellon University, 2009.

80

Норфолкский и норвичский терьеры — две категории из базы данных ImageNet. Они печально знамениты тем, что их трудно различить и до 1964 г. считались одной породой.

81

Глубоко прискорбный инцидент с аннотированием изображений: Daniel Howley, «Google Photos mislabels 2 black Americans as gorillas», Yahoo Tech, June 29, 2015.

82

Последующая статья о Google и гориллах: Tom Simonite, «When it comes to gorillas, Google Photos remains blind», Wired, January 11, 2018.

83

Базовый план игровых алгоритмов был разработан Клодом Шэнноном: Claude Shannon, «Programming a computer for playing chess», Philosophical Magazine, 7th ser., 41 (1950): 256–75.

84

См. илл. 5.12 кн.: Stuart Russell and Peter Norvig, Artificial Intelligence: A Modern Approach, 1st ed. (Prentice Hall, 1995). Обратите внимание, что рейтинг шахматистов и шахматных программ не точная наука. Наивысший коэффициент Эло Каспарова, полученный в 1999 г., составляет 2851, но современные шахматные программы, такие как Stockfish, имеют рейтинг 3300 и более.

85

Самый ранний отчет о появлении самоуправляемого автомобиля на дороге общего пользования: Ernst Dickmanns and Alfred Zapp, «Autonomous high speed road vehicle guidance by computer vision», IFAC Proceedings Volumes 20 (1987): 221–26.

86

Показатели безопасности транспортных средств Google (впоследствии Waymo): «Waymo safety report: On the road to fully self-driving», 2018.

87

На данный момент произошло по меньшей мере две аварии со смертельным исходом для водителя и одна с гибелью пешехода. Привожу несколько ссылок с краткими цитатами, описывающими случившееся. Danny Yadron and Dan Tynan, «Tesla driver dies in first fatal crash while using autopilot mode», Guardian, June 30, 2016: «Датчики автопилота Model S не различили на фоне яркого неба белый автотягач с прицепом, пересекавший перекресток». Megan Rose Dickey, «Tesla Model X sped up in Autopilot mode seconds before fatal crash, according to NTSB», TechCrunch, June 7, 2018: «Начиная с третьей секунды до столкновения и до времени соприкосновения с отбойником скорость Tesla увеличивалась от 100 км/ч до 114 км/ч; предшествующее удару срабатывание тормозов или движения по уклонению от препятствия зафиксированы не были». Devin Coldewey, «Uber in fatal crash detected pedestrian but had emergency braking disabled», TechCrunch, May 24, 2018: «Экстренное торможение не допускается, когда транспортное средство находится под управлением компьютера, с целью снижения риска неустойчивого поведения транспортного средства».

88

Ассоциация инженеров-автомобилестроителей (SAE) определяет шесть уровней автоматизации, где уровень 0 соответствует ее отсутствию, а уровень 5 — полной автоматизации: «Постоянное осуществление автоматической системой вождения на всех дорожных покрытиях и при любых погодных условиях всех аспектов задачи динамического вождения, которые могут осуществляться водителем-человеком».

89

Прогноз экономических последствий внедрения автоматизации в отношении стоимости транспортировки: Adele Peters, «It could be 10 times cheaper to take electric robo-taxis than to own a car by 2030», Fast Company, May 30, 2017.

90

Влияние ДТП на возможность наложения регуляторных ограничений на автономные транспортные средства: Richard Waters, «Self-driving car death poses dilemma for regulators», Financial Times, March 20, 2018.

91

Влияние ДТП на отношение общественности к автономным транспортным средствам: Cox Automotive, «Autonomous vehicle awareness rising, acceptance declining, according to Cox Automotive mobility study», August 16, 2018.

92

Оригинальный чатбот: Joseph Weizenbaum, «ELIZA — a computer program for the study of natural language communication between man and machine», Communications of the ACM 9 (1966): 36–45.

93

Сегодняшние работы в области физиологического моделирования см.: physiome.org. Работы 1960-х гг. над объединенными моделями с тысячами дифференциальных уравнений: Arthur Guyton, Thomas Coleman, and Harris Granger, «Circulation: Overall regulation», Annual Review of Physiology 34 (1972): 13–44.

94

Часть работы над обучающими системами на самом раннем этапе была выполнена Патом Супписом и его коллегами в Стэнфорде: Patrick Suppes and Mona Morningstar, «Computer-assisted instruction», Science 166 (1969): 343–50.

95

Michael Yudelson, Kenneth Koedinger, and Geoffrey Gordon, «Individualized Bayesian knowledge tracing models», in Artificial Intelligence in Education: 16th International Conference, ed. H. Chad Lane et al. (Springer, 2013).

96

Пример машинного обучения с использованием зашифрованных данных: Reza Shokri and Vitaly Shmatikov, «Privacy-preserving deep learning», in Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security (ACM, 2015).

97

Ретроспективная история первого умного дома, основанная на лекции его создателя Джеймса Сазерленда: James E. Tomayko, «Electronic Computer for Home Operation (ECHO): The first home computer», IEEE Annals of the History of Computing 16 (1994): 59–61.

98

Краткий отчет о проекте умного дома на основе машинного обучения и автоматизированного принятия решений: Diane Cook et al., «MavHome: An agent-based smart home», in Proceedings of the 1st IEEE International Conference on Pervasive Computing and Communications (IEEE, 2003).

99

Введение в анализ опыта пользователей умных домов: Scott Davidoff et al., «Principles of smart home control», in Ubicomp 2006: Ubiquitous Computing, ed. Paul Dourish and Adrian Friday (Springer, 2006).

100

Коммерческое объявление об умных домах на основе ИИ: «The Wolff Company unveils revolutionary smart home technology at new Annadel Apartments in Santa Rosa, California», Business Insider, March 12, 2018.

101

Статья о роботизированных шеф-поварах в качестве коммерческого продукта: Eustacia Huen, «The world’s first home robotic chef can cook over 100 meals», Forbes, October 31, 2016.

102

Отчет моих коллег из Беркли о глубоком обучении с подкреплением в сфере роботизированного двигательного контроля: Sergey Levine et al., «End-to-end training of deep visuomotor policies», Journal of Machine Learning Research 17 (2016): 1–40.

103

О возможностях автоматизации работы сотен тысяч складских рабочих: Tom Simonite, «Grasping robots compete to rule Amazon’s warehouses», Wired, July 26, 2017.

104

Я исхожу из щедрого расчета: одна минута работы ЦП ноутбука на страницу, или около 10¹¹ операций. Тензорный процессор третьего поколения разработки Google выполняет около 10¹⁷ операций в секунду, следовательно, может читать 1 млн страниц в секунду, то есть на 8 млн книг ему требуется примерно пять часов.

105

Исследование объема всемирного производства информации во всех каналах за 2003 г.: Peter Lyman and Hal Varian, «How much information?» sims.berkeley.edu/research/projects/how-much-info-2003.

106

Подробности использования распознавания речи интеллектуальными агентами: Dan Froomkin, «How the NSA converts spoken words into searchable text», The Intercept, May 5, 2015.

107

Анализ спутниковых визуальных изображений представляет собой задачу колоссального масштаба: Mike Kim, «Mapping poverty from space with the World Bank», Medium.com, January 4, 2017. По оценке Кима, 8 млн человек пришлось бы работать круглосуточно, что преобразуется в более чем 30 млн человек при 40-часовой рабочей неделе. Я думаю, в действительности это завышенная оценка, поскольку огромное большинство изображений демонстрировали бы пренебрежимо малые изменения в течение дня. В то же время разведывательное сообщество США держит десятки тысяч сотрудников, работающих в огромных помещениях и рассматривающих спутниковые снимки, только для отслеживания того, что происходит в маленьких регионах, представляющих интерес. Так что 1 млн человек в расчете на весь мир, пожалуй, похоже на правду.

108

Достигнут существенный прогресс в глобальном наблюдении с использованием данных спутниковых изображений в реальном времени: David Jensen and Jillian Campbell, «Digital earth: Building, financing and governing a digital ecosystem for planetary data», официальный доклад на форуме ООН «Наука, политика, бизнес и окружающая среда» 2018 г.

109

Люк Мюльхаузер много писал о предсказаниях в области ИИ, и я благодарен ему за то, что он нашел первоисточники последующих цитат. См.: Luke Muehlhauser, «What should we learn from past AI forecasts?» Open Philanthropy Project report, 2016.

110

Прогноз появления ИИ человеческого уровня в течение 20 лет: Herbert Simon, The New Science of Management Decision (Harper & Row, 1960).

111

Прогноз появления ИИ человеческого уровня в течение жизни одного поколения: Marvin Minsky, Computation: Finite and Infinite Machines (Prentice Hall, 1967).

112

Прогноз Джона Маккарти о появлении ИИ человеческого уровня в интервале «от пяти до пятисот лет»: Ian Shenker, «Brainy robots in our future, experts think», Detroit Free Press, September 30, 1977.

113

Обзор исследований специалистов по ИИ их собственных прогнозов появления ИИ человеческого уровня см. на сайте aiimpacts.org. Подробное рассмотрение результатов исследования проблематики ИИ человеческого уровня см. в статье: Katja Grace et al., «When will AI exceed human performance? Evidence from AI experts», arXiv:1705.08807v3 (2018).

114

Сравнение вычислительной мощности компьютера и возможностей человеческого мозга на графиках: Ray Kurzweil, «The law of accelerating returns», Kurzweilai.net, March 7, 2001.

115

Проект Aristo Института изучения ИИ им. Аллена: allenai.org/aristo.

116

Анализ знания, необходимого для получения хороших результатов в тесте для четвертого класса на понимание и здравый смысл: Peter Clark et al., «Automatic construction of inference-supporting knowledge bases», in Proceedings of the Workshop on Automated Knowledge Base Construction (2014), akbc.ws/2014.

117

Проект машинного чтения NELL описан в статье: Tom Mitchell et al., «Neverending learning», Communications of the ACM 61 (2018): 103–15.

118

Идея самостоятельного получения выводов из текста принадлежит Сергею Брину: «Extracting patterns and relations from the World Wide Web», in The World Wide Web and Databases, ed. Paolo Atzeni, Alberto Mendelzon, and Giansalvatore Mecca (Springer, 1998).

119

Визуализация слияния черных дыр, зарегистрированного LIGO: LIGO Lab Caltech, «Warped space and time around colliding black holes», February 11, 2016, youtube.com/watch?v=1agm33iEAuo.

120

Первая публикация с описанием наблюдения гравитационных волн: Ben Abbott et al., «Observation of gravitational waves from a binary black hole merger», Physical Review Letters 116 (2016): 061102.

121

О детях как ученых: Alison Gopnik, Andrew Meltzoff, and Patricia Kuhl, The Scientist in the Crib: Minds, Brains, and How Children Learn (William Morrow, 1999).

122

Краткое описание нескольких проектов автоматизированного научного анализа экспериментальных данных с целью открытия законов: Patrick Langley et al., Scientific Discovery: Computational Explorations of the Creative Processes (MIT Press, 1987).

123

Некоторые ранние работы о машинном обучении, управляемом ранее предшествующим знанием: Stuart Russell, The Use of Knowledge in Analogy and Induction (Pitman, 1989).

124

Философский анализ индукции Гудменом остается источником вдохновения: Nelson Goodman, Fact, Fiction, and Forecast (University of London Press, 1954).

125

Ветеран исследования ИИ жалуется на мистицизм философии науки: Herbert Simon, «Explaining the ineffable: AI on the topics of intuition, insight and inspiration», in Proceedings of the 14th International Conference on Artificial Intelligence, ed. Chris Mellish (Morgan Kaufmann, 1995).

126

Обзор индуктивного логического программирования от двух родоначальников этого направления: Stephen Muggleton and Luc de Raedt, «Inductive logic programming: Theory and methods», Journal of Logic Programming 19–20 (1994): 629–79.

127

Раннее упоминание важности использования комплексных операций как новых примитивных действий см. в кн.: Alfred North Whitehead, An Introduction to Mathematics (Henry Holt, 1911).

128

Работа, демонстрирующая, что смоделированный робот способен совершенно самостоятельно научиться вставать: John Schulman et al., «High-dimensional continuous control using generalized advantage estimation», arXiv:1506.02438 (2015). Видеодемонстрация доступна на YouTube: youtube.com/watch?v=SHLuf2ZBQSw.

129

Описание системы обучения с подкреплением, которая учится играть в видеоигру «Захват флага»: Max Jaderberg et al., «Human-level performance in first-person multiplayer games with population-based deep reinforcement learning», arXiv:1807.01281 (2018).

130

Мнение о прогрессе в разработке ИИ в ближайшие несколько лет: Peter Stone et al., «Artificial intelligence and life in 2030», One Hundred Year Study on Artificial Intelligence, report of the 2015 Study Panel, 2016.

131

Подпитываемый СМИ спор Илона Маска и Марка Цукерберга: Peter Holley, «Billionaire burn: Musk says Zuckerberg’s understanding of AI threat ‘is limited,’» The Washington Post, July 25, 2017.

132

О ценности поисковых машин для отдельных пользователей: Erik Brynjolfsson, Felix Eggers, and Avinash Gannamaneni, «Using massive online choice experiments to measure changes in well-being», working paper no. 24514, National Bureau of Economic Research, 2018.

133

Пенициллин был открыт несколько раз, и его фармакологические свойства описывались в медицинских изданиях, но никто, судя по всему, не обращал на них внимания. См.: en.wikipedia.org/wikiHistory_of_penicillin.

134

Обсуждение некоторых новых эзотерических рисков, связанных со всезнающими, провидческими ИИ-системами: David Auerbach, «The most terrifying thought experiment of all time», Slate, July 17, 2014.

135

Анализ некоторых потенциальных заблуждений в представлениях о продвинутом ИИ: Kevin Kelly, «The myth of a superhuman AI», Wired, April 25, 2017.

136

Машины могут делиться с людьми некоторыми аспектами когнитивной структуры, особенно теми, которые связаны с восприятием физического мира и манипуляциями в нем, а также концептуальными структурами, сопутствующими пониманию естественного языка. Их совещательные процессы, скорее всего, будут заметно отличаться от наших вследствие колоссального неравенства аппаратной части.

137

Согласно данным исследования 2016 г., 88-й процентиль соответствует $100 000 в год: American Community Survey, US Census Bureau, www.census.gov/programs-surveys/acs. В том же году среднемировой ВВП на душу населения составлял $10,133: National Accounts Main Aggregates Database, UN Statistics Division, unstats.un.org/unsd/snaama.

138

Если фаза роста ВВП составляет 10 или 20 лет, он составляет $9400 трлн или $6800 трлн соответственно — в любом случае совсем неплохо. Примечательный исторический факт: И. Дж. Гуд, предсказавший взрывное развитие интеллекта (с. 187), оценивал ценность ИИ человеческого уровня минимум в «один мегаКейнс», имея в виду прославленного экономиста Джона Мейнарда Кейнса. Вклад Кейнса в 1963 г. был оценен в 100 млрд, таким образом, мегаКейнс составляет около $2 200 000 трлн (по курсу 2016 г.). Гуд связывал ценность ИИ, в первую очередь, с его потенциальной способностью гарантировать бесконечное выживание человеческой расы. Позднее он стал задаваться вопросом, не следует ли ему добавить знак минус.

139

ЕС объявил о планах потратить на НИОКР в период 2019−2020 гг. $24 млрд. См.: European Commission, «Artificial intelligence: Commission outlines a European approach to boost investment and set ethical guidelines», press release, April 25, 2018. Долгосрочный план инвестиций Китая в сферу ИИ, озвученный в 2017 г., предполагает, что основная часть индустрии ИИ к 2030 г. будет ежегодно приносить $150 млрд. См., например: Paul Mozur, «Beijing wants A. I. to be made in China by 2030», The New York Times, July 20, 2017.

140

См., например, программу Рио Тинто Mine of the Future: riotinto.com/australia/pilbara/mine-of-the-future-9603.aspx.

141

Ретроспективный анализ экономического роста: Jan Luiten van Zanden et al., eds., How Was Life? Global Well-Being since 1820 (OECD Publishing, 2014).

142

Предпочтение относительного преимущества перед другими, а не абсолютного качества жизни, является статусным предметом потребления: см. главу 9.

143

Статья в «Википедии» о Штази содержит несколько полезных ссылок на материалы о ее сотрудниках и влиянии на жизнь в Восточной Германии.

144

Подробности об архивах Штази см. в кн.: Cullen Murphy, God’s Jury: The Inquisition and the Making of the Modern World (Houghton Mifflin Harcourt, 2012).

145

Всесторонний анализ систем слежения на основе ИИ см. в кн.: Jay Stanley, The Dawn of Robot Surveillance (American Civil Liberties Union, 2019).

146

Недавние книги о наблюдении и контроле: Shoshana Zuboff, The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power (PublicAffairs, 2019), Roger McNamee, Zucked: Waking Up to the Facebook Catastrophe (Penguin Press, 2019).

147

Новостная статья о боте-шантажисте: Avivah Litan, «Meet Delilah — the first insider threat Trojan», Gartner Blog Network, July 14, 2016.

148

О низкотехнологичном проявлении уязвимости людей к неверной информации в случаях, когда доверчивые индивиды начинают верить, что происходит уничтожение мира ударами метеоритов, см.: Derren Brown: Apocalypse, «Part One», directed by Simon Dinsell, 2012, youtube.com/watch?v=o_CUrMJOxqs.

149

Экономический анализ систем репутации и связанных с ними злоупотреблений дается в статье: Steven Tadelis, «Reputation and feedback systems in online platform markets», Annual Review of Economics 8 (2016): 321–40.

150

Закон Гудхарта: «Когда повышение определенного показателя превращается в самоцель, он перестает быть хорошим показателем». Например, некогда существовала корреляция между профессиональным уровнем преподавателей и их зарплатой, и в рейтингах колледжей US News & World Report качество преподавательского коллектива оценивалось по заработной плате в нем. Это привело к гонке повышения зарплат, что было выгодно преподавателям, но не студентам, которым пришлось ее оплачивать. Гонка меняет уровень заработной платы преподавателей вне зависимости от их уровня, и корреляция начинает исчезать.

151

Статья с описанием попыток контроля общественного дискурса в Германии: Bernhard Rohleder, «Germany set out to delete hate speech online. Instead, it made things worse», WorldPost, February 20, 2018.

152

Об «инфопокалипсисе»: Aviv Ovadya, «What’s worse than fake news? The distortion of reality itself», WorldPost, February 22, 2018.

153

О коррупции в сфере онлайновых отзывов об отелях: Dina Mayzlin, Yaniv Dover, and Judith Chevalier, «Promotional reviews: An empirical investigation of online review manipulation», American Economic Review 104 (2014): 2421–55.

154

Заявление Германии на заседании группы правительственных экспертов, Конвенция о конкретных видах обычного оружия: Женева, 10 апреля 2018 г.

155

Фильм «Скотобойня», снятый на средства Института будущего жизни, вышел в ноябре 2017 г. и доступен по ссылке: youtube.com/watch?v=9CO6M2HsoIA.

156

Отчет об одном из самых серьезных ляпов в отношениях военных ведомств с общественностью: Dan Lamothe, «Pentagon agency wants drones to hunt in packs, like wolves», The Washington Post, January 23, 2015.

157

Объявление о полномасштабном эксперименте с роем дронов: US Department of Defense, «Department of Defense announces successful micro-drone demonstration», news release no. NR-008–17, January 9, 2017.

158

Примеры исследовательских центров, изучающих влияние технологии на занятость: Work and Intelligent Tools и Systems group в Беркли, Future of Work и Workers project Центра перспективных исследований в области поведенческих наук в Стэнфорде и Future of Work Initiative в Университете Карнеги — Меллона.

159

Пессимистическая картина будущей технологической безработицы: Форд М. Роботы наступают. — М.: АНФ, 2019.

160

Calum Chace, The Economic Singularity: Artificial Intelligence and the Death of Capitalism (Three Cs, 2016).

161

Блестящая подборка эссе: Ajay Agrawal, Joshua Gans, and Avi Goldfarb, eds., The Economics of Artificial Intelligence: An Agenda (National Bureau of Economic Research, 2019).

162

Аристотель. Сочинения: в 4-х т. Т. 4. — М.: Мысль, 1983.

163

Математический анализ, объясняющий кривую безработицы в форме «перевернутой U», приводит Джеймс Бессен: James Bessen, «Artificial intelligence and jobs: The role of demand» in The Economics of Artificial Intelligence, ed. Agrawal, Gans, and Goldfarb.

164

Рассмотрение дезорганизации экономики вследствие автоматизации: Eduardo Porter, «Tech is splitting the US work force in two», The New York Times, February 4, 2019. Вывод статьи опирается на следующий отчет: David Autor and Anna Salomons, «Is automation labor-displacing? Productivity growth, employment, and the labor share», Brookings Papers on Economic Activity (2018).

165

Бриньолфсон Д., Макафи Э. Вторая эра машин. Работа, прогресс и процветание в эпоху новейших технологий. — Neoclassic, АСТ, 2017.

166

Данные о расширении банковской деятельности в XX в. см. в рабочем документе: Thomas Philippon, «The evolution of the US financial industry from 1860 to 2007: Theory and evidence», working paper, 2008.

167

Главный источник данных о трудовой занятости, а также росте и сокращении числа рабочих мест: US Bureau of Labor Statistics, Occupational Outlook Handbook: 2018–2019 Edition (Bernan Press, 2018).

168

Отчет об автоматизации грузовых автоперевозок: Lora Kolodny, «Amazon is hauling cargo in self-driving trucks developed by Embark», CNBC, January 30, 2019.

169

Прогресс автоматизации аналитической деятельности в области права, описывающий результаты соревнования: Jason Tashea, «AI software is more accurate, faster than attorneys when assessing NDAs», ABA Journal, February 26, 2018.

170

Комментарий выдающегося экономиста с названием, являющимся очевидной отсылкой к статье Кейнса 1930 г.: Lawrence Summers, «Economic possibilities for our children», NBER Reporter (2013).

171

Аналогия между занятостью в сфере науки о данных и маленькой спасательной шлюпкой для гигантского круизного лайнера взята из обсуждения с Ён Ин И, главой Сингапурского управления по связям с общественностью. Она согласилась с этим во всемирном масштабе, но заметила, что «Сингапур так мал, что поместится в шлюпку».

172

Поддержка ББД с консервативной точки зрения: Sam Bowman, «The ideal welfare system is a basic income», Adam Smith Institute, November 25, 2013.

173

Поддержка ББД с прогрессивной точки зрения: Jonathan Bartley, «The Greens endorse a universal basic income. Others need to follow», The Guardian, June 2, 2017.

174

Чейс в «Экономической сингулярности» называет «райскую» версию ББД экономикой «Звездного пути», замечая, что в более новых сезонах сериала «Звездный путь» деньги отменены, потому что технология создает, в сущности, неограниченные материальные блага и энергию. Он также указывает на масштабные изменения в экономике и социальной организации, которые потребуются, чтобы подобная система была успешной.

175

Экономист Ричард Болдуин также предсказывает будущее персонального обслуживания в своей книге: Richard Baldwin, The Globotics Upheaval: Globalization, Robotics, and the Future of Work (Oxford University Press, 2019).

176

Книга, как считается, обнажившая провал обучения грамоте по целым словам и спровоцировавшая десятилетия борьбы двух ведущих школ мысли о чтении: Rudolf Flesch, Why Johnny Can’t Read: And What You Can Do about It (Harper & Bros., 1955).

177

Об образовательных методах, которые позволят обучающимся адаптироваться к стремительным технологическим и экономическим изменениям в ближайшие десятилетия: Joseph Aoun, Robot-Proof: Higher Education in the Age of Artificial Intelligence (MIT Press, 2017).

178

Прочитанная по радио лекция, в которой Тьюринг предсказал, что машины обгонят людей: Alan Turing, «Can digital machines think?», May 15, 1951, radio broadcast, BBC Third Programme. Текст выложен на сайте turingarchive.org.

179

Новостная статья о «натурализации» Софии как гражданки Саудовской Аравии: Dave Gershgorn, «Inside the mechanical brain of the world’s first robot citizen», Quartz, November 12, 2017.

180

Мнение Яна Лекуна о Софии: Shona Ghosh, «Facebook’s AI boss described Sophia the robot as ‘complete b— t’ and ‘Wizard-of-Oz AI,’» Business Insider, January 6, 2018.

181

Предложение ЕС о наделении роботов юридическими правами: Committee on Legal Affairs of the European Parliament, «Report with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103 (INL))», 2017.

182

Предложение Общего регламента по защите персональных данных, связанное с «правом на объяснение» в действительности не ново: оно очень близко статье 15 (1) Директивы о защите данных 1995 г., развитием которой является.

183

Три свежие статьи с глубоким математическим анализом справедливости: Moritz Hardt, Eric Price, and Nati Srebro, «Equality of opportunity in supervised learning», in Advances in Neural Information Processing Systems 29, ed. Daniel Lee et al. (2016); Matt Kusner et al., «Counterfactual fairness», in Advances in Neural Information Processing Systems 30, ed. Isabelle Guyon et al. (2017); Jon Kleinberg, Sendhil Mullainathan, and Manish Raghavan, «Inherent trade-offs in the fair determination of risk scores», in 8th Innovations in Theoretical Computer Science Conference, ed. Christos Papadimitriou (Dagstuhl Publishing, 2017).

184

Новостная статья о последствиях программного сбоя при управлении воздушным движением: Simon Calder, «Thousands stranded by flight cancellations after systems failure at Europe’s air-traffic coordinator», The Independent, April 3, 2018.

185

Лавлейс писала: «Аналитическая машина никоим образом не притязает на то, чтобы создавать что бы то ни было. Она может делать все, что мы умеем упорядочить с целью выполнения. Она может следовать анализу, но не имеет возможности предвосхищать какие бы то ни было аналитические отношения или истины». Это один из ее аргументов против ИИ, отвергнутый Аланом Тьюрингом: Alan Turing, «Computing machinery and intelligence», Mind 59 (1950): 433–60.

186

Самая ранняя известная статья об экзистенциальном риске от ИИ была написана Ричардом Торнтоном: Richard Thornton, «The age of machinery», Primitive Expounder IV (1847): 281.

187

«Книга машин» основывалась на более ранней статье Сэмюэла Батлера «Дарвин среди машин»: Samuel Butler, «Darwin among the machines», The Press (Christchurch, New Zealand), June 13, 1863.

188

Еще одна лекция, в которой Тьюринг предсказал порабощение человечества: Alan Turing, «Intelligent machinery, a heretical theory» (lecture given to the 51 Society, Manchester, 1951). Текст выложен на сайте turingarchive.org.

189

Провидческие размышления Винера о власти технологии над человечеством и призыв к сохранению автономии человека: Norbert Wiener, The Human Use of Human Beings (Riverside Press, 1950). В пер. на рус. в сб.: Винер Н. Кибернетика и общество. — М., 1958.

190

Издательская аннотация на лицевой стороне обложки книги Винера 1950 г. примечательна сходством с девизом Института будущего жизни, организации, посвятившей себя изучению экзистенциальных рисков, с которыми сталкивается человечество: «Технология дарит жизни возможность процветать, как никогда прежде… или самоуничтожиться».

191

Изменение взглядов Винера произошло вследствие того, что он стал выше оценивать возможность создания интеллектуальных машин: Norbert Wiener, God and Golem, Inc.: A Comment on Certain Points Where Cybernetics Impinges on Religion (MIT Press, 1964).

192

Винер Н. Акционерное общество «Бог и Голем»: Обсуждение некоторых проблем, в которых кибернетика сталкивается с реальностью. — Сб.: Винер Н. Человек управляющий. — СПб.: Питер, 2001.

193

Три закона робототехники Азимова впервые появляются в рассказе Айзека Азимова «Хоровод»: Isaac Asimov, «Runaround», Astounding Science Fiction, March 1942. Вот они:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму законам.

Важно понимать, что Азимов предложил эти законы для создания интересных литературных сюжетов, а не в качестве серьезного руководства для будущих инженеров-робототехников. Многие его рассказы, в том числе «Хоровод», иллюстрируют проблемные последствия буквального понимания законов. С точки зрения современного ИИ законы Азимова совершенно не учитывают элемент вероятности и риска: следовательно, неясна допустимость действий робота, подвергающего человека некоторой вероятности вреда, хотя бы ничтожно малой.

194

Понятие инструментальной цели взято из неопубликованной рукописи: Stephen Omohundro, «The nature of selfimproving artificial intelligence» (unpublished manuscript, 2008). См. также: Stephen Omohundro, «The basic AI drives», in Artificial General Intelligence 2008: Proceedings of the First AGI Conference, ed. Pei Wang, Ben Goertzel, and Stan Franklin (IOS Press, 2008).

195

Цель персонажа в исполнении Джонни Деппа, Уилла Кастера, как представляется, состоит в решении проблемы физического воплощения, чтобы он мог воссоединиться со своей женой Эвелин. Это лишь показывает, что характер магистральной цели не играет роли — на инструментальные цели это не влияет.

196

Источник идеи о взрывоподобном развитии интеллектуальности: I. J. Good, «Speculations concerning the first ultraintelligent machine», in Advances in Computers, vol. 6, ed. Franz Alt and Morris Rubinoff (Academic Press, 1965).

197

Пример воздействия идеи о взрывоподобном развитии интеллекта: Люк Мюльхаузер в статье «Перед лицом взрывоподобного роста интеллектуальности» (intelligenceexplosion.com) пишет: «Мысль Гуда переехала меня, как поезд».

198

Убывающую отдачу можно проиллюстрировать следующим образом. Предположим, 16 %-ное повышение интеллектуальности дает машину, способную осуществить 8 %-ное повышение, которое, в свою очередь, дает 4 %-ное повышение, и т. д. Этот процесс достигает предела на уровне примерно на 36 % выше исходного. Более развернутое обсуждение этого вопроса см. в отчете: Eliezer Yudkowsky, «Intelligence explosion microeconomics», technical report 2013–1, Machine Intelligence Research Institute, 2013.

199

Взгляд на ИИ, при котором люди утрачивают значение: Hans Moravec, Mind Children: The Future of Robot and Human Intelligence (Harvard University Press, 1988). См. также: Hans Moravec, Robot: Mere Machine to Transcendent Mind (Oxford University Press, 2000).

200

Серьезная публикация с серьезным анализом книги Бострома «Сверхразумность: пути, опасности, стратегии»: «Clever cogs», Economist, August 9, 2014.

201

Рассмотрение мифов и заблуждений о рисках, связанных с ИИ: Scott Alexander, «AI researchers on AI risk», Slate Star Codex (blog), May 22, 2015.

202

Классическая работа о многочисленных характеристиках интеллекта: Howard Gardner, Frames of Mind: The Theory of Multiple Intelligences (Basic Books, 1983).

203

О следствиях множественности характеристик интеллекта в отношении возможности сверхчеловеческого ИИ: Kevin Kelly, «The myth of a superhuman AI», Wired, April 25, 2017.

204

Свидетельство того, что шимпанзе обладают лучшей краткосрочной памятью, чем люди: Sana Inoue and Tetsuro Matsuzawa, «Working memory of numerals in chimpanzees», Current Biology 17 (2007), R1004–5.

205

Важная ранняя работа, поставившая под сомнение перспективы систем, основанных на дедукции: Hubert Dreyfus, What Computers Can’t Do (MIT Press, 1972).

206

Первая в серии книг, посвященных поиску физической природы сознания и вызвавших споры о способности ИИ-систем достичь подлинной интеллектуальности: Roger Penrose, The Emperor’s New Mind: Concerning Computers, Minds, and the Laws of Physics (Oxford University Press, 1989).

207

Активизация критики ИИ на основе теоремы о неполноте: Luciano Floridi, «Should we be afraid of AI?» Aeon, May 9, 2016.

208

Активизация критики ИИ на основе аргументации о китайской комнате (мысленный образ компьютера, производящего иероглифы в ответ на иероглифы): John Searle, «What your computer can’t know», The New York Review of Books, October 9, 2014.

209

Отчет видных исследователей ИИ, утверждающих, что сверхчеловеческий ИИ, скорее всего, невозможен: Peter Stone et al., «Artificial intelligence and life in 2030», One Hundred Year Study on Artificial Intelligence, report of the 2015 Study Panel, 2016.

210

Новостная статья на основе отрицания Эндрю Ыном обусловленных ИИ рисков: Chris Williams, «AI guru Ng: Fearing a rise of killer robots is like worrying about overpopulation on Mars», Register, March 19, 2015.

211

Пример аргумента «специалистам виднее»: Oren Etzioni, «It’s time to intelligently discuss artificial intelligence», Backchannel, December 9, 2014.

212

Новостная статья с утверждением, что настоящие исследователи ИИ отмахиваются от обсуждения рисков: Erik Sofge, «Bill Gates fears AI, but AI researchers know better», Popular Science, January 30, 2015.

213

Еще одно заявление, что настоящие исследователи ИИ отмахиваются от обсуждения рисков: David Kenny, «IBM’s open letter to Congress on artificial intelligence», June 27, 2017, ibm.com/blogs/policy/kenny-artificial-intelligence-letter.

214

Отчет симпозиума с предложением добровольного введения ограничений на генную инженерию: Paul Berg et al., «Summary statement of the Asilomar Conference on Recombinant DNA Molecules», Proceedings of the National Academy of Sciences 72 (1975): 1981–84.

215

Декларация принципов, разработанная вследствие открытия метода редактирования генома CRISPR-Cas9: Organizing Committee for the International Summit on Human Gene Editing, «On human gene editing: International Summit statement», December 3, 2015.

216

Свежая декларация принципов, предложенная ведущими биологами: Eric Lander et al., «Adopt a moratorium on heritable genome editing», Nature 567 (2019): 165–68.

217

Замечание Эциони, что нельзя говорить о рисках, не упоминая также о выигрышах, приводится в его анализе результатов опроса исследователей ИИ: Oren Etzioni, «No, the experts don’t think superintelligent AI is a threat to humanity», MIT Technology Review, September 20, 2016. Он утверждает, что любому, кто полагает, что создание сверхчеловеческого ИИ займет больше 25 лет, — что относится и к автору этой книги, и к Нику Бострому, — незачем тревожиться из-за рисков от ИИ.

218

Новостная статья с фрагментами дебатов Маска и Цукерберга: Alanna Petroff, «Elon Musk says Mark Zuckerberg’s understanding of AI is ‘limited,’» CNN Money, July 25, 2017.

219

В 2015 г. Фонд информационных технологий и инноваций организовал дебаты «Являются ли сверхинтеллектуальные компьютеры угрозой для человечества?» Роберт Аткинсон, директор фонда, предполагает, что упоминание рисков приведет к сокращению финансирования разработки ИИ. Видео доступно по адресу: itif.org/events/2015/06/30/are-super-intelligent-computers-really-threat-humanity; обсуждение интересующего нас вопроса начинается на временной отметке 41:30.

220

Утверждение, что наша культура безопасности решит проблему контроля ИИ даже без упоминания о ней: Steven Pinker, «Tech prophecy and the underappreciated causal power of ideas», in Possible Minds: Twenty-Five Ways of Looking at AI, ed. John Brockman (Penguin Press, 2019).

221

Интересный анализ см. в статье: Oracle AI: Stuart Armstrong, Anders Sandberg, and Nick Bostrom, «Thinking inside the box: Controlling and using an Oracle AI», Minds and Machines 22 (2012): 299–324.

222

Мнения о том, почему ИИ не лишит нас работы: Kenny, «IBM’s open letter».

223

Пример положительного отношения Курцвейла к слиянию человеческого мозга с ИИ: Ray Kurzweil, interview by Bob Pisani, June 5, 2015, Exponential Finance Summit, New York, NY.

224

Статья, цитирующая слова Илона Маска о нейронном кружеве: Tim Urban, «Neuralinkf and the brain’s magical future», Wait But Why, April 20, 2017.

225

Новейшие достижения проекта «нейронной пыли» в Беркли: David Piech et al., «StimDust: A 1.7 mm3, implantable wireless precision neural stimulator with ultrasonic power and communication», arXiv: 1807.07590 (2018).

226

Сьюзан Шнайдер в книге «Искусственный Вы» (Susan Schneider, Artificial You: AI and the Future of Your Mind (Princeton University Press, 2019)) указывает на риски невежества, сопутствующие таким потенциальным технологиям, как загрузка информации в мозг и нейропротезирование: в отсутствии реального понимания, могут ли электронные устройства обладать сознанием, и с учетом постоянных блужданий философии в вопросе об устойчивой личной идентичности мы рискуем непреднамеренно покончить с собственным сознательным существованием или заставить страдать сознающие машины, не понимая, что они обладают сознанием.

227

Интервью Яна Лекуна о рисках ИИ: Guia Marie Del Prado, «Here’s what Facebook’s artificial intelligence expert thinks about the future», Business Insider, September 23, 2015.

228

Вывод о существовании проблем контроля ИИ, вытекающих из избытка тестостерона: Steven Pinker, «Thinking does not imply subjugating», in What to Think About Machines That Think, ed. John Brockman (Harper Perennial, 2015). 30.

229

Эпохальный труд по многим философским вопросам, в том числе о возможности постижения морального долга из мира природы: Юм Д. О человеческой природе. — М.: Азбука, 2017.

230

Аргумент, что достаточно интеллектуальная машина не может не преследовать цели человека: Rodney Brooks, «The seven deadly sins of AI predictions», MIT Technology Review, October 6, 2017.

231

Pinker, «Thinking does not imply subjugating».

232

Оптимистический взгляд, что проблемы безопасности ИИ неизбежно решатся в нашу пользу: Steven Pinker, «Tech prophecy».

233

О неожиданном согласии «скептиков» и «верующих» по поводу рисков от ИИ: Alexander, «AI researchers on AI risk».

234

Руководство по детальному моделированию деятельности головного мозга, на сегодняшний день немного устаревшее: Anders Sandberg and Nick Bostrom, «Whole brain emulation: A roadmap», technical report 2008–3, Future of Humanity Institute, Oxford University, 2008.

235

Введение в генетическое программирование от ведущего деятеля: John Koza, Genetic Programming: On the Programming of Computers by Means of Natural Selection (MIT Press, 1992).

236

Параллель с Тремя законами робототехники Азимова совершенно случайна.

237

То же самое утверждает Элиезер Юдковский: Eliezer Yudkowsky, «Coherent extrapolated volition», technical report, Singularity Institute, 2004. Он полагает, что прямое следование «Четырем великим нравственным принципам, которыми исчерпывается то, что мы должны встроить в ИИ», есть гарантированный путь к уничтожению человечества. Его понятие «когерентного экстраполированного волеизъявления человечества» созвучно первому принципу; идея заключается в том, что сверхинтеллектуальная ИИ-система могла бы обнаружить, чего люди хотят на самом деле.

238

Безусловно, вы можете иметь предпочтение в вопросе о том, достигать реализации своих предпочтений с помощью машины или исключительно собственными силами. Допустим, например, что вы предпочитаете результат А результату Б при прочих равных. Вы не в состоянии достичь результата А без содействия, но все равно предпочитаете самостоятельно добиться Б, чем получить А с помощью машины. В этом случае машина должна принять решение не помогать вам, разве что она может оказать вам помощь совершенно незаметным для вас способом. Вы можете, разумеется, иметь и предпочтения в отношении необнаруживаемой помощи, как и обнаруживаемой.

239

Фраза «наибольшее счастье наибольшему числу людей» впервые встречается в работе Фрэнсиса Хатчесона: Francis Hutcheson, An Inquiry into the Original of Our Ideas of Beauty and Virtue, In Two Treatises (D. Midwinter et al., 1725). Есть также мнение, что эта формулировка происходит из более раннего высказывания Вильгельма Лейбница; см.: Joachim Hruschka, «The greatest happiness principle and other early German anticipations of utilitarian theory», Utilitas 3 (1991): 165–77.

240

Можно предложить, чтобы машины учитывали в своей целевой функции условия не только для людей, но и для животных. Если веса этих условий соответствуют степени внимания людей к нуждам животных, то конечный результат будет таким же, как если бы машина заботилась о животных только посредством заботы о людях, заботящихся о животных. Придание всем живым существам равных весов в целевой функции машины, безусловно, имело бы катастрофические последствия. Например, в смысле численности антарктическая креветка превосходит человечество в соотношении пятьдесят тысяч к одному, а бактерии — миллиард триллионов к одному.

241

Специалист по философии морали Тоби Орд привел тот же довод, комментируя ранний вариант этой книги: «Примечательно, что это справедливо и в исследовании философии морали. Неопределенность в отношении нравственной ценности результатов почти совершенно упускалась из виду философией морали вплоть до самого недавнего времени. Между тем именно неопределенность в нравственных вопросах заставляет людей обращаться к другим за советом в этой сфере, да и вообще заниматься исследованиями в области философии морали!»

242

Одним из оправданий пренебрежения неопределенностью в плане предпочтений является то, что формально она эквивалентна обычной неопределенности в следующем смысле: не знать точно, чего я хочу, равносильно точному знанию о том, что мне нравятся нравящиеся вещи, и незнанию того, что это за вещи. Это всего лишь уловка, переносящая неопределенность в мир, делая «привлекательность для меня» свойством объектов, а не моим свойством В теории игр эта уловка полностью узаконена с 1960-х гг. после цикла статей моего покойного коллеги, нобелевского лауреата Джона Харсаньи: John Harsanyi: «Games with incomplete information played by ‘Bayesian’ players, Parts I–III», Management Science 14 (1967, 1968): 159–82, 320–34, 486–502. В теории принятия решений эталон задан следующей публикацией: Richard Cyert and Morris de Groot, «Adaptive utility», in Expected Utility Hypotheses and the Allais Paradox, ed. Maurice Allais and Ole Hagen (D. Reidel, 1979).

243

Очевидное исключение — исследователи ИИ, работающие в сфере выявления предпочтений. См., например: Craig Boutilier, «On the foundations of expected expected utility», in Proceedings of the 18th International Joint Conference on Artificial Intelligence (Morgan Kaufmann, 2003). См. также: Alan Fern et al., «A decision-theoretic model of assistance», Journal of Artificial Intelligence Research 50 (2014): 71–104.

244

Критика полезного ИИ, исходящая из неверного понимания краткого интервью, взятого журналистом у автора для журнальной статьи: Adam Elkus, «How to be good: Why you can’t teach human values to artificial intelligence», Slate, April 20, 2016.

245

Первоисточник «проблемы вагонетки»: Frank Sharp, «A study of the influence of custom on the moral judgment», Bulletin of the University of Wisconsin 236 (1908).

246

Участники движения «антинатализма» считают воспроизводство человечества безнравственным, поскольку жизнь есть страдание, а также из-за огромного негативного воздействия людей на Землю. Если вы считаете существование человечества моральной дилеммой, то я, пожалуй, действительно хочу, чтобы машины разрешили эту дилемму правильно.

247

Заявление о политике Китая в отношении ИИ, сделанное Фу Ином, вице-председателем Комиссии по иностранным делам Всекитайского собрания народных представителей. В письме участникам Всемирной конференции по ИИ 2018 г. в Шанхае президент КНР Си Цзиньпин писал: «Только более глубокое международное сотрудничество позволит решить новые проблемы в таких сферах, как право, безопасность, трудовая занятость, этика и государственное управление». Я благодарен Брайану Цэ за то, что он обратил мое внимание на эти заявления.

248

Очень интересная статья о неприродной не-ошибке, показывающая, как можно вывести предпочтения из состояния мира, каким его обустроили люди: Rohin Shah et al., «The implicit preference information in an initial state», in Proceedings of the 7th International Conference on Learning Representations (2019), iclr.cc/Conferences/2019/Schedule.

249

Ретроспективный взгляд на конференцию в Асиломаре: Paul Berg, «Asilomar 1975: DNA modification secured», Nature 455 (2008): 290–91.

250

Новостная статья, сообщающая о речи В. Путина об ИИ: «Putin: Leader in artificial intelligence will rule world», Associated Press, September 4, 2017.

251

Последняя теорема Ферма утверждает, что уравнение an = bn + cn не имеет решения при целочисленных a, b, c и n, являющемся целым числом, большим, чем 2. На полях своего экземпляра «Арифметики» Диофанта Ферма написал: «У меня есть совершенно замечательное доказательство этого утверждения, но оно не поместится на этих полях». Независимо от того, насколько эти слова соответствуют истине, они заставили математиков рьяно искать доказательство в последующие века. Конкретные случаи проверить легко. Например, равно ли 7³ сумме 6³ и 5³? (Почти равно, потому что 7³ = 343, а 6³ + 5³ = 341, но «почти» не считается.) Однако конкретных случаев бесконечно много, и все не проверишь, поэтому нам нужны математики, а не только программисты.

252

Статья Института изучения машинного интеллекта поднимает много связанных вопросов: Scott Garrabrant and Abram Demski, «Embedded agency», AI Alignment Forum, November 15, 2018.

253

Классическая работа по теории многомерной полезности: Ralph Keeney and Howard Raiffa, Decisions with Multiple Objectives: Preferences and Value Tradeoffs (Wiley, 1976).

254

Статья, представляющая идею IRL: Stuart Russell, «Learning agents for uncertain environments», in Proceedings of the 11th Annual Conference on Computational Learning Theory (ACM, 1998).

255

Первая статья о структурном оценивании процессов принятия решения Маркова: Thomas Sargent, «Estimation of dynamic labor demand schedules under rational expectations», Journal of Political Economy 86 (1978): 1009–44.

256

Первые алгоритмы IRL: Andrew Ng and Stuart Russell, «Algorithms for inverse reinforcement learning», in Proceedings of the 17th International Conference on Machine Learning, ed. Pat Langley (Morgan Kaufmann, 2000).

257

Более совершенные алгоритмы IRL: Pieter Abbeel and Andrew Ng, «Apprenticeship learning via inverse reinforcement learning», in Proceedings of the 21st International Conference on Machine Learning, ed. Russ Greiner and Dale Schuurmans (ACM Press, 2004).

258

Понимание обратного обучения с подкреплением как Байесова обновления: Deepak Ramachandran and Eyal Amir, «Bayesian inverse reinforcement learning», in Proceedings of the 20th International Joint Conference on Artificial Intelligence, ed. Manuela Veloso (AAAI Press, 2007).

259

Как научить вертолет летать и выполнять фигуры высшего пилотажа: Adam Coates, Pieter Abbeel, and Andrew Ng, «Apprenticeship learning for helicopter control», Communications of the ACM 52 (2009): 97–105.

260

Первоначальное название игры в ассистента — игра на кооперацию в рамках обратного обучения с подкреплением, или CIRL. См.: Dylan Hadfield-Menell et al., «Cooperative inverse reinforcement learning», in Advances in Neural Information Processing Systems 29, ed. Daniel Lee et al. (2016).

261

Числа выбраны так, чтобы игра стала интереснее.

262

Равновесное решение для этой игры можно найти в процессе так называемого итерационного наилучшего ответа: взять любую стратегию для Гарриет; взять лучшую, с учетом стратегии Гарриет, стратегию для Робби; взять лучшую, с учетом стратегии Робби, стратегию для Гарриет и т. д. Если этот процесс достигает неподвижной точки, когда ни одна из стратегий не меняется, это значит, что решение найдено. Процесс протекает следующим образом:

1. Начинаем со стратегии жадного человека для Гарриет: изготавливать две скрепки, если она предпочитает скрепки, по одной скрепке и скобке, если ей все равно, либо две скобки, если она отдает предпочтение скобкам.

2. Робби должен рассмотреть три варианта, исходя из этой стратегии Гарриет.

a) Если Робби видит, что Гарриет производит две скрепки, то делает вывод, что она предпочитает скрепки, следовательно, теперь он считает, что ценность скрепки равномерно распределена между 50 центами и $1 со средним значением 75 центов. В этом случае лучший план для него состоит в том, чтобы изготовить для Гарриет 90 скрепок с ожидаемой ценностью $67,5.

b) Если Робби видит, что Гарриет производит по одной скрепке и скобке, то заключает, что она оценивает оба товара в 50 центов, и лучшим выбором для него оказывается произвести по 50 штук того и другого.

c) Если Робби видит, что Гарриет делает две скобки, то, по той же логике, что и в шаге 2 (а), ему следует произвести 90 скобок.

3. С учетом этой стратегии Робби теперь лучшая стратегия для Гарриет несколько отличается от жадной стратегии шага 1. Если Робби собирается отвечать на изготовление ею одной скрепки и одной скобки выпуском 50 штук каждого товара, то для нее лучше так и делать не только в случае, если она абсолютно индифферентна, но и сколько-нибудь близка к индифферентности. В действительности теперь оптимальная политика — делать по штуке того и другого, если она оценивает скрепки в любую сумму от примерно 44,6 цента до 55,4 цента.

4. С учетом новой стратегии Гарриет стратегия Робби остается неизменной. Например, если она выбирает по одной штуке того и другого, он заключает, что ценность скрепки равномерно распределена между 44,6 цента и 55,4 цента со средним значением 50 центов, следовательно, лучший выбор — делать по 50 штук каждой. Поскольку стратегия Робби та же, что и на шаге 2, наилучший ответ Гарриет будет таким же, как на шаге 3, то есть мы нашли равновесие.

263

Более полный анализ игры в выключение см. в статье: Dylan Hadfield-Menell et al., «The off-switch game», in Proceedings of the 26th International Joint Conference on Artificial Intelligence, ed. Carles Sierra (IJCAI, 2017).

264

Доказательство общего результата довольно простое, если вас не пугают знаки интегралов. Пусть P (u) — исходная плотность вероятностей Робби относительно полезности для Гарриет предлагаемого действия а. Тогда ценность продолжения выполнения а равна:

EU (a) = ∫∞−∞ P (u) ∙ u du = ∫∞−∞ P (u)udu ∙ ∫∞0P (U) ∙ u du.

(Вскоре мы поймем, почему интеграл раскладывается именно так.) В то же время ценность действия d, обратиться к Гарриет, состоит из двух частей: если u > 0, то Гарриет позволяет Робби продолжить, следовательно, ценность равна u, но если u < 0, то Гарриет выключает Робби и ценность равна 0:

EU (d) = ∫0−∞P (u) ∙ 0 du + ∫∞0P (u) ∙ u du.

Сравнив выражения для EU (a) и EU (d), мы сразу видим, что EU (d) ≥ EU (a), потому что в выражении для EU (d) область с отрицательной полезностью умножается на ноль и выпадает. Два варианта выбора имеют одинаковую ценность только при нулевой вероятности отрицательной области, а именно — если Робби уже убежден, что Гарриет нравится предлагаемое действие. Эта теорема является прямой аналогией хорошо известной теоремы о неотрицательной ожидаемой ценности информации.

265

Пожалуй, следующий шаг развития ситуации в случае «один человек — один робот» — это рассмотреть некую Гарриет, которая еще не знает собственных предпочтений относительно некоторых аспектов мира или предпочтения которой еще не сформированы.

266

Чтобы в точности увидеть, как именно Робби приходит к неверному убеждению, рассмотрим модель, в которой Гарриет слегка иррациональна и ошибается с вероятностью, уменьшающейся экспоненциально с ростом величины ошибки. Робби предлагает Гарриет четыре скрепки в обмен на одну скобку; она отказывается. Согласно убеждению Робби, это иррационально: даже при стоимости скрепки в 25 центов и скобки в 75 центов четыре первых следовало бы обменять на одну вторую. Значит, она совершила ошибку, но эта ошибка намного более вероятна при истинной ценности скрепки 25 центов, а не, допустим, 30 центов, поскольку цена ошибки для нее существенно возрастает, если она оценивает скрепки в 30 центов. Теперь в вероятностном распределении Робби 25 центов — самая вероятная величина, потому что она представляет собой наименьшую ошибку со стороны Гарриет с экспоненциально уменьшающимися вероятностями для цены выше 25 центов. Если он продолжит ставить этот эксперимент, то распределение вероятностей будет все сильнее концентрироваться около 25 центов. В пределе Робби приобретает уверенность в том, что для Гарриет ценность скрепки составляет 25 центов.

267

Робби мог бы, например, иметь нормальное (Гауссово) распределение для своего исходного убеждения относительно обменного курса в интервале от −∞ до +∞.

268

Пример математического анализа, который может потребоваться, см. в статье: Avrim Blum, Lisa Hellerstein, and Nick Littlestone, «Learning in the presence of finitely or infinitely many irrelevant attributes», Journal of Computer and System Sciences 50 (1995): 32–40. См. также: Lori Dalton, «Optimal Bayesian feature selection», in Proceedings of the 2013 IEEE Global Conference on Signal and Information Processing, ed. Charles Bouman, Robert Nowak, and Anna Scaglione (IEEE, 2013).

269

Здесь я немного перефразирую вопрос, поставленный Моше Варди на Асиломарской конференции по полезному ИИ в 2017 г.

270

Michael Wellman and Jon Doyle, «Preferential semantics for goals», in Proceedings of the 9th National Conference on Artificial Intelligence (AAAI Press, 1991). Эта статья основана на значительно более раннем предложении Георга фон Райта: Georg von Wright, «The logic of preference reconsidered», Theory and Decision 3 (1972): 140–67.

271

Мой покойный коллега из Беркли заслужил честь стать именем прилагательным. См.: Paul Grice, Studies in the Way of Words (Harvard University Press, 1989).

272

Первая статья о прямой стимуляции центров удовольствия в головном мозге: James Olds and Peter Milner, «Positive reinforcement produced by electrical stimulation of septal area and other regions of rat brain», Journal of Comparative and Physiological Psychology 47 (1954): 419–27.

273

Эксперимент, в котором крысам позволили нажимать на кнопку: James Olds, «Self-stimulation of the brain; its use to study local effects of hunger, sex, and drugs», Science 127 (1958): 315–24.

274

Эксперимент, в котором людям позволили нажимать на кнопку: Robert Heath, «Electrical self-stimulation of the brain in man», American Journal of Psychiatry 120 (1963): 571–77.

275

Первое математическое объяснение токовой стимуляции, показывающее, как она происходит у агентов при обучении с подкреплением: Mark Ring and Laurent Orseau, «Delusion, survival, and intelligent agents», in Artificial General Intelligence: 4th International Conference, ed. Jürgen Schmidhuber, Kristinn Thórisson, and Moshe Looks (Springer, 2011).

276

Возможность безопасного осуществления взрывоподобного роста интеллекта: Benja Fallenstein and Nate Soares, «Vingean reflection: Reliable reasoning for self-improving agents», technical report 2015–2, Machine Intelligence Research Institute, 2015.

277

Трудность, с которой сталкиваются агенты, рассуждая о себе и своих преемниках: Benja Fallenstein and Nate Soares, «Problems of self-reference in self-improving space-time embedded intelligence», in Artificial General Intelligence: 7th International Conference, ed. Ben Goertzel, Laurent Orseau, and Javier Snaider (Springer, 2014).

278

Демонстрация того, почему агент может преследовать цель, отличающуюся от его истинной цели, если его вычислительные возможности ограниченны: Jonathan Sorg, Satinder Singh, and Richard Lewis, «Internal rewards mitigate agent boundedness», in Proceedings of the 27th International Conference on Machine Learning, ed. Johannes Fürnkranz and Thorsten Joachims (2010), icml.cc/Conferences/2010/papers/icml2010proceedings.zip.

279

Высказывается мнение, что биология и нейробиология также имеют непосредственное отношение к этому вопросу. См., например: Gopal Sarma, Adam Safron, and Nick Hay, «Integrative biological simulation, neuropsychology, and AI safety», arxiv.org/abs/1811.03493 (2018).

280

О возможности возлагать на компьютеры ответственность за причиненный вред: Paulius Čerka, Jurgita Grigienė, and Gintarė Sirbikytė, «Liability for damages caused by artificial intelligence», Computer Law and Security Review 31 (2015): 376–89.

281

Блестящее введение в общепринятые этические теории и их следствия для разработки ИИ-систем: Wendell Wallach and Colin Allen, Moral Machines: Teaching Robots Right from Wrong (Oxford University Press, 2008).

282

Первоисточник утилитаризма: Jeremy Bentham, An Introduction to the Principles of Morals and Legislation (T. Payne & Son, 1789).

283

Развитие Миллем идей его наставника Бентама оказало громадное влияние на либеральную мысль: John Stuart Mill, Utilitarianism (Parker, Son & Bourn, 1863).

284

Статья, вводящая понятия утилитаризма предпочтений и автономии предпочтений: John Harsanyi, «Morality and the theory of rational behavior», Social Research 44 (1977): 623–56.

285

Аргумент в пользу общественного агрегирования посредством взвешенных сумм полезностей при принятии решения от имени многочисленных индивидов: John Harsanyi, «Cardinal welfare, individualistic ethics, and interpersonal comparisons of utility», Journal of Political Economy 63 (1955): 309–21.

286

Распространение теоремы общественного агрегирования Харсаньи на случай неравной априорной уверенности: Andrew Critch, Nishant Desai, and Stuart Russell, «Negotiable reinforcement learning for Pareto optimal sequential decision-making», in Advances in Neural Information Processing Systems 31, ed. Samy Bengio et al. (2018).

287

Источник идеалистического утилитаризма: G. E. Moore, Ethics (Williams & Norgate, 1912).

288

Новостная статья, цитирующая приводимый Стюартом Армстронгом выразительный пример неверно ориентированной максимизации полезности: Chris Matyszczyk, «Professor warns robots could keep us in coffins on heroin drips», CNET, June 29, 2015.

289

Теория негативного утилитаризма (название позже предложено Смартом) Поппера: Karl Popper, The Open Society and Its Enemies (Routledge, 1945).

290

Опровержение негативного утилитаризма: R. Ninian Smart, «Negative utilitarianism», Mind 67 (1958): 542–43.

291

Типичный аргумент о рисках, обусловленных командой «покончить с человеческими страданиями», см. в работе: «Why do we think AI will destroy us?», Reddit, reddit.com/r/Futurology/comments/38fp6o/why_do_we_think_ai_will_destroy_us.

292

Хороший источник по стимулам-самообманам для ИИ: Ring and Orseau, «Delusion, survival, and intelligent agents».

293

О невозможности межличностного сравнения полезностей: W. Stanley Jevons, The Theory of Political Economy (Macmillan, 1871).

294

Монстр полезности появляется в кн.: Robert Nozick, Anarchy, State, and Utopia (Basic Books, 1974).

295

Например, мы можем установить полезность немедленной смерти равной 0, а максимально счастливой жизни — 1. См.: John Isbell, «Absolute games», in Contributions to the Theory of Games, vol. 4, ed. Albert Tucker and R. Duncan Luce (Princeton University Press, 1959).

296

Сверхупрощенный подход Таноса, проявившийся в политике уполовинивания населения, рассматривается в статье: Tim Harford, «Thanos shows us how not to be an economist», Financial Times, April 20, 2019. Еще до премьеры фильма защитники Таноса стали собираться на подфоруме r/thanosdidnothingwrong/. В соответствии с девизом подфорума, 350 000 из 700 000 его участников впоследствии были удалены.

297

О полезности для популяций разных размеров: Henry Sidgwick, The Methods of Ethics (Macmillan, 1874).

298

Отталкивающий вывод и другие запутанные проблемы утилитаристской мысли: Derek Parfit, Reasons and Persons (Oxford University Press, 1984).

299

Краткий обзор аксиоматических подходов к популяционной этике: Peter Eckersley, «Impossibility and uncertainty theorems in AI value alignment», in Proceedings of the AAAI Workshop on Artificial Intelligence Safety, ed. Huáscar Espinoza et al. (2019).

300

Расчеты долгосрочной экологической емкости Земли: Daniel O’Neill et al., «A good life for all within planetary boundaries», Nature Sustainability 1 (2018): 88–95.

301

Приложения нравственной неопределенности к популяционной этике: Hilary Greaves and Toby Ord, «Moral uncertainty about population axiology», Journal of Ethics and Social Philosophy 12 (2017): 135–67. Более полный анализ: Will MacAskill, Krister Bykvist, and Toby Ord, Moral Uncertainty (Oxford University Press, forthcoming).

302

Цитата, свидетельствующая, что Смит не был настолько одержим эгоистичностью, как это принято считать: Смит А. Теория нравственных чувств. — М.: Республика, 1997.

303

Введение в экономику альтруизма: Serge-Christophe Kolm and Jean Ythier, eds., Handbook of the Economics of Giving, Altruism and Reciprocity, 2 vols. (North-Holland, 2006).

304

О благотворительности как проявлении эгоизма: James Andreoni, «Impure altruism and donations to public goods: A theory of warm-glow giving», Economic Journal 100 (1990): 464–77.

305

Для любителей уравнений. Пусть собственное благополучие Алисы измеряется как w_A, а Боба как w_B. Тогда полезности для Алисы и Боба будут определяться следующим образом:

U_A = w_A + C_AB w_B

U_B = w_B + C_BA w_A

Некоторые авторы предполагают, что Алису интересует общая полезность Боба U_B, а не только его собственное благополучие w_B, но это создает, своего рода, замкнутый круг, где полезность Алисы зависит от полезности Боба, которая зависит от полезности Алисы. Иногда можно найти устойчивые решения, но лежащая в основе модель представляется спорной. См., например: Hajime Hori, «Nonpaternalistic altruism and functional interdependence of social preferences», Social Choice and Welfare 32 (2009): 59–77.

306

Модели, в которых полезность каждого индивида представляет собой линейную комбинацию благополучия всех, являются лишь одним из возможных вариантов. Можно построить и намного более общие модели, например, в которых некоторые индивиды предпочитают избегать огромного неравенства распределения благополучия даже ценой уменьшения совокупного показателя, тогда как другие хотели бы, чтобы никто вообще не имел предпочтений в отношении неравенства. Таким образом, предлагаемый мной общий подход учитывает множественность нравственных теорий, которых придерживаются индивиды. В то же время он не утверждает, что какая бы то ни было из этих теорий верна или должна оказывать большее влияние на результаты для сторонников другой теории. Я признателен Тоби Орду, обратившему мое внимание на эту особенность данного подхода.

307

Подобные аргументы приводятся против мер, направленных на обеспечение равенства результатов; особо следует упомянуть американского специалиста по философии права Рональда Дворкина. См., например: Ronald Dworkin, «What is equality? Part 1: Equality of welfare», Philosophy and Public Affairs 10 (1981): 185–246. Этой ссылкой я обязан Айсону Гэбриэлу.

308

Проявление злобности в форме основанного на мести наказания за проступок, безусловно, является общей тенденцией. Хотя она играет определенную социальную роль, удерживая членов сообщества в рамках, ее можно заменить столь же эффективной политикой на основе сдерживания и профилактики, таким образом, соотнося неизбежный вред, сопутствующий наказанию правонарушителя, с пользой для более крупного социума.

309

Пусть ЕАВ и РАВ — коэффициенты жадности и гордости Алисы соответственно. Предположим также, что они влияют на разницу благополучия. Тогда можно составить следующую (довольно сильно упрощенную) формулу полезности Алисы:

U_A = w_A + C_AB w_B — E_AB (w_B − w_A) + P_AB (w_A − w_B) = (1 + E_AB + P_AB) w_A + (C_AB — E_AB − P_AB) w_B.

Тогда, если у Алисы положительные коэффициенты гордости и жадности, то они влияют на благополучие Боба точно так же, как коэффициенты садизма и злобы: Алиса становится счастливее, если благополучие Боба снижается, при прочих равных. В реальности гордость и жадность обычно применяются к различиям не в благополучии, а в его видимых проявлениях, таких как статус и собственность. Тяжелый труд, которым Боб добывает свое достояние (понижающий его общее благополучие), может быть невидим для Алисы. Это может вести к проявлениям самозащиты, которые можно обобщенно назвать «Чтобы не хуже, чем у людей».

310

О социологических аспектах статусного потребления: Thorstein Veblen, The Theory of the Leisure Class: An Economic Study of Institutions (Macmillan, 1899).

311

Fred Hirsch, The Social Limits to Growth (Routledge & Kegan Paul, 1977).

312

Я признателен Зияду Марару за то, что он обратил мое внимание на теорию социальной идентичности и ее значимость для понимания мотивации и поведения человека. См., например: Dominic Abrams and Michael Hogg, eds., Social Identity Theory: Constructive and Critical Advances (Springer, 1990). Намного более краткий обзор основных идей: Ziyad Marar, «Social identity», in This Idea Is Brilliant: Lost, Overlooked, and Underappreciated Scientific Concepts Everyone Should Know, ed. John Brockman (Harper Perennial, 2018).

313

Здесь я не утверждаю, что нам необходимо детальное понимание когнитивной системы на уровне нейронов. Нужна модель уровня «программного обеспечения», описывающая, как предпочтения, как эксплицитные, так и имплицитные, формируют поведение. Такая модель должна включать то, что известно о системе вознаграждения.

314

Ralph Adolphs and David Anderson, The Neuroscience of Emotion: A New Synthesis (Princeton University Press, 2018).

315

См., например: Rosalind Picard, Affective Computing, 2nd ed. (MIT Press, 1998).

316

Восторженные описания прелестей дуриана: Alfred Russel Wallace, The Malay Archipelago: The Land of the Orang-Utan, and the Bird of Paradise (Macmillan, 1869).

317

Менее восторженный взгляд на дуриан: Alan Davidson, The Oxford Companion to Food (Oxford University Press, 1999). Из-за запаха дуриана приходилось эвакуировать людей из зданий и разворачивать самолеты на полпути.

318

Написав эту главу, я узнал, что точно с такими же философскими целями дуриан использует Лори Пол: Laurie Paul, Transformative Experience (Oxford University Press, 2014). Пол предполагает, что неопределенность относительно собственных предпочтений представляет собой неустранимую проблему теории принятия решений; противоположный взгляд высказывается в статье: Richard Pettigrew, «Transformative experience and decision theory», Philosophy and Phenomenological Research 91 (2015): 766–74. Ни один из авторов не ссылается на более ранние труды Харсаньи (Harsanyi, «Games with incomplete information, Parts I–III») или: Cyert and de Groot, «Adaptive utility».

319

Первая статья о помощи людям, которые не знают собственных предпочтений и выясняют их: Lawrence Chan et al., «The assistive multi-armed bandit», in Proceedings of the 14th ACM/IEEE International Conference on Human — Robot Interaction (HRI), ed. David Sirkin et al. (IEEE, 2019).

320

Элиезер Юдковски в своей книге Coherent Extrapolated Volition (Singularity Institute, 2004), объединяет все эти аспекты, а также банальную непоследовательность, под общим понятием «сумбур», к сожалению, не прижившимся.

321

О двух «я», оценивающих опыт: Канеман Д. Думай медленно… решай быстро. — М.: АСТ, 2013.

322

Гедонометр Эджворта, вымышленное устройство для ежеминутного измерения счастья: Francis Edgeworth, Mathematical Psychics: An Essay on the Application of Mathematics to the Moral Sciences (Kegan Paul, 1881).

323

Типичная работа о последовательном принятии решений в условиях неопределенности: Martin Puterman, Markov Decision Processes: Discrete Stochastic Dynamic Programming (Wiley, 1994).

324

Об аксиоматических предположениях, обосновывающих репрезентацию полезности как суммы полезностей во времени: Tjalling Koopmans, «Representation of preference orderings over time», in Decision and Organization, ed. C. Bartlett McGuire, Roy Radner, and Kenneth Arrow (North-Holland, 1972).

325

Люди 2019 г. (которые в 2099 г. могут быть давно мертвы, а могут и оказаться более ранними личностями людей 2099 г.) могут стремиться создать машины в соответствии с имеющимися в 2019 г. предпочтениями людей 2019 г., а не потакать, очевидно, туманным и недостаточно понимаемым предпочтениям людей 2099 г. Это было бы все равно, что писать Конституцию, запрещающую любые поправки. Если люди 2099 г. после должного осмысления придут к выводу, что хотят изменить предпочтения, встроенные в машины людьми 2019 г., представляется разумным, чтобы у них была эта возможность. В конце концов, именно они и их потомки должны будут иметь дело с последствиями.

326

Я благодарен за это наблюдение Уэнделлу Уоллаку.

327

Ранняя статья, посвященная изменениям предпочтений со временем: John Harsanyi, «Welfare economics of variable tastes», Review of Economic Studies 21 (1953): 204–13. Более новое (и несколько более техническое) рассмотрение см. в статье: Franz Dietrich and Christian List, «Where do preferences come from?», International Journal of Game Theory 42 (2013): 613–37. См. также: Laurie Paul, Transformative Experience (Oxford University Press, 2014), и Richard Pettigrew, «Choosing for Changing Selves», philpapers.org/archive/PETCFC.pdf.

328

Рациональный анализ иррациональности: Jon Elster, Ulysses and the Sirens: Studies in Rationality and Irrationality (Cambridge University Press, 1979).

329

Талер Р., Санстейн К. Nudge. Архитектура выбора. — М.: Манн, Иванов и Фербер, 2017.

330

Многообещающие идеи когнитивных протезов для человечества: Falk Lieder, «Beyond bounded rationality: Reverse-engineering and enhancing human intelligence» (PhD thesis, University of California, Berkeley, 2018).

331

О следствиях игр в помощника для вождения: Dorsa Sadigh et al., «Planning for cars that coordinate with people», Autonomous Robots 42 (2018): 1405–26.

332

Любопытно, что в этом списке отсутствует Apple. В компании имеется группа изучения ИИ, которая быстро наращивает свою деятельность. Вследствие традиционной культуры секретности влияние компании на рынке идей пока еще ограниченно.

333

Из интервью Макса Тегмарка в документальном фильме «Вы доверяете компьютеру?» (Do You Trust This Computer?) 2018 г.

334

Об оценках потерь от киберпреступлений: «Cybercrime cost $ 600 billion and targets banks first», Security Magazine, February 21, 2018.

335

Форстер Э. М. Машина останавливается и др. рассказы. — М.: Астрель, 2014.

336

Опорный план создания шахматных программ на следующие 60 лет: Claude Shannon, «Programming a computer for playing chess», Philosophical Magazine, 7th ser., 41 (1950): 256–75. Предложение Шеннона опирается на многовековую традицию оценки позиций на шахматной доске путем сложения ценности фигур; см., например: Pietro Carrera, Il gioco degli scacchi (Giovanni de Rossi, 1617).

337

Описание эпического исследования Самуэлем раннего алгоритма обучения с подкреплением для шахматной программы: Arthur Samuel, «Some studies in machine learning using the game of checkers», IBM Journal of Research and Development 3 (1959): 210–29.

338

Понятие рационального метарассуждения и его приложение к поиску и играм происходит из диссертационного исследования моего студента Эрика Уифолда, который трагически погиб в автокатастрофе, не успев закончить свою работу; посмертная публикация: Stuart Russell and Eric Wefald, Do the Right Thing: Studies in Limited Rationality (MIT Press, 1991). См. также: Eric Horvitz, «Rational metareasoning and compilation for optimizing decisions under bounded resources», in Computational Intelligence, II: Proceedings of the International Symposium, ed. Francesco Gardin and Giancarlo Mauri (North-Holland, 1990); and Stuart Russell and Eric Wefald, «On optimal game-tree search using rational meta-reasoning», in Proceedings of the 11th International Joint Conference on Artificial Intelligence, ed. Natesa Sridharan (Morgan Kaufmann, 1989).

339

Пожалуй, первая статья, показывающая, как иерархическая организация снижает комбинаторную сложность планирования: Herbert Simon, «The architecture of complexity», Proceedings of the American Philosophical Society 106 (1962): 467–82. На русском языке статью можно найти в книге: Саймон Г. Науки об искусственном. — М.: Едиториал УРСС, 2004. — Прим. ред.

340

Каноническая работа по иерархическому планированию: Earl Sacerdoti, «Planning in a hierarchy of abstraction spaces», Artificial Intelligence 5 (1974): 115–35. См. также: Austin Tate, «Generating project networks», in Proceedings of the 5th International Joint Conference on Artificial Intelligence, ed. Raj Reddy (Morgan Kaufmann, 1977).

341

Формальное определение высокоуровневого действия: Bhaskara Marthi, Stuart Russell, and Jason Wolfe, «Angelic semantics for high-level actions», in Proceedings of the 17th International Conference on Automated Planning and Scheduling, ed. Mark Boddy, Maria Fox, and Sylvie Thiébaux (AAAI Press, 2007).

342

Едва ли автором этого примера является Аристотель; он может принадлежать Сексту Эмпирику, жившему, предположительно, во II−III вв.

343

Первый алгоритм доказательства теоремы в логике первого порядка, заключавшийся в сокращении предложений первого порядка до (очень большого числа) пропозиционных предложений: Martin Davis and Hilary Putnam, «A computing procedure for quantification theory», Journal of the ACM 7 (1960): 201–15.

344

Улучшенный алгоритм пропозиционного вывода: Martin Davis, George Logemann, and Donald Loveland, «A machine program for theorem-proving», Communications of the ACM 5 (1962): 394–97.

345

Задача выполнимости — принятие решения о том, является ли набор предложений истинным в каком-либо мире, — NP-полная. Задача формирования рассуждения — принятие решения о том, следует ли предложение из известного предложения, — co-NP-полная, то есть относится к классу, считающемуся более сложным, чем класс NP-полных задач.

346

Из этого правила есть два исключения: запрет повторений (нельзя делать ход, возвращающий положение на доске в ранее существовавшую ситуацию) и запрет самоубийства (нельзя делать ход, при котором выставленный камень сразу же будет захвачен, например, если он уже окружен).

347

Работа, в которой вводится логика первого порядка в нашем современном понимании (Begriffsschrift — нем., идеография): Gottlob Frege, Begriffsschrift, eine der arithmetischen nachgebildete Formelsprache des reinen Denkens (Halle, 1879). Предложенная Фреге система записи для логики первого порядка была такой вычурной и неудобочитаемой, что скоро ее заменили системой Джузеппе Пеано, широко используемой и поныне.

348

Обзор попыток Японии достичь превосходства при помощи систем, основанных на знании: Edward Feigenbaum and Pamela McCorduck, The Fifth Generation: Artificial Intelligence and Japan’s Computer Challenge to the World (Addison-Wesley, 1983).

349

Попытки США, включая Стратегическую инициативу в области вычислительной техники и образование корпорации Microelectronics and Computer Technology (МСС). См.: Alex Roland and Philip Shiman, Strategic Computing: DARPA and the Quest for Machine Intelligence, 1983–1993 (MIT Press, 2002).

350

История реакции Британии на возрождение интереса к ИИ в 1980-е гг.: Brian Oakley and Kenneth Owen, Alvey: Britain’s Strategic Computing Initiative (MIT Press, 1990).

351

Происхождение термина GOFAI: John Haugeland, Artificial Intelligence: The Very Idea (MIT Press, 1985).

352

Интервью Демиса Хассабиса о будущем ИИ и глубокого обучения: Nick Heath, «Google DeepMind founder Demis Hassabis: Three truths about AI», TechRepublic, September 24, 2018.

353

В 2011 г. работа Перла была отмечена премией им. Тьюринга.

354

Подробнее о Байесовых сетях: каждому узлу сети присваивается вероятность каждого возможного значения с учетом каждой возможной комбинации ценностей родительских узлов данного (т. е. указывающих на него). Например, вероятность того, что Дубли₁₂ имеет значение истинно, составляет 1,0, если значения D₁ и D₂ равны, и 0,0 — в другом случае. Возможный мир — это присвоение значений всем узлам. Вероятность такого мира является результатом соответствующих вероятностей каждого из узлов.

355

Собрание применений Байесовых сетей: Olivier Pourret, Patrick Naïm, and Bruce Marcot, eds., Bayesian Networks: A Practical Guide to Applications (Wiley, 2008).

356

Основополагающая статья о вероятностном программировании: Daphne Koller, David McAllester, and Avi Pfeffer, «Effective Bayesian inference for stochastic programs», in Proceedings of the 14th National Conference on Artificial Intelligence (AAAI Press, 1997). Многочисленные дополнительные ссылки см. на сайте probabilistic-programming.org.

357

Использование вероятностных программ для моделирования усвоения концепций людьми: Brenden Lake, Ruslan Salakhutdinov, and Joshua Tenenbaum, «Human-level concept learning through probabilistic program induction», Science 350 (2015): 1332–38.

358

Детальное описание приложения для мониторинга сейсмической активности и соответствующей вероятностной модели: Nimar Arora, Stuart Russell, and Erik Sudderth, «NET-VISA: Network processing vertically integrated seismic analysis», Bulletin of the Seismological Society of America 103 (2013): 709–29.

359

Новостная статья с описанием одной из первых серьезных автокатастроф с участием самоуправляемого автомобиля: Ryan Randazzo, «Who was at fault in self-driving Uber crash? Accounts in Tempe police report disagree», Republic (azcentral.com), March 29, 2017.

360

Фундаментальный анализ индуктивного обучения: David Hume, Philosophical Essays Concerning Human Understanding (A. Millar, 1748).

361

Leslie Valiant, «A theory of the learnable», Communications of the ACM 27 (1984): 1134–42. См. также: Vladimir Vapnik, Statistical Learning Theory (Wiley, 1998). Подход Валианта сосредоточен на вычислительной сложности, Вапника — на статистическом анализе обучающей способности разных классов гипотез, но общим для них является теоретическая основа, связывающая данные и предсказательную точность.

362

Например, чтобы узнать разницу между «ситуационным суперко [одно из правил игры в го. — Прим. пер.]» и «естественным ситуационным суперко», обучающийся алгоритм должен попытаться повторить позицию на доске, которую прежде создал посредством паса, а не выставления камня. Результаты в разных странах будут разные.

363

Описание состязания ImageNet: Olga Russakovsky et al., «ImageNet large scale visual recognition challenge», International Journal of Computer Vision 115 (2015): 211–52.

364

Первая демонстрация глубоких сетей для визуального восприятия: Alex Krizhevsky, Ilya Sutskever, and Geoffrey Hinton, «ImageNet classification with deep convolutional neural networks», in Advances in Neural Information Processing Systems 25, ed. Fernando Pereira et al. (2012).

365

Трудность различения 100 с лишним пород собак: Andrej Karpathy, «What I learned from competing against a ConvNet on ImageNet», Andrej Karpathy Blog, September 2, 2014.

366

Блог, рассказывающий об исследовании инцепционизма в Google: Alexander Mordvintsev, Christopher Olah, and Mike Tyka, «Inceptionism: Going deeper into neural networks», Google AI Blog, June 17, 2015. Как представляется, идея происходит из работы: J. P. Lewis, «Creation by refinement: A creativity paradigm for gradient descent learning networks», in Proceedings of the IEEE International Conference on Neural Networks (IEEE, 1988).

367

Новостная статья о дополнительных соображениях Джеффа Хинтона про глубокие сети: Steve LeVine, «Artificial intelligence pioneer says we need to start over», Axios, September 15, 2017.

368

Каталог недостатков глубокого обучения: Gary Marcus, «Deep learning: A critical appraisal», arXiv:1801.00631 (2018).

369

Популярный учебник по глубокому обучению с честной оценкой его слабостей: François Chollet, Deep Learning with Python (Manning Publications, 2017).

370

Объяснение обучения на основе объяснения: Thomas Dietterich, «Learning at the knowledge level», Machine Learning 1 (1986): 287–315.

371

Иное, на первый взгляд, объяснение обучения на основе объяснения: John Laird, Paul Rosenbloom, and Allen Newell, «Chunking in Soar: The anatomy of a general learning mechanism», Machine Learning 1 (1986): 11–46.