Онлайн книга
Примечания книги
1
Ради простоты я принимаю в этой истории сегодняшний уровень развития технологии и экономики — несмотря на то, что, по мнению большинства исследователей, от создания искусственного интеллекта подобного человеческому нас отделяют десятилетия. В будущем осуществление плана «Омега», при условии сохраняющегося роста цифровой экономики и возможностей получения онлайн-услуг без лишних вопросов, должно быть намного более просто.
2
Хотя в российской литературе уже довольно широко используется аббревиатура ИИ (искусственный интеллект), в этой книге было решено сохранить оригинальную AI (artificial intelligence). — Прим. перев.
3
Имеется в виду одно из современных направлений так называемой DIY-субкультуры (от английского «do it yourself», то есть «сделай сам»), но с расчетом на более развитую технологическую базу. С 2004 года у них есть свой публичный печатный орган — журнал MAKE. — Прим. перев.
4
Почему жизнь усложнялась? Эволюция вознаграждает жизнь, когда та становится достаточно сложной, чтобы уметь обнаружить в окружающей среде повторяющиеся изменения и использовать их, поэтому в усложняющейся среде успешнее эволюционируют все более сложные и сознательные формы жизни. Усложняющаяся жизнь усложняет среду для конкурирующих с ней форм жизни, которым в свою очередь приходится эволюционировать и усложняться, постепенно создавая экосистему исключительно сложных форм.
5
В англоязычном мире имя этого человека принято транслитерировать иначе: «Моравек», но мы будем придерживаться исходного, чешского варианта. — Прим. перев.
6
Массачусетский технологический институт в Кембридже (штат Массачусетс). — Прим. перев.
7
Фамилию этого шведского ученого, живущего и работающего в Англии, часто транскрибируют без учета умляута над вторым «о» — «Бостром». Более точной и более традиционной была бы транскрипция «Бустрём», но мы решили остановиться на компромиссном варианте «Бострём». — Прим. перев.
8
Здесь и ниже цифрами отмечены примечания, помещенные в конце книги. — Прим. перев.
9
Необходимость здесь двоякая: и по силе воздействия, и по насущности проблемы. В сравнении с климатическими изменениями, катастрофические последствия которых ожидаются в период от пятидесяти до двухсот лет, считая от настоящего момента, AI, по оценкам некоторых экспертов, может привести к столь же пагубным последствиям в течение ближайших десятилетий — при этом он же может создать технологию смягчения климатических изменений. А в сравнении с войнами, терроризмом, безработицей, нищетой, миграцией и нарушениями прав человека — общий эффект от создания и внедрения AI может значительно превысить совокупные последствия всего перечисленного (мы как раз и собираемся разобраться ниже, каким именно образом AI может здесь перевесить), причем как усугубляя, так и компенсируя его.
10
Чтобы лучше понять, о чем здесь речь, давайте представим, что вводится какой-то единый «атлетический коэффициент», сокращенно AQ, для всех спортсменов олимпийского уровня, так, словно обладатель самого высокого AQ должен побеждать на Олимпиаде во всех видах спорта.
11
Некоторые предпочитают использовать термины «сильный AI» или «AI человеческого уровня» как синонимы AGI, что приводит к некоторым проблемам. В узком смысле слова даже карманный калькулятор — это «AI человеческого уровня». Антонимом «сильному AI» должен служить «слабый AI», но довольно странно называть слабым AI Deep Blue, Watson или AlphaGo.
12
NAND представляет собой сокращение от двух английских слов NOT (не) и AND (и). Гейт AND выдает на выходе 1 только в том случае, если на входе две единицы. NAND делает в точности противоположное.
13
В отечественной специальной литературе принято использовать для обозначения этих понятий термин «логический вентиль», однако в последнее время транслитерация английского эквивалента «gate» стала выходить на первое место, в особенности в научно-популярной литературе. — Прим. перев.
14
Я называю «вполне определенной функцией» то же, что математики и информатики называют «вычислимой функцией», — то есть функцию, которая может быть вычислена каким-то гипотетическим компьютером, при условии что ему предоставлены неограниченные память и время. Алан Тьюринг и Алонсо Чёрч доказали, что существуют функции, которые могут быть описаны, но не могут быть вычислены.
15
Добавим для тех, кто любит математику, что в качестве этой функции чаще всего выступает либо сигмоидальная функция σ(x) — 1/(1 + e—x), либо пороговая функция σ(x) = max{0, x}, хотя доказано, что в этой роли можно использовать какую угодно, лишь бы она не была линейной (то есть не представлялась в виде прямой линии на графике). В знаменитой модели Хопфилда использовалась функция σ(x) = –1 if x < 0 and σ(x) = 1 if x ≥ 0. Если состояния нейронов хранятся в памяти в виде вектора, то при переходе к следующему такту он обновляется умножением сначала этого вектора на матрицу, элементами которой служат силы синаптических связей, и последующим применением функции ⌠(x) ко всем новым вычисленным элементам.
16
Широко используемая аббревиатура от Good Old-Fashioned Artificial Intelligence, что означает «старый добрый искусственный интеллект». — Прим. перев.
17
Цинь (琴) — общее название различных китайских музыкальных инструментов, из которых наиболее популярны семиструнная цитра (七絃琴) и ее более ранний вариант гуцинь (古琴). — Прим. перев.
18
В полной мере воспроизвести в переводе игру с Google-переводчиком, описанную в книге автором, не удалось: при переводе в 2018 году авторского пассажа сначала на русский, потом на испанский, а затем снова на русский местоимение «Я» упорно вставало на свое место и было устранено насильственным путем. — Прим. перев.
19
Исходная фраза из английского текста книги была переведена на мандарин, потом на испанский и после этого на русский. Таким образом, описываемая автором путаница на этот раз возникла без насилия со стороны переводчика. — Прим. перев.
20
Если вы хотите более подробную карту исследовательского ландшафта AI-безопасности, вы можете найти ее в представлении одного из знаменосцев Института будущего жизни Ричарда Маллаха, пройдя по ссылке https://futureoflife.org/landscape/
21
Lyft — базирующаяся в Сан-Франциско частная компания, обеспечивающая с помощью мобильного приложения поиск сотрудничающих с ней частных водителей, которые готовы предоставлять транспортные услуги. На начало 2017 года компания работала более чем в 300 американских городах, а в 2018-м получила большое распространение и в Канаде. Успешно конкурирует в этих странах с Убером. — Прим. перев.
22
Даже при включении этого ДТП в статистику Tesla-автопилот сокращает их общее количество на 40 %: http://tinyurl.com/teslasafety
23
Интернет вещей — это бурно развивающаяся в последние полтора десятилетия концепция, согласно которой в непосредственное информационное взаимодействие вовлекаются самые разнообразные предметы, от домашней утвари до промышленных объектов. — Прим. перев.
24
Крейсерами класса Aegis (Иджис) называют крейсера, на которых установлена корабельная многофункциональная боевая информационно-управляющая система Aegis. Phalanx — это система оружия ближнего боя, часто входящая в состав Aegis. — Прим. перев.
25
Третий ракетный крейсер типа Ticonderoga («Тикондерога»). Крейсера класса Ticonderoga были первыми, на которых стояла система Aegis, то есть крейсерами класса Aegis. — Прим. перев.
26
Слова капитана второго ранга В. П. Орлова цитируются в русском оригинале по: Астафьева Е. Советский супергерой // Дилетант. 2016. Октябрь (доступно онлайн: http://diletant.media/articles/31508321/) и по: Язов Д. Карибский кризис: 50 лет спустя. М.: Центрполиграф, 2015. С. 344 (фразы «Казалось, будто сидишь в железной бочке, по которой колотят кувалдой» в книге Язова нет). — Прим. перев.
27
Цит. по: Язов Д. Карибский кризис: 50 лет спустя. Там же. — Прим. перев.
28
Кандид, или Оптимизм, гл. 30. Пер. с фр. Ф. Сологуба. — Прим. перев.
29
Я напомню здесь, что флопс — это количество операций над числами с плавающей запятой (аббревиатура английского floating-point operations per second), выполняемых компьютером в одну секунду, то есть это число, показывающее, например, сколько 19-значных чисел компьютер перемножит одно на другое в течение секунды.
30
Как объяснял Бострём, возможность симулировать ведущих разработчиков интеллектуальных систем при затратах, существенно меньших их суточных заработков, позволит AI-компаниям резко увеличить свою производительность и, концентрируя колоссальное богатство, обеспечить ускоряющийся прогресс в создании новых компьютеров и, в итоге, все более сильного интеллекта.
31
Сама по себе идея восходит еще к Блаженному Августину, который писал: «Ибо если вещь такова, что через разделение ее с другими нисколько не оскудевает; то если нам дают ее, а мы напротив имеем, и не даем ее другим, — мы пользуемся этой вещью не надлежащим образом» (De doctrina Christiana. Lib. 1, cap. 1. Рус. пер. цит. по: Блаженный Августин, епископ Иппонийский. Христианская наука, или Основания св. герменевтики и церковного красноречия. Киев: Типография Троицко-Печерской лавры, 1835. С. 14. — Прим. перев.)
32
Эту идею впервые сформулировал и исследовал мой друг Энтони Агирре.
33
Аристотель. Политика 1253b. Рус. пер. С. А. Жебелева. Цит. по: Аристотель. Сочинения: В 4 т. М.: Мысль, 1975–1984. Т. 4. С. 381. — Прим. перев.
34
Политика 1254b. Цит. соч. С. 383. — Прим. перев.
35
Знаменитый космолог Фред Хойл развивал похожую идею, но с оригинальным сюжетным поворотом в сериале A for Andromeda на британском телевидении.
36
Выброс углерода в атмосферу влечет два вида климатических последствий: потепление от двуокиси углерода и похолодание от дыма и золы. Не только первое иногда объявляется лишенным научных обоснований: мне иногда говорят, что ядерная зима давно развенчана как фактически неосуществимая. В ответ я всегда требую показать мне ссылки на публикации в реферируемых журналах, где делаются такие сильные заявления, и до сих пор никто не смог мне их предоставить. Хотя здесь остается значительная неопределенность, требующая дальнейших исследований, связанная в особенности с такими параметрами, как интенсивность выбросов и достигаемая ими высота, но, на мой взгляд, нет никаких оснований отвергать в настоящее время риск ядерной зимы.
37
См. рус. пер.: Стэплдон О. Создатель звезд. М.; Киев: Ваклер, Рефл-бук, 2017. — Прим. перев.
38
Если вы работаете в энергетике, то вам привычнее другое определение эффективности, при котором за меру эффективности принимается отношение полезной энергии ко всему полученному ее количеству.
39
См.: Хокинг С. Краткая история времени: от Большого взрыва до чёрных дыр / пер. с англ. Н. Я. Смородинская. СПб.: «Амфора», 2001. — Прим. перев.
40
Если поблизости в космическом пространстве не окажется никакой подходящей черной дыры, созданной самой природой, ее можно создать самим, засунув очень много материи в какое-нибудь достаточно маленькое место.
41
Здесь у нас опять некоторое чрезмерное упрощение, поскольку излучение Хокинга включает в себя и некоторые частицы, которые трудно пустить в дело. Большая черная дыра только 90 % своей массы излучает в доступном для использования виде, а остальные 10 % — в виде гравитонов. Это исключительно деликатные частицы: их почти невозможно обнаружить, не говоря уж о том, чтобы как-то использовать. По мере того как черная дыра все больше излучает и все больше сжимается, в ее излучении появляется все больше нейтрино и других массивных частиц.
42
Если тут случится оказаться поклонникам Дугласа Адамса, то специально для них я уточню, что это элегантный вопрос, дающий ответ на другой вопрос — о жизни, Вселенной и вообще обо всем. Значение 42 % — приближенное, на самом деле 1–1/√3 ≈ 42 %.
43
Если вы топите свою черную дыру газовым облаком, медленно вращающимся в ту же сторону, что и дыра, то газ, съедаясь, будет раскручиваться все быстрее, раскручивая и черную дыру, вроде как фигуристка, прижимающая к груди руки во время вращения. Таким образом ее можно раскрутить до максимальной скорости, из-за чего ей придется отдать 42 % энергии газа, а потом еще и 29 % своей собственной, и тогда суммарная эффективность окажется равной 42 % + (1 — 42 %) × 29 % = 59 %.
44
Это нужно для того, чтобы достичь температур, при которых происходит объединение электромагнитных сил и сил слабого ядерного взаимодействия, а это возможно, когда частицы разгоняются в ускорителе напряжением в 200 миллиардов вольт.
45
До сих пор мы говорили только о веществе, построенном из атомов. Но кроме такого, есть еще и так называемая темная материя, которой в шесть раз больше. Правда, она практически неуловима: она легко проходит сквозь Землю, ни за что не зацепляясь внутри. Остается только ждать, чтобы увидеть, сможет ли будущая жизнь как-то ее захватить и для чего-то использовать.
46
Космическая математика на этот счет предельно ясна: если цивилизация расширяется в расширяющемся пространстве не со скоростью света c, а с какой-то меньшей скоростью v, то число галактик, где она сможет расселиться, уменьшается в пропорции (v/c)3. Таким образом, цивилизации-копуши будут строго наказаны! Той, которая расширяется в 10 раз медленнее, достанется в 1000 раз меньше галактик.
47
Имеется в виду поговорка «Когда следишь за чайником, он не закипает». — Прим. перев.
48
Пер. на рус. яз. В. Л. Топорова. — Прим. перев.
49
Однако и Джон Гриббин приходит к аналогичному заключению в своей книге 2011 года Alone in the Universe. Я советую также прочитать обсуждение целого спектра возможностей по этому поводу в книге Пола Дэвиса 2011 года The Eerie Silence.
50
См.: Тегмарк М. Наша математическая Вселенная. В поисках фундаментальной природы реальности / пер. с англ. А. Сергеев. М.: Corpus, 2016. — Прим. перев.
51
См.: Шрёдингер Э. Что такое жизнь с точки зрения физики? Лекции, читанные в Тринити-колледж в Дублине в феврале 1943 г./ пер. с англ. и послесл. А. А. Малиновский. М.: Гос. изд-во иностр. лит., 1947. — Прим. перев.
52
Проверенное правило, которым пользуется большинство насекомых во время полета по прямой, заключается в том, чтобы считать яркий свет Солнцем и лететь под определенным углом к нему. Если источником света оказывается расположенный рядом огонь, этот прием, к сожалению, заставляет жука лететь по сужающейся смертельной спирали.
53
Я говорю об улучшение «софта» в самом широком из возможных смыслов, включающем не только оптимизацию алгоритмов, но и развитие более рационального процесса принятия решений, который поможет ему все лучше и лучше достигать своих целей.
54
См.: Вильчек Ф. Красота физики. Постигая устройство природы / пер. с англ. В. Краснянская, М. Томс. М.: Альпина-нон-фикшн, 2016. — Прим. перев.
55
Пер. Е. Шесткова.
56
Есть и альтернативная, дуалистическая точка зрения, в соответствии с которой живые существа отличаются от неодушевленных тем, что содержат какую-то нефизическую субстанцию, которую называют «анимой», «жизненной энергией» или «душой». Число сторонников этой дуалистической точки зрения среди ученых все время сокращается. Чтобы понять, почему это так, вспомните, что ваше тело — это примерно 1029 кварков и электронов, которые двигаются в соответствии с простыми, насколько мы можем судить, физическими законами. Представьте себе будущую технологию, которая позволит отслеживать движение каждой из этих частиц. Если окажется, что все они подчиняются законам физики, то душа, следовательно, никак не влияет на частицы, из которых вы состоите, а значит, ваше сознание, ваш разум и их способность контролировать ваши движения ничего общего с душой не имеют. Если, напротив, окажется, что частицы, из которых вы состоите, не подчиняются известным законам физики, потому что этому мешает воздействие на них вашей души, то эта новая сущность должна быть физической по определению, и тогда мы сможем ее изучать, как изучали поля и частицы в прошлом.
57
Я использую термин «квалиа» в соответствии с определением его в словарях: он означает индивидуальный пример субъективного переживания, — то есть субъективный опыт сам по себе, а не сопутствующую субстанцию, его вызывающую. Имейте в виду, что некоторые люди используют слово в другом значении.
58
RHP я изначально назвал «очень трудная проблема» (very hard problem), но когда я отослал эту главу Дэвиду Чалмерсу, он мне ответил, что было бы точнее назвать ее «по-настоящему трудной»: «поскольку первые две проблемы (по крайней мере, в таком виде) не были частью трудной проблемы, над которой я думал, тогда как третья из них и есть та самая; поэтому, возможно, сказать про нее ‘по-настоящему трудная’, а не ‘очень трудная’ более соответствовало бы моему замыслу».
59
Если наша физическая реальность всецело математическая (или, допуская определенную речевую вольность, ее можно назвать информационной), как я предположил в своей книге Our Mathematical Universe, то никакой аспект реальности — даже сознание — не может оказаться за пределами науки. Действительно, по-настоящему трудная проблема сознания (RHP) с этой точки зрения в точности совпадает с другой — пониманием, как нечто математическое может воспринимать физическое: если какая-то часть математической структуры обладает сознанием, то она будет переживать остальную часть этой структуры как внешний физический мир.
60
Функциональная магнитно-резонансная томография, электроэнцефалография, магнитная энцефалография, электрокортикография, электрофизиология соответственно. — Прим. перев.
61
Хотя ранее я использовал слово персептрониум как синоним для слова сентрониум, подразумеваемый смысл первого слишком ограничен, поскольку perceptum подразумевает лишь те субъективные ощущения, источником которых служат наши органы чувств, что исключает, например, мечты или мысли, возникшие в ходе внутреннего диалога.
62
Это утверждение в потенциальном напряжении с идеей о независимости сознания от субстрата, поскольку, хотя обработка информации на нижних уровнях может различаться, на верхних уровнях, определяющих поведение, она по определению тождественна.
63
Этот опыт также заставил меня пересмотреть свое отношение к новостям. Хотя мне и раньше было понятно, что большинство из них продаются через торговые точки со своей политической повесткой у каждой, теперь я стал видеть, что их подача всегда тенденциозна, и всякая новость, даже не политическая, предстает в максимальном удалении от своего центра тяжести.