Что эти люди имеют в виду, говоря об экзистенциальном риске? Какова природа угрозы, вероятность ее свершения? Всем ли известен сюжет «Космической Одиссеи 2001 года», где ра-зумный компьютер из-за неисправности начинает делать все, чтобы никто не смог его отключить. Всем ли известен сценарий «Терминатора», когда Скайнет – сеть машин, обладающих искусственным интеллектом, – обретя сознание, уничтожает и порабощает человечество для достижения собственных целей. Можете ли вы безоговорочно верить в статьи о надвигающейся угрозе интеллектуальных машин и в трагические высказывания таких ученых, как Тиль или Хокинг? Возможно, они не были экспертами в области искусственного интеллекта, но были чрезвычайно умными и знающими людьми. Если эти люди были обеспокоены, как «Ястребиный глаз» из телесериала «МЭШ» и ученый, пытающийся помешать наступлению сингулярности в фильме «Превосходство» 2014 года, не должны ли мы обеспокоиться вместе с ними?
Больше других в пророчествах технологических катастроф отличился Ник Бостром, главный эсхатолог, шведский философ, соучредитель Всемирной трансгуманистической ассоциации (World Transhumanist Association
[7]), одна из самых выдающихся фигур трансгуманистического движения. В конце 2014 года Бостром, директор Института будущего человечества, опубликовал книгу «Искусственный интеллект. Этапы. Угрозы. Стратегии» (Superintelligence: Paths, Dangers, Strategies), в которой изложил природу опасности искусственного интеллекта. Для академического текста, не предназначенного для неподготовленного читателя, книга отлично продавалась и даже вошла в список бестселлеров New York Times (частично волну продаж можно объяснить настойчивыми рекомендациями к прочтению в твиттере Илона Маска).
В этой книге предполагается, что даже самая безобидная форма воображаемого искусственного интеллекта может привести к уничтожению человечества. Например, по одному из крайне гипотетических сценариев, изложенных в книге, искусственный интеллект, предназначенный для максимально эффективного и продуктивного изготовления канцелярских скрепок, запускает преобразование всей материи во всей Вселенной в скрепки для бумаг и в оборудование для производства этих скрепок. Этот преднамеренно карикатурный сценарий совершенно серьезно демонстрирует особую безжалостную логику искусственного сверхинтеллекта, с которой нам, возможно, придется столкнуться.
– Сейчас я бы не стал причислять себя к трансгуманистам, – сказал мне Ник во время нашего ужина в индийском ресторане рядом с Институтом будущего человечества.
Хотя он и был женат, его жена и сын были в Канаде, а сам он жил один в Оксфорде. Его род деятельности предполагал частые трансатлантические перелеты и регулярные звонки по скайпу. Такой удручающий способ поддержания баланса между личной жизнью и работой, однако, позволял Нику в полной мере сосредоточиться на исследованиях. В ресторане, куда мы пришли, он обедал так часто, что официант, не дожидаясь заказа, принес ему курицу с карри.
– То есть, – продолжил он, – я, конечно, верю в общий принцип увеличения человеческих возможностей, но больше не связан с самим движением. В трансгуманизме так много оснований в поддержку технологий, настолько неоспорима вера в то, что все будет становиться только лучше и лучше – достаточно только выбрать подход и позволить прогрессу идти нужным курсом. С годами я отошел от этих взглядов.
В последнее время Ник стал своего рода контртрансгуманистом: его нельзя было назвать луддитом, но то, что он сделал себе имя как внутри, так и вне академических кругов, случилось благодаря его обстоятельным предупреждениям о том, куда нас могут завести технологии.
– Я все еще думаю, – сказал он, – что в ближайшие десятилетия удастся изменить человеческий субстрат. И, думаю, искусственный сверхинтеллект станет движущей силой такой трансформации.
Как и многие трансгуманисты, Ник любит подчеркивать огромный разрыв в вычислительной мощности компьютерной техники и человека. Например, нейроны передают сигналы с частотой 200 герц (или 200 раз в секунду), тогда как транзисторы работают на уровне гигагерца (или миллиарда раз в секунду). Сигналы проходят через нашу центральную нервную систему со скоростью около 100 метров в секунду, тогда как компьютерные сигналы могут перемещаться со скоростью света. Человеческий мозг ограничен в размерах черепом, а компьютерный процессор технически можно построить размером с небоскреб.
Он утверждал, что эти факторы делают создание искусственного сверхинтеллекта очень заманчивым. А из-за нашей склонности придавать даже машинному интеллекту человеческие качества мы, вероятно, будем закрывать глаза на темпы, с которыми он будет развиваться, и в скором времени он сможет перегнать наш собственный. Искусственный интеллект может очень длительное время казаться довольно далеким от человеческого, а затем превзойти его в одно мгновение. В своей книге Ник иллюстрирует это цитатой Элиезера Юдковского, теоретика обеспечения безопасности в сфере искусственного интеллекта:
«Искусственный интеллект может сделать резкий скачок в своем развитии исключительно в результате антропоморфизма, склонности человека думать, что ум «деревенского дурачка» и «Эйнштейна» – это крайние точки некой шкалы интеллекта, хотя в масштабе разума в целом эти точки почти неразличимы. Все «тупее» мыслей не самого смышленого человека может показаться нам просто «тупым». Можно представить, как воображаемая стрелка искусственного интеллекта неуклонно ползет по шкале вверх, оставляя позади мышей и шимпанзе, но искусственный интеллект по-прежнему остается «тупым», потому что не может свободно говорить или писать научные статьи. И вдруг, в течение одного месяца или другого примерно такого же короткого периода, «стрелка» искусственного интеллекта пересекает на самом деле крошечный промежуток от нижней точки, «дурачка», до верхней точки, «Эйнштейна».
Согласно теории в этой точке все изменится радикально. А будут ли изменения к лучшему или к худшему – это открытый вопрос. По словам Ника, главный риск не в том, что сверхразумные машины могут быть враждебно настроены по отношению к своим человеческим создателям, а в том, что они будут безразличны к ним. В конце концов люди не были враждебно настроены по отношению к большинству видов, которые вымерли в течение тысячелетий нашего восхождения. Они просто не оказались частью нашего замысла. То же может случиться с машинами, обладающими сверхинтеллектом: они будут относиться к нам, как мы к животным, которых разводим для пропитания, или к тем существам, на которых не обращаем внимания, потому что у нас с ними нет точек соприкосновения.
Ник стремился подчеркнуть саму природу угрозы: не будет никакой злобы, никакой ненависти, никакой мести со стороны машин.
– Не думаю, – сказал он, – что я когда-либо увижу газетную статью с заголовком из фильма о Терминаторе, что роботы взбунтуются, возмутившись нашим господством, и восстанут против нас. Это не тот случай.
И это снова приводит нас к смехотворному сценарию про канцелярскую скрепку, смысл которого в том, что любой вред от сверхинтеллектуальной машины будет не результатом злого умысла или любого другого эмоционального побуждения, а исключительно следствием того, что наше отсутствие станет оптимальным условием для достижения конкретной цели этого интеллекта.
