Раздел математики, известный под названием «теория игр», элегантно описывает такую ситуацию, показывая, что стимул к сотрудничеству возникает тогда, когда оно ведет к «равновесию Нэша» — это такое состояние, когда любое изменение приводит к ухудшению для любой части системы. Чтобы помешать мошенникам разрушить столь полезное для всей группы сотрудничество, ее членам может быть выгодно делегировать часть свой власти более высокому уровню: например, люди, объединившись и передав правительству право поддерживать порядок, получают пользу как целое; клетки в вашем теле также получают пользу как целое благодаря своим силовым ведомствам — иммунной системе, предоставляя ей возможность убивать не склонные к сотрудничеству клетки (скажем, зараженные вирусом или становящиеся канцерогенными). Чтобы иерархия оставалась устойчивой, равновесие Нэша должно достигаться и между сущностями разных уровней: например, если правительства недостаточно заботятся о благополучии своих граждан, те могут посчитать нужным изменить тактику и свергнуть правительство.
В сложном мире обнаруживается изобилие многообразных возможностей достижения равновесия Нэша, соответствующих различным типам иерархии. Одни иерархии более авторитарны, другие менее. В некоторых составляющие их сущности вправе свободно их покинуть (как работники большинства корпораций), в других их довольно жестко удерживают от этого шага (как в некоторых религиозных культах), а в третьих и вовсе лишают такой возможности (как граждан в Северной Корее или клетки в человеческом теле). Одни иерархии поддерживают свою целостность преимущественно угрозами и страхом, другие — выгодами. Одни иерархии позволяют компонентам нижних уровней напрямую влиять на верхние (например, в ходе демократических выборов), в других возможно влияние только через уговоры и передачу информации.
Как технологии меняют иерархии
У технологий есть возможности изменять иерархическую структуру мира. История демонстрирует нам общую тенденцию ко все бóльшей координации на все бóльших расстояниях, что нетрудно понять: новые транспортные технологии делают координацию все более выгодной (давая возможность получать выгоду от перемещения материалов или живых объектов на большие расстояния), а коммуникационные технологии упрощают осуществление координации. Когда клетки научились посылать сигналы соседям, стали возможны маленькие многоклеточные организмы, добавив новый иерархический уровень. Когда эволюция изобрела кровеносную систему и нервную систему для транспорта и коммуникации внутри организма, стали возможны крупные животные. Дальнейшее улучшение коммуникации посредством изобретения языка позволило людям координироваться настолько, что они стали жить деревнями, а следующий прорыв в области коммуникационных, транспортных и иных технологий повлек появление античных империй. Глобализация — это всего лишь последний пример многомиллиардолетнего тренда к росту иерархий.
В большинстве случаев этот определяемый технологиями тренд превращал крупные сущности в части еще более крупных структур, хотя и при сохранении большей части их автономии и индивидуальности, но комментаторы всегда сокрушались, что приспособление этих сущностей к жизни внутри иерархии в некоторых случаях сокращало их разнообразие и сводило к неразличимым взаимозаменяемым деталям. Некоторые технологии, такие как видеонаблюдение, увеличивают власть более высоких уровней иерархии над подчиненными им, но некоторые другие, такие как криптография и прямой онлайн-доступ к информационным медиа и образованию, оказывают противоположный эффект и укрепляют позиции индивидуумов.
Хотя в своем нынешнем состоянии мир продолжает оставаться в мультиполярном равновесии Нэша, с конкурирующими нациями и транснациональными корпорациями на верхнем уровне, технологии стали настолько совершенными, что и однополярный мир вполне мог бы достичь равновесия Нэша. Например, представим себе параллельную Вселенную, где у всех на Земле общий язык, общая культура, общие ценности и один уровень благосостояния, на планете единое мировое правительство, нации сохраняют свои права в рамках федерации, армии не нужны, и только полиция поддерживает порядок. Нашего нынешнего уровня развития технологий было бы достаточно для координации такого мира, хотя население, вероятно, оказалось бы неспособным или не пожелало бы переходить в состояние такого альтернативного равновесия.
Что случится с иерархической структурой нашего космоса, если мы добавим в эту смесь еще и сверхразумый искусственный интеллект? Транспортные и коммуникационные системы улучшаются очевидным образом, так что закономерно ожидать продолжения естественного тренда, с новыми иерархическими уровнями на дальних рубежах, когда, наконец, в дело включится и Солнечная система, и Галактика, и суперкластеры, и вообще необозримые просторы нашей Вселенной, о чем мы еще поговорим в главе 6. И как раз тут-то и начнет действовать фундаментальный драйвер децентрализации: вы только подумайте, как расточительна избыточная координация на таких больших расстояниях! Даже Сталин не пытался точно указывать своим гражданам, в какой момент они должны входить в баню. Для сверхразумного искусственного интеллекта жесткий верхний предел транспортным и коммуникационным технологиям укажут законы физики, делающие крайне маловероятной возможность контроля микродинамики планетарного или даже меньшего масштаба со стороны высших уровней иерархии. Сверхразумный искусственный интеллект где-нибудь в туманности Андромеды не сможет давать вам сколько-нибудь дельные советы по поводу вашей повседневной жизни: вам придется ждать их добрых пару миллионов лет (столько времени световому лучу надо, чтобы добраться до ближайших галактик и вернуться назад). А время, нужное световому лучу, чтобы совершить свое путешествие туда-сюда в пределах Земли, составляет около 0,1 секунды (это тот самый временной масштаб, в которым мыслим мы, люди), так что искусственный интеллект размером с Землю будет ворочать свои по-настоящему глобальные мысли не быстрее, чем мы, люди. А для маленького искусственного интеллекта, тратящего одну миллиардную секунды на каждую операцию (таково быстродействие современных компьютеров), 0,1 секунды — это как четыре месяца для вас, и для него быть подконтрольным на микроуровне глобальному искусственному интеллекту — это то же самое, что для вас испрашивать по каждому самому тривиальному поводу разрешения, которое будет доставляться через Атлантику каравеллой Колумбовой эры.
Этот физически обусловленный предел скорости передачи данных создаст очевидные проблемы для любого искусственного интеллекта, который захочет взять весь мир под свой контроль, что уж тут говорить о контроле над Вселенной. Прежде чем Прометей сбежал, ему пришлось основательно подумать над тем, как избежать фрагментации, как добиться того, чтобы различные его модули, оказавшись на разных компьютерах, возможно, в различных частях мира, подчинялись согласованным целям и стимулам, действовали как единая сущность. Точно так же, как у «омег» была проблема с отслеживанием действий Прометея, когда он был в их власти, так же и у самого Прометея возникает проблема с отслеживанием собственных действий, когда он хочет быть уверен, что ни одна из его частей не устроит «революции». У нас пока нет ясного представления, насколько велика может быть та система, которую искусственный интеллект будет в состоянии контролировать напрямую или опосредованно, при помощи равновесной иерархии — даже при условии, что быстрый побег даст ему решающее стратегическое превосходство.
