Из-за этого, несмотря на то что пересечение между одной средой и другой может быть весьма обширным, различия неизбежны. Если разум оказывается в среде, которая заметно отличается от той, где он рос, эти различия могут привести к значительному непониманию и смятению.
Предположим, мы хотим, чтобы наши машины, становящиеся все более разумными, переняли наш образ мышления, насколько это возможно (для разума, который основан на принципиально ином субстрате). Возможно, нам это удастся, если «воспитать» их и поместить в среду обучения, которая будет схожа с нашей собственной. Очевидно, этот процесс будет включать в себя множество различных компонентов, но основным из них будет эмоциональное окружение, которое подпитывает нас и помогает вписаться в общество на протяжении всего периода развития. Ожидать, что такой подход окажется эффективным для небиологического разума, было бы слишком, но все же его стоит изучить.
Эмоции могут стать той средой, которая позволит совместить машинный разум с человеческим. Они необходимы, если мы хотим добиться взаимодействия с минимальным количеством проблем в нашем, хотелось бы надеяться, общем будущем. «Хотелось бы надеяться», потому что пока человечество не может совершить шаг вперед без технологии, но скоро придет время, когда технология сможет совершить его без человека. В наших интересах сделать так, чтобы этого не случилось. Об этом и пойдет речь в заключительной главе.
Глава 18
Будут ли ИИ мечтать об электроовцах?
«Унаследуют ли роботы землю? Да, но они будут нашими детьми»
Марвин Минский, эксперт в области когнитивных наук и первопроходец в области искусственного интеллекта
На протяжении примерно трех миллионов лет человечество и технология идут параллельными, хотя и разными путями. С учетом того, как мы поддерживаем друг друга, это состояние можно назвать совместной эволюцией. Технология достигла своего современного уровня целиком и полностью благодаря мышлению и усилиям человека. Но и мы без технологии были бы совершенно другим видом, если бы вообще выжили. Таким образом, мы обязаны друг другу своим нынешним процветанием.
Но ситуация может измениться. Когда технология или некая ее разновидность окажется на достаточном уровне волеизъявления и самоопределения, даже не обладая сознанием, она сможет самостоятельно направлять свое будущее развитие. Это означает, что технология будет не только воспроизводить сама себя, но и изменять себя. Такой переход сделает невозможной дальнейшую совместную эволюцию, которая длилась так долго.
Одно из главных различий между естественной и технологической эволюцией – намерение. Биологическая эволюция – результат естественного отбора, мутации и других сил, объединенных тем, что их ничто не направляет. Они просто происходят, и нам просто повезло, что их комбинация в далеком прошлом дала начало виду Homo sapiens. Этот процесс не был целенаправленным, и он не был завершенным. Мы – не конечная точка, а скорее остановка на пути к чему-то еще. Так уж получилось, что пока мы единственный на этом пути вид, способный распознать и осмыслить механизмы, благодаря которым мы появились. В этом состоит наша подлинная уникальность, и именно из-за нее у нас возникают проблемы, когда мы осмысливаем свое место в мире, вселенной и глобальном порядке вещей.
Несмотря на то что при создании разумных машин мы наследуем принципы биологических систем, стоит предположить, что любая попытка скопировать принципиально иную систему окажется в лучшем случае напрасной тратой сил, вычислительных мощностей и ресурсов.
Однако если перейти определенную черту, то изменится наш мир и, возможно, огромное количество других миров во вселенных, где обитает достаточно разумная жизнь. Из-за разницы в скорости развития биологической жизни и технологий изменения гарантированы. Сама природа постоянно ускоряющегося прогресса говорит о том, что первый биологический вид, взявший на вооружение технологию, может оказаться и последним. Кроме того, самонаправленная эволюция получает преимущество перед естественной эволюцией, поэтому машинный разум может оказаться единственным выжившим. Даже если человечество уцелеет, оно может быстро отклониться от естественного курса. Это может оказаться нашей единственной стратегией долговременного выживания, которую мы сейчас и рассмотрим.
Сценарий о дружбе человека и машины, развивавшийся три миллиона лет, достиг той ключевой точки, после которой возможно развитие нескольких сюжетных линий. И не у всех из них счастливый финал.
Перед нами несколько сценариев, и некоторые вполне можно назвать «концом света в привычном понимании». Одно из последствий развития технологии в геометрической прогрессии и закона Курцвейла об ускоряющейся отдаче заключается в том, что в какой-то момент технология может стать продвинутой до такой степени, что начнет самосовершенствоваться с постоянно растущей скоростью, результатом чего станет взрывоподобное развитие искусственного интеллекта. Машинный сверхразум быстро станет сильнее всех умов планеты вместе взятых. Как мы уже знаем из предыдущей главы, этот разум наверняка будет нам чужд. Более того, почти нет гарантий или даже вероятности, что его ценности, мотивы и логика будут совпадать с нашими. Разрабатывались многочисленные стратегии взаимодействия с таким сверхразумом, включая варианты Трех законов Азимова, теории дружественного искусственного интеллекта Юдковски и глобальной ИИ-няни Герцеля1. К сожалению, каждая из них далека от полноценной стратегии, которая нас интересует. Есть некоторые разногласия по поводу того, какой из вариантов более вероятен, но более важен другой вопрос: каким будет результат – благоприятным или наихудшим из возможных.
Одна группа сценариев повторяет сценарии фильмов серии «Терминатор» настолько точно, что их часто называют сценариями «Терминатора». В фильмах этой серии между людьми и машинами идет война, и человечество представляет собой разрозненную массу повстанцев, которые в конце концов побеждают под самый финал истории. К сожалению, так бывает только в кино. В сценариях футурологов оценка разницы интеллекта, доступных ресурсов и уязвимостей говорит в пользу того, что все люди до единого окажутся стерты с лица земли за считанные дни, если не минуты. Поднять восстание будет попросту некому.
Однако такие сценарии могут и не воплотиться, поскольку они предполагают некоторые пути логических построений и уровень агрессии, которые не обязательно будут у чужого нам сверхразума. Пока человечество не рассматривается как непосредственная (или потенциальная) угроза, такой способ уничтожения вредителей вряд ли вероятен.
Воплощение следующей группы сценариев также возможно, хотя маловероятно. Эти сценарии предполагают, что мы станем неким ресурсом и нас будут разводить, как скот, либо в качестве источника энергии, либо ради каких-нибудь характерных качеств. Назовем их сценариями «Матрицы» под влиянием фильмов о миллионах людей, из которых, по сути, растили живые батарейки. Сама идея несостоятельна, поскольку существуют более эффективные способы получать и потреблять энергию и ресурсы с учетом высокого уровня интеллектуальных и технологических возможностей. Нам следует беспокоиться о том, что может найтись способ использовать людей, о котором мы можем не подозревать. Этот способ может оказаться ужасным для нас и рациональным для машин, не обладающих этическими нормами.
