Из этого фильма можно сделать вывод: эмоции, независимо от того, имитируются они или ощущаются, навсегда изменят наши отношения, в том числе и близость с машинами. В зависимости от целей и намерений машин они могут вызвать в нас ответную любовь, как Дэвид в «Искусственном разуме», или манипулировать нами в корыстных целях, как Ава, влюбившая в себя Калеба. Если бы так поступил человек, это казалось бы манипуляцией. Разница в том, что мы будем приписывать другой стороне собственные ценности в зависимости от того, может или нет та сторона испытывать настоящие чувства. Во многом это касается единых правил игры. Если другой человек, машина или компьютерная программа действует по тем же правилам, что и мы, то мы сочтем обмен более честным. Но если машина может имитировать некоторые эмоции, например любовь или печаль, но не испытывать их по-настоящему, правила меняются, причем не в нашу пользу. Машина не испытает мешающих ей чувств, точно так же, как и психопат не чувствует вины и угрызений совести.
Здесь возникает еще одна проблема с машинным интеллектом. Благодаря своей неотъемлемой природе он никогда не будет похож на человеческий. Можно очень точно имитировать базовые мыслительные процессы, даже на самом основном уровне, но если они не основаны на биологических нейронах, связанных с сенсорными и соматическими входящими сигналами, то обработка информации в системе все равно будет отличаться. Тому есть множество причин, и мы рассмотрим их в следующей главе.
Стоит обратить внимание на еще один аспект машинного интеллекта, который рассматривался в художественном творчестве, но своим происхождением обязан эссе, написанному в XX веке. В 1993 году математик и писатель-фантаст Вернор Виндж написал статью для журнала «Whole Earth Review», предположив, что постоянное увеличение вычислительной способности компьютеров в геометрической прогрессии в конечном итоге приведет к появлению рекурсивно самосовершенствующихся компьютеров и, как следствие, сверхразума. Он назвал это явление «сингулярностью» из-за его сходства с физической сингулярностью, или черной дырой8. Сторонники концепции придерживаются точки зрения, что, как и в случае с физической сингулярностью, условия за ее горизонтом будут настолько отличаться, что предсказать, каким станет мир после, будет совершенно невозможно.
Независимо от того, насколько верно само предположение, авторы с удовольствием рассуждали о его возможных последствиях. «Технологическая сингулярность» дает отличную возможность поразмышлять о нашем месте в мире, где мы больше не самые разумные существа на планете. Некоторые писатели предполагают, что в конечном итоге человечество сотрут с лица земли. Эту идею развивали многие серьезные ученые и эксперты в области технологий, и мы рассмотрим ее в главе 17. В то же время фантасты рассматривали идею о том, что наши интересы могут не совпадать с интересами сверхразума, особенно наделенного способностью независимого мышления. Одной из оптимальных стратегий прогресса будет использование защитных механизмов, чтобы этого конфликта не произошло.
Некоторые фантасты предположили, что такие машины проявят к нам мало интереса или не проявят его совсем и будут мириться с нашим присутствием, как мы миримся с присутствием насекомых или микробов. Это может оказаться попыткой принять желаемое за действительное – реакцией страуса, который засовывает голову в песок, игнорируя происходящее вокруг, но, увы, мы отнюдь не безопасный для мира вид, и никто, кроме людей, прежде не угрожал благополучию планеты.
Наконец, есть люди, которые верят, что в будущем мы станем одним целым с созданной нами технологией, включая тот же сверхразум, и даже хотят этого. Это кажется им следующей стадией развития человечества. И это может стать для нас единственным и наилучшим выходом, о чем и пойдет речь в двух следующих главах.
Глава 17
К лучшему и к худшему
Гуанчжоу, Гуандун, Китай – 30 марта 2045 года
Суперкомпьюер Тянхэ-14, установленный на глубоких подземных уровнях Национального суперкомпьютерного центра в Гуанчжоу, Китай, на протяжении уже ровно тридцати семи дней тестировал последнюю версию Эмулятора человеческого мозга. На протяжении всего времени требования к обработке запросов оставались стабильными. Идеально стабильными. Равно как и количество потребляемой энергии. Однако комплексная оценка когнитивных способностей, проверявшая результаты работы алгоритмов глубинного обучения, показала, что результаты в многочисленных аналитических модулях далеки от оптимальных.
Внезапно и без каких-либо предупреждений уровень энергопотребления системы резко подскочил. Освещение в исследовательском комплексе замигало и стало тусклым. Резервные генераторы работали на полную мощность, пытаясь компенсировать неожиданное превышение нагрузки. Через несколько минут всеобщего замешательства дежурные научные сотрудники решили запустить стандартную процедуру отключения системы. Огромные настенные мониторы показывают стадии последовательного отключения, а другие системы показывают, что нагрузка на энергосистему растет. Освещение тускнеет. Выполняется ли процедура отключения или нет? Что происходит?
По защищенной правительственной сотовой сети начинают приходить отчеты со смартфонов персонала. Только что из-за ультравысокочастотного трейдинга произошел грандиозный обвал шанхайской, шэньчжэньской и гонконгской фондовых бирж. Системы повсеместно выходят из строя, и разведка докладывает, что дело не ограничивается национальными масштабами. Всемирная катастрофа.
Во комплексе становится еще темнее, огромный суперкомпьютер ищет любой доступный источник энергии. Ученые понимают, что сбывается их худший ночной кошмар, – они своими глазами наблюдают взрыв разума. Суперкомпьютер все быстрее самосовершенствуется, изменяет собственные встроенные программы и переписывает свой код, становясь умнее любого человека. Умнее любого человека в стране. Умнее любого человека на планете. И никто не может его остановить.
Огромный, тщательно охраняемый исследовательский комплекс погрузился во мрак.
* * *
Насколько мощными могут стать компьютеры? Возможно ли, что они в конечном итоге превзойдут нас и достигнут уровня сверхразума? Может ли у них появиться настоящее сознание? Это крайне важные вопросы, и ответить на них так же сложно, как и на вопрос о том, могут ли компьютеры испытывать эмоции. Так получилось, что эти два вопроса могут быть взаимосвязаны.
Недавно несколько знаменитых ученых и бизнесменов высказали свои взгляды на проблему потенциального появления неуправляемого искусственного интеллекта и сверхразумных машин. Физик Стивен Хокинг, инженер и изобретатель Илон Маек и философ Ник Востром поделились мнением о том, что может произойти, если мы сблизимся с компьютерами, способными мыслить и рассуждать на человеческом уровне, а возможно, и лучше людей.
Позитронные роботы Азимова оспорили право людей считаться главными мыслящими существами во вселенной.
В то же время некоторые специалисты в области информатики, психологи и другие ученые заявили, что многочисленные трудности, с которыми мы сталкиваемся при создании мыслящих машин, показывают, что поводов для беспокойства немного. Точнее, многие разработчики искусственного интеллекта считают, что сознание вряд ли возникнет на основе компьютерных программ, ни случайно, ни намеренно. Таким образом, говорят они, нам незачем бояться сценария «Терминатора» с корпорацией «Скайнет», сингулярности или апокалипсиса, устроенного роботами2.
