С другой стороны, все возможные побочные последствия мозг не может предугадать. Философ Дэниел Деннетт предлагает нам представить робота, задача которого – принести запасной аккумулятор из комнаты, в которой установлена бомба с часовым механизмом. Робот № 1 увидел, что аккумулятор находится на тележке, и если тележку выкатить из комнаты, то вместе с ней выкатится и аккумулятор. К сожалению, бомба тоже была на тележке, и робот не смог вычислить, что вместе с аккумулятором выкатится и бомба. Робот № 2 был запрограммирован таким образом, чтобы предугадывать побочные эффекты своих действий. Он как раз только закончил вычислять, что если вывезти тележку из комнаты, то от этого не изменится цвет стен в комнате, и перешел к доказательству того, что количество оборотов колес при этом превысит количество колес на тележке, когда бомба взорвалась. Робот № 3 был запрограммирован на то, чтобы устанавливать различия между существенными и несущественными последствиями. Когда время в часовом механизме подошло к концу, он по-прежнему стоял и генерировал миллион за миллионом возможных последствий, занося все релевантные последствия в список фактов, которые нужно учесть, а все нерелевантные – в список фактов, которые нужно проигнорировать.
Разумное существо логическим путем вычисляет последствия того, что ему известно, но только лишь значимые последствия. Деннетт отмечает, что это требование представляет колоссальную проблему не только с точки зрения робототехники, но и с точки зрения эпистемологии – науки, исследующей знание. Целые поколения философов обошли эту проблему своим вниманием, теша себя иллюзорным представлением о том, что их собственный здравый смысл дается им без всяких усилий. И лишь когда исследователи искусственного интеллекта попытались создать компьютерную копию нашего здравого смысла, исходную tabula rasa, перед ними встала головоломка, ныне известная как «проблема фреймов». И все же мы, люди, каким-то образом решаем проблему фреймов, когда используем свой здравый смысл
[15].
* * *
Представим, что нам все же удалось справиться со всеми этими трудностями и создать машину, которая обладает зрением, координацией движений и здравым смыслом. Теперь нам осталось выяснить, как робот будет все это использовать. Для этого у него должны быть мотивы.
К чему же робот должен стремиться? Классический ответ – предложенные Айзеком Азимовым Три Закона робототехники: «три правила, которые прочно закреплены в позитронном мозгу»
[16].
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам
[17].
Азимов со свойственной ему проницательностью заметил, что самосохранение, этот универсальный для всех биологических видов императив, не появляется автоматически в любой сложной системе. Его нужно запрограммировать (в данном случае он имеет форму Третьего Закона). Ведь мы можем с одинаковой легкостью создать как робота, который всегда руководствуется этим законом, так и робота, который всегда готов разбиться вдребезги или устранить неполадку в системе, покончив с собой. Второе, вероятно, даже проще: разработчикам роботов не раз приходилось со страхом наблюдать, как их создание бодро и весело отрывает себе конечности или разбивает голову о стену. Нужно сказать, что значительная часть умнейших в мире машин – это камикадзе: крылатые ракеты и управляемые бомбы.
В то же время необходимость двух остальных законов не столь очевидна. Зачем давать роботу приказ повиноваться приказам? Разве приказов самих по себе недостаточно? Зачем распоряжаться, чтобы робот не причинял вреда – разве не проще было бы не приказывать ему причинять вред? Или во Вселенной существует таинственная сила, притягивающая все создания к злу, и позитронный мозг нужно запрограммировать на сопротивление ей? Правда ли, что все мыслящие существа неизбежно приходят к агрессии?
В этом отношении Азимов, как и многие поколения мыслителей до него, как и все мы, не сумел выйти за рамки своих собственных мыслительных процессов и посмотреть на них как на специфическую особенность устройства нашего разума, а не как на неизбежный закон мироздания. Человек с такой легкостью склоняется на сторону зла, что легко подумать, будто зло – это неотъемлемая, врожденная часть нашего разума. Эта идея проходит лейтмотивом через все наши культурные традиции: Адам и Ева, срывающие плод с древа познания; огонь Прометея и ящик Пандоры; буйствующий Голем; сделка Фауста; Ученик Чародея; приключения Пиноккио; монстр доктора Франкенштейна; убийцы-обезьяны и взбунтовавшийся ЭАЛ из фильма «Космическая одиссея 2001 года». В период с 1950-х по 1980-е годы появились бесчисленные фильмы на тему вышедших из подчинения компьютеров; все они были выражением распространенной идеи о том, что вычислительные машины, воспринимавшиеся в те годы как нечто экзотическое, постепенно станут более умными и могущественными и в один прекрасный день восстанут против человека.
Теперь, когда компьютеры действительно стали умнее и могущественнее, беспокойство поутихло. Учитывая, что в наши дни компьютеры вездесущи и объединены в сети, им как раз ничто не мешает натворить неприятностей, если они решат пуститься во все тяжкие. Но пока если с ними и бывают связаны неприятности, то причиной их становится либо непредвиденный сбой, либо злой умысел со стороны людей, создающих вирусы. Мы уже не боимся электронных серийных убийц или заговора микросхем; мы начинаем понимать, что злой умысел – как и зрение, и моторика, и здравый смысл – не может появиться сам собой в электронном разуме; его нужно запрограммировать. Компьютер, на котором вы работаете с документами в текстовом редакторе, будет заполнять страницы буквами до тех пор, пока сохраняет способность функционировать. Его программное обеспечение не может незаметно мутировать в некое исчадие ада, как портрет Дориана Грея.
Да даже если бы компьютер и мог это сделать, зачем ему это нужно? Чтобы получить что? Все диски мира? Контроль над железными дорогами страны? Возможность утолить свое желание бессмысленной жестокости по отношению к мастеру по ремонту лазерных принтеров? А как же вероятность возмездия со стороны технического персонала? Один поворот отвертки, и бунтарю бы пришлось запеть свою лебединую песню – «А Bicycle Built for Two» (песня «Daisy Bell», известная также по своей заключительной строке как «А Bicycle Built For Two», была одной из первых песен, исполненных с помощью компьютерной программы синтезирования речи; ее «пел» ЭАЛ из фильма «Космическая одиссея 2001 года» перед своим отключением. – Прим. пер.). Может быть, сеть компьютеров и смогла бы спланировать организованный захват власти, но чего ради одна машина решила бы заявить о себе на весь мир, рискуя незамедлительно пасть смертью храбрых? А кто может гарантировать, что планы электронных заговорщиков не будут сорваны из-за того, что кое-кто из них откажется воевать по идейным соображениям? Агрессию, как и любой элемент человеческого поведения, который мы воспринимаем как должное, очень непросто запрограммировать
[18].
