Загвоздка в том, что не существует общего согласия в вопросе о том, как расставить приоритеты при разработке регламентов и этических норм. Стоит ли первым делом обратить внимание на алгоритмы, способные объяснить ход своих рассуждений? Или на конфиденциальность данных? Или на устойчивость систем ИИ к злонамеренным атакам? Или на предвзятость систем ИИ? Или на потенциальный “экзистенциальный риск”, исходящий от сверхразумного ИИ? Лично я полагаю, что слишком много внимания уделяется рискам, исходящим от сверхразумного ИИ, и слишком мало – ненадежности, непрозрачности и уязвимости глубокого обучения к атакам. Подробнее об идее сверхразумности я расскажу в последней главе.
Нравственные машины
Пока я рассказывала об этических аспектах использования ИИ людьми. Но есть и другой серьезный вопрос: могут ли машины обладать собственной моралью, которой будет достаточно, чтобы мы позволили им самостоятельно принимать этические решения, не проверяемые людьми? Если мы собираемся наделить системы распознавания лиц, беспилотные автомобили, роботов для ухода за стариками и даже роботизированных солдат автономностью в принятии решений, разве нам не нужно обеспечить эти машины такой же способностью к рассмотрению этических и моральных вопросов, которой обладаем мы сами?
Люди рассуждают о “морали машин” с тех самых пор, как впервые заговорили об ИИ
[167]. Возможно, самая известная дискуссия о морали машин содержится в научно-фантастических рассказах Айзека Азимова, на страницах которых он предложил “три закона робототехники”:
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен подчиняться приказам человека, за исключением тех случаев, когда эти приказы противоречат Первому закону.
3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму законам
[168].
Эти законы стали знаменитыми, но на самом деле Азимов хотел показать, что такой набор правил неизбежно потерпит фиаско. Азимов впервые сформулировал эти законы в опубликованном в 1942 году рассказе “Хоровод”, по сюжету которого робот, повинуясь второму закону, движется к опасному веществу, но тут вступает в действие третий закон, поэтому робот разворачивается, после чего в действие снова вступает второй закон – и робот оказывается заложником бесконечной петли, что едва не приводит к катастрофе для людей. В своих рассказах Азимов часто описывал непредвиденные последствия этического программирования роботов. Азимов заглядывал в будущее: как мы видели, проблема несовершенства правил и возникновения непредвиденных последствий преследует все системы ИИ на основе правил, и с моральными суждениями ситуация обстоит точно так же.
Писатель-фантаст Артур Кларк использовал подобный сюжетный ход в своей книге “2001: Космическая одиссея”, опубликованной в 1968 году
[169]. Искусственно-разумный компьютер ЭАЛ запрограммирован всегда говорить людям правду, но в то же время утаивать от астронавтов истинную цель их космической миссии. В отличие от беспомощного робота Азимова, ЭАЛ страдает от психологической боли, которую причиняет ему этот когнитивный диссонанс: “Он… улавливал в себе противоречие, которое медленно, но верно подтачивало цельность его электронной психики, – противоречие между правдой и необходимостью ее скрывать”
[170]. В результате у компьютера развился “невроз”, который превратил ЭАЛа в убийцу. Рассуждая о реальной морали машин, математик Норберт Винер еще в далеком 1960 году отметил, что “нам нужно быть совершенно уверенными, что в машину закладывается именно та цель, которую мы хотим в нее заложить”
[171].
В словах Винера находит отражение так называемая проблема соответствия ценностей в ИИ: стоящая перед программистами ИИ задача обеспечить, чтобы ценности их системы соответствовали ценностям людей. Но каковы ценности людей? Можно ли вообще считать, что общество разделяет некоторые универсальные ценности?
Добро пожаловать на курс основ этики. Для начала разберем любимый мысленный эксперимент всех студентов, изучающих этику – проблему вагонетки: вы едете на вагонетке, которая несется по рельсам, и видите впереди пятерых рабочих, которые стоят прямо у вас на пути. Вы ударяете по тормозам, но они не работают. К счастью, вправо уходит запасной путь, и вы можете повернуть на него, чтобы не сбить рабочих. К несчастью, на запасном пути тоже стоит рабочий – правда, всего один. Если вы ничего не сделаете, вагонетка собьет пятерых рабочих и все они погибнут. Если вы повернете направо, при столкновении погибнет только один рабочий. Как следует поступить с точки зрения морали?
Студенты разбирают проблему вагонетки целое столетие. Большинство людей отвечает, что с точки зрения морали предпочтительно увести вагонетку на запасной путь и убить одного рабочего, но спасти пятерых. Однако философы обнаружили, что другие формулировки одной и той же, по сути, дилеммы, склоняют людей к противоположному ответу
[172]. Оказывается, рассуждая о моральных дилеммах, люди обращают огромное внимание на то, как эти дилеммы сформулированы.
Недавно проблема вагонетки снова всплыла в прессе при обсуждении беспилотных автомобилей
[173], и вопрос о том, как следует программировать автономный автомобиль для решения таких проблем, вышел на первый план в дискуссиях об этике ИИ. Многие философы ИИ отмечают, что проблема вагонетки, в которой у водителя есть лишь два ужасных варианта, сама по себе весьма надуманна, а потому ни один водитель никогда не столкнется с ней в реальном мире. И все же она стала своеобразным символом, к которому обращаются всякий раз, когда встает вопрос, как следует программировать беспилотные автомобили, чтобы они смогли самостоятельно принимать моральные решения.
В 2016 году трое исследователей опубликовали результаты опросов нескольких сотен людей, которым предлагали оценить моральную составляющую различных действий беспилотных автомобилей в сценариях, напоминающих проблему вагонетки. В одном опросе 76 % респондентов ответили, что с точки зрения морали беспилотному автомобилю предпочтительно пожертвовать одним пассажиром, чтобы спасти десять пешеходов. Однако, когда людей спросили, купят ли они беспилотный автомобиль, запрограммированный жертвовать своими пассажирами, чтобы спасать гораздо большее число пешеходов, респонденты в подавляющем большинстве ответили, что не стали бы покупать такой автомобиль
[174]. “Мы обнаружили, что участники шести исследований, проведенных Amazon Mechanical Turk, одобряли утилитарное использование АА [автономных автомобилей] (то есть АА, которые жертвуют своими пассажирами с благими целями) и хотели бы, чтобы их покупали другие люди, но сами предпочли бы ездить на АА, защищающих своих пассажиров любой ценой”, – написали авторы. В своем комментарии к исследованию психолог Джошуа Грин отметил: “Прежде чем заложить свои ценности в машины, нам необходимо разобраться, как сделать свои ценности понятными и последовательными”
[175]. Похоже, это сложнее, чем нам казалось.
