Технология (пока) не способна на коллективный замысел
Во время написания этой книги появился наиболее продвинутый образец ИИ, помогающий решать часто встречающиеся проблемы: глобальная система определения местонахождения – GPS. GPS-устройства получили популярность в 1990-х гг. и в начале 2000-х, но повсеместно они распространились после 2007 г., когда в продажу поступили смартфоны со встроенной GPS. При поездке на автомобиле эта на удивление маленькая система разработает для вас оптимальный маршрут, выведет его на экран, в зависимости от текущей дорожной ситуации скорректирует свои рекомендации, сообщит, пропустили вы нужный поворот или нет, и даже поговорит с вами. Возможности и эффективность GPS-систем настолько поразительны, что у большинства водителей полностью изменилась манера вождения автомобиля. Во многом они изменили и взаимоотношения между людьми, чаще всего – к лучшему: например, семейная пара уже не сможет затеять ссору из-за того, нужно или не нужно остановиться и спросить дорогу.
Теперь давайте зададимся вопросом, чего не делают эти замечательные устройства. Начнем с того, что они не смогут рассчитать более длинный маршрут в случае, если вы предпочли бы приехать к родителям немного попозже. Они не подберут вам маршрут, пролегающий вдоль озера, где этим вечером должен быть особенно красивый закат. Они не скажут, что сегодня дорожные условия очень плохие и лучше остаться дома. Вернее, все это они могли бы делать, но тогда эти функции нужно заложить в программу. Они не могут прочитать ваши мысли и узнать ваши намерения (ваши цели и желания, ваши представления о том, каким образом их лучше реализовать), а затем преобразовать эти намерения в свои собственные и выдать новые предложения. Они не способны разделять ваши намерения, чтобы вместе с вами добиваться реализации совместных целей.
У нас нет общей позиции с машиной, то есть отсутствует взаимное соглашение между устройством и пользователем о том, что мы знаем и что мы делаем (за исключением самых простых случаев). Машина может спросить, является ли вашей целью А, В или С, и среагировать в соответствии с вашим ответом. Но она не может преследовать общую с вами цель в том смысле, чтобы, например, в последнюю секунду взять на себя инициативу и переключиться на достижение новой цели. Можно сказать, что у вас с машиной негласный контракт, в соответствии с которым она обязуется выполнять то, на что она способна, чтобы помочь вам достичь ВАШЕЙ цели. Но вы должны быть уверены, что достаточно внятно объяснили ей, какова ваша цель. Машина не сотрудник, она – инструмент. В этом смысле ИИ больше похож на микроволновую печь, чем на еще одно человеческое существо. Технология может быть важнейшим элементом сообщества носителей знаний, она предоставляет информацию и служит полезным инструментом, но она не является членом сообщества в том смысле, в каком ими являются люди. Мы не сотрудничаем с машинами так же, как не сотрудничаем с овцами, мы просто их используем.
Способность к постановке общей цели – критически важный элемент для характеристики интеллекта. Основные человеческие функции, такие как язык и формирование понятий, связаны со способностью к выдвижению общих целей, ибо, как показано выше, то и другое реализуется только в процессе совместной деятельности. Мы подозреваем, что запрограммировать компьютер таким образом, чтобы у него был общий с вами замысел, будет трудно. В такую программу придется заложить способность компьютера координировать свои действия с другими (а значит, он должен будет иметь представление о том, что знаете вы и что знают другие), а также осмысливать собственные и чужие когнитивные процессы. Никто не знает, как написать программу, чтобы научить компьютер «осознавать» полученную информацию. И, если кому-нибудь удастся создать такую программу, возможно, мы наконец поймем, что такое сознание. Пока что мы этого не понимаем.
Сейчас мы наблюдаем непростой период развития технологии. Почти все, что мы делаем, становится возможным благодаря умным машинам. Машины достаточно умны, чтобы мы могли на них полагаться как на центральный элемент сообщества носителей знаний. Однако ни один механизм не обладает уникальной способностью, столь важной для любой человеческой деятельности: он не готов к целенаправленному сотрудничеству. Это в значительной мере определяет основные контуры совместной работы человека и машины.
Одной из важнейших функций современных систем «человек – машина» является сохранение наших жизней, и устройства выполняют эту функцию очень хорошо (конечно, в тех случаях, когда они не предназначены специально для убийства). Люди уже не претендуют на то, чтобы самостоятельно, без помощи компьютеров, управлять самолетами, автомобилями и промышленными установками. Нас окружает множество сложных технических устройств, которые делают то, для чего они предназначены. Даже при вождении автомобиля водитель сейчас в меньшей степени управляет машиной, чем раньше. В современном автомобиле имеется порядка пятидесяти микропроцессоров (107). Некоторые из них предназначены для обеспечения комфорта и развлечений, например спутниковое радио. Другие помогают водителю управлять машиной: для обеспечения оптимального усилия в рулевом приводе с гидроусилителем на различных скоростях движения используется компьютер; он же задействован и в антиблокировочной тормозной системе, предотвращающей занос машины. При этом революция, имя которой «автоматизация», только начинается. Полностью автоматизированный автомобиль можно встретить уже не только в научно-фантастических романах. В конце 2015 г. Илон Маск, генеральный директор компании Tesla Motors, заявил (108), что примерно через два года такая машина станет реальностью, хотя государственным чиновникам для разработки правовых норм допуска беспилотных автомобилей на дороги, скорее всего, потребуется больше времени.
Что касается крупных транспортных средств, технология здесь уже изменила правила игры. Без помощи автоматики современный лайнер просто не полетит. Для управления полетом новейшими военными реактивными самолетами используются компьютерные комплексы, потому что они настолько неустойчивы, что требуют применения автоматизированной системы, которая во много раз быстрее, чем человек, обнаруживает отклонения и реагирует на них. Вместе с тем наша зависимость от умных технологий создает определенный парадокс: по мере ее развития техника становится все более надежной и эффективной, и именно поэтому человек все больше зависит от нее. В итоге концентрация внимания у человека-оператора ослабляется, он отвлекается, самоустраняется, перекладывает всю работу на технику. В самом крайнем случае эта тенденция может привести к тому, что пилотирование тяжелого воздушного корабля превратится в пассивное занятие, подобное просмотру телевизора. Это замечательно – пока не случается нечто непредвиденное. Именно в непредвиденных ситуациях выявляется вся ценность человека с его способностью гибко реагировать на обстоятельства и справляться с незнакомыми ситуациями. Машины не способны на сотрудничество во имя достижения общей цели, они служат всего лишь инструментами. И если человек-оператор перестает осуществлять контроль, то велика вероятность того, что в системе возникнет серьезная авария.
Парадокс автоматизации заключается в том, что сама эффективность автоматизированных систем безопасности порождает зависимость от них, и в силу этой зависимости вклад человека-оператора в работу системы уменьшается, что, в свою очередь, повышает уровень опасности. Современные технологии чрезвычайно сложны, и они усложняются все больше и больше. Автоматизированные системы безопасности непрерывно совершенствуются. По мере их усложнения, дублирования и включения дополнительных функций сфера использования этих систем расширяется. Но в случае их отказа масштабы катастрофы могут быть намного больше. Ирония судьбы заключается в том, что автоматизированные системы на самолетах, поездах и промышленном оборудовании могут снижать общий уровень безопасности (109). Поскольку технология не способна понять, что собирается выполнить система (потому что она не осознает и не разделяет намерений человека), всегда существует опасность, что что-то пойдет не так. Если человек как часть системы не подготовлен к действиям в условиях отказа технологии, может случиться беда.
