• Экспоненциальное слежение.
Цифровой помощник будет фиксировать все, что происходит в нашей виртуальной и реальной жизни, 24 часа в сутки, семь дней в неделю и 365 дней в году. Любой человек или устройство с соответствующими полномочиями или правами (настоящими или поддельными) сможет получить доступ к этой информации. Это означает, что любое лицо, обладающее некоторыми навыками взлома интернет-ботов, сможет сгенерировать наш профиль или повесить на нас ярлык подозреваемого, диссидента или опасного элемента. Они смогут использовать разрозненные и вырванные из контекста обрывки информации, чтобы манипулировать нами. Представьте, как объемы данных, доступные боту-помощнику, расширяются и углубляются путем соединения их с другими потоками данных, например с лентами новостей в социальных сетях. Результаты могут превзойти даже самые антиутопические предсказания Джорджа Оруэлла
[92].
Таким образом, неконтролируемое использование облачных ботов и умных помощников волей-неволей приведет к злоупотреблениям и преследованию, особенно в тех странах, где нет четкой политики по защите персональных данных или где правительство уже продемонстрировало полное безразличие к праву своих граждан на неприкосновенность частной жизни. Другой повод для беспокойства заключается в том, что правительства смогут получить доступ к умным цифровым помощникам и нашим «цифровым эго»: либо легально, через парадную дверь, либо в скрытом режиме – через заднюю дверь, лазейку в коде. Соответственно и любая другая хакерская организация сможет сделать то же самое. Я боюсь себе представить, что может произойти, если мы станем до такой степени «обнаженными» в нашей цифровой жизни.
• Растущая деквалификация.
Представьте, что я так часто обращался за помощью к помощнику, что разучился делать некоторые вещи самостоятельно: ориентироваться в незнакомом городе, искать достоверную информацию онлайн, бронировать билет на самолет, работать с электронными таблицами, писать от руки – все это вполне вероятно. Логично предположить, что так можно очень скоро потерять те навыки, которые формируют бытие человека, например, навык общения без посредников, каким бы медленным оно ни было и к каким бы ошибкам ни приводило. Сделаем ли мы людей легко заменимыми? Стоит ли нам все автоматизировать только потому, что можем?
• Диджифрения (замечательный термин, который ввел Дуглас Рашкофф, чьи книги я советую вам почитать)121.
Одной из движущих сил человеческой деквалификации является наше всевозрастающее желание находиться в разных местах одновременно. Такие технологии, как телеприсутствие (telepresence), обмен сообщениями и социальные сети, в какой-то степени нам это позволяют, и многие ради них готовы поступиться своей реальной жизнью.
Цитата Дугласа:
Диджифрения – это попытка существования одновременно в нескольких местах. У нас есть Twitter, Facebook, почтовый ящик. В этих мини-инстанциях мы действуем одновременно и параллельно. И для большинства людей это не очень удобная позиция122.
• Взаимодействие с машинами и экранами, а не с людьми.
Многие задачи и процессы, выпадающие на долю людям, подразумевают общение с другими, будь то поход за продуктами или встреча, посвященная организации мероприятия. Безусловно, некоторые из этих взаимодействий не являются особенно ценными, как, например, разговор с турагентом по поводу брони билетов или звонок работнику банка по поводу выбора оптимального варианта для инвестиций – лично я вообще не вступаю в такие взаимодействия.
Так что да, некоторые из простых задач могут взять на себя машины без ущерба для человеческих отношений – я не думаю, что нам действительно нужно становиться друзьями с работником банка, чтобы узнать, куда вложить 5000 евро. Тем не менее нам нужно лишний раз подумать, прежде чем автоматизировать прочие, более человечные взаимодействия, как, например, поход к доктору, даже если мы обратились к нему с простудой, а не с эмфиземой. В некоторых случаях действительно удобнее было бы узнать свой диагноз, не выходя из дома. В других случаях это привело бы к дегуманизации отношений между врачом и пациентом, потому что взаимодействия, которые действительно имеют большое значение, не должны подвергаться автоматизации.
Представьте себе, что большая часть наших взаимодействий с коллегами по работе подверглась автоматизации, что уже становится возможным благодаря таким стартапам, как X.ai
[93], разработавшим приложение, выполняющее роль автоматизированного ассистента123.
Хотя автоматическое внесение поправок в групповой календарь ничем не грозит, получать электронные письма, по которым нельзя определить, кто их написал – сам человек или его цифровой помощник, – уже менее безобидно. Дальше хуже: как бы мы себя почувствовали, если бы наши родители стали общаться с нами через помощника?
К чему это приведет? Как далеко мы собираемся зайти? Кто определяет, где заканчивается ИИ и начинается человек? Придем ли мы к тому, что цифровой помощник будет приглашать людей к нам на день рождения, заказывать еду, выбирать музыку, составлять милую подборку фотографий и даже создаст сайт специально для этого события? А затем расскажет мне, как правильно радоваться на моей собственной вечеринке? Поможет ли мне это в установлении контактов с другими, или я упрощу себе эту работу только для того, чтобы потерять ее смысл? Будем ли мы всё больше общаться с машинами из соображений удобства?
• Манипуляция в невообразимых масштабах.
Если мы доверим принятие решений нашим помощникам, то в первую очередь это затронет медиа и контент. Это и так уже происходит на базовом уровне в социальных сетях. Наши помощники смогут находить и фильтровать для нас новости, подбирать фильмы и в целом разбираться в наших социальных медиа. Технологии уже сейчас могут решать, что нам лучше смотреть, читать и слушать. Но облачный разум при поддержке экспоненциальных технологий во много раз превзойдет то, что мы имеем сегодня.
В будущем то, что видят миллионы людей и на что они обращают внимание, будет контролировать небольшая группа ботов и ведущие производители цифровых помощников. Сложно представить, какую цену бренды и рекламщики готовы будут заплатить за то, чтобы их заметили правильные пользователи в подходящее время и в нужном месте.
Рост популярности цифровых помощников вызывает у меня следующие вопросы:
1) Что, если эта цифровая копия меня передаст мою информацию не в те руки, например страховой компании или органам социального обеспечения, которые будут использовать ее для принятия решения о выплате или невыплате пособия?
