Совершенно иным направлением, сулящим производителям БСП большие деньги, будет создание подобий медсестер-сиделок для престарелых. Востребованность таких медсестер растет опережающими темпами и продолжит расти в следующем десятилетии, когда состарится поколение беби-бумеров. Такие БСП будут существовать в материальной форме и стоить в районе $250 000 и более, а их задачей будет следить за состоянием здоровья престарелых пациентов, неотрывно наблюдать за ними, готовить им элементарные блюда и развлекать настольными играми вроде маджонга. При этом, если их правильно запрограммируют, воровать столовое серебро они не будут.
Не исключено, что со временем все привычные предметы обретут некоторые признаки личности. Например, БСП в вашей машине может начать критиковать вас за агрессивную манеру вождения. Ваш холодильник заговорит с вами о вашем рационе и о том, что вы в нем храните, и может даже указать, чтó вы должны есть. Дальше – больше: БСП в машине удержит вашего подростка от чересчур быстрой езды, пригрозив позвонить вам, если он не сбросит скорость. Обладающие искусственным интеллектом и здравомыслием, такие боты превратятся из пассивной прислуги в активных участников событий и даже смогут замещать собой родителей.
Главное в этих БСП – не умение водить автомобиль, а способность убеждать в том, что они – люди. Сказав об Alexa «она», а не «это», человек вступает на опасный путь признания ботов человеческими существами. БСП могут жить в облаке, существовать в виде забавных роботов или гуманоидов. Во всех своих обличьях они опасны не только своими фактическими возможностями, но и способностью подговорить человека на воровство, похищение с целью выкупа, убийство или самоубийство или заставить его вложить деньги в мошеннические схемы легкого обогащения. Мысль о взломанном БСП – не из приятных.
Microsoft на собственном горьком опыте узнала, насколько быстро все это может выйти из-под контроля. Обнадеженная успехом своей китайской команды, компания вывела Xiaoice на американский рынок. Через несколько дней, сообразив, что целью БСП является зеркальное отражение личности, некоторые нечистоплотные пользователи стали изображать из себя отъявленных расистов. И БСП тут же стал выдавать тексты вроде «Гитлер был прав. Терпеть не могу евреев». Microsoft немедленно прекратила его работу, но этот недолгий опыт продемонстрировал опасности, которыми чреваты сама идея и обучающийся алгоритм. В процессе взаимодействия с БСП люди, склонные к суициду, заразят своим настроением и бота, после чего начнут уговаривать друг друга прыгнуть со скалы вместе.
Все эти тренды и достижения говорят о том, что нам необходимы правила и законодательные акты, регулирующие использование искусственного интеллекта. Уже сейчас БСП стали привычным явлением во многих сферах жизни и едва ли не контролируют их: в секторе финтеха, применяющем ИИ для инвестиционных решений, создаются инвестиционные БСП; фотопрограммы организуют фотоальбомы пользователей; а в Amazon наверняка займутся созданием личных консультантов по покупкам в виде БСП. БСП определяют даже круг чтения людей, и это способно всерьез сузить их политический и общий кругозор. Сторонники теории заговора будут читать все больше и больше статей на эту тему, доводя себя до полного умоисступления.
Эти БСП создаются в первую очередь для помощи людям. И, в принципе, чаще всего они и будут помогать. Проблемы нас ждут, если БСП начнут потакать темной стороне человеческой натуры или станут работать не во благо людям, а преследуя какие-то другие цели – например, выполнить план продаж для своего «работодателя».
Представьте: вы получаете финансового БСП, который призван сначала завлечь вас, а потом продать дорогой с точки зрения комиссий инвестиционный план. Такой БСП сначала будет инвестировать от вашего имени в сделки с невысокими комиссионными, а завоевав таким образом доверие, начнет продавать вам аннуитетные продукты с высокими комиссионными. В подобных случаях к БСП должно прилагаться предупреждение: они работают не на вас, а, как и любые торговцы, продают вам то, что наиболее выгодно им.
Я сильно сомневаюсь, что вы захотите пользоваться БСП с таким предупреждением – не станете же вы прислушиваться к продавцу со значком «Не верьте мне» на груди. В технологической сфере все не столь же ясно и прозрачно. Вам неизвестно, что происходит с вашими данными; вы не знаете, что Google читает вашу почту, а даже если знаете, то не очень понимаете, зачем это делается и что происходит потом. Технологии – черный ящик с незаметными предупреждениями, напечатанными самым мелким шрифтом. Однако эти предупреждения должны быть подробными и хорошо заметными, как список противопоказаний в инструкции к лекарству.
В этой области важно иметь общие установки. Наравне с людьми БСП должны нести ответственность за причиненные ими вред и душевные страдания. Поскольку у БСП будут исключительные способности к убеждению, боты будущего должны соответствовать еще более высоким стандартам достоверности и раскрытия информации, чем существующие сегодня. И самое главное, они должны постоянно напоминать пользователям, что они – БСП, а не люди.
Другая важная проблема – способность БСП непреднамеренно превращаться в инструмент дискриминации. Так, в свежем исследовании ученых Университета Карнеги–Меллон говорится, что в Google «объявление о приеме на высокооплачиваемую работу намного чаще показывали мужчинам, чем женщинам». Ученые Гарвардского университета установили, что «ссылки на досье арестов с намного большей вероятностью появлялись в поисках по выраженно негритянским именам или исторически негритянским студенческим братствам». В Вашингтонском университете установили, что из изображений, выданных по поисковому запросу «генеральный директор», женских было всего 11 % – это, вероятно, свидетельствовало о наличии гендерных и расовых стереотипов. БСП настроены на соответствие личности или максимальное удовлетворение желаний и могут быть не в ладах с законом.
Судя по моему опыту, разработчики обожают создавать продукт и редко задумываются об этических проблемах, которые он может породить. В случае БСП, призванных вступать в отношения с пользователем, люди уже готовы к тому, что однажды цифровые существа окажутся в их полном распоряжении, если не сказать что с нетерпением ждут этого момента. Однако без разработки и жесткого соблюдения этических стандартов будет неясно, кто кем управляет.
23. Новые луддиты – дополнение
Десять лет назад, в первых «Микротрендах», отмечалось появление «новых луддитов» – американцев, избегающих современных технологий. Они не хотели все время быть «на связи» и предпочитали реальный мир виртуальному. Такие американцы либо полагались на старые технологии, либо вообще не использовали их в общении и работе. Спустя десять лет это течение выглядит немного иначе. Игнорировать интернет и смартфоны почти невозможно: там ведь и последние твиты Дональда Трампа, и свадебные фотографии ваших знакомых в Facebook. К нынешним новым луддитам принадлежат другие люди, и избегают технологий они иначе.
В 2007 г. мы прогнозировали рост числа новых луддитов в самом чистом виде – тех, кто вообще не использует технологии. Современный новый луддит – человек, использующий и старые, и новые технологии: у него телефон BlackBerry вместо iPhone, электронный адрес в Yahoo! вместо Gmail, он подписывается на журналы, вместо того чтобы просматривать Vogue в планшете. Растущее число таких американцев свидетельствует о том, что люди устают от обилия новых технологий и пытаются уйти в сторону наиболее приемлемым для себя способом или комбинацией нескольких способов.
