Термин «эхо-камера» пришел из мира акустики и теперь применяется для описания ситуаций, в которых убеждения, позиции и мнения подтверждают и усиливают сами себя в виде петель обратной связи. В контексте социальных сетей такая обратная связь может, например, искусственно раздувать маргинальные взгляды, что ведет к расколу и экстремизму. Принцип прост: кто-то высказывает свое мнение, оно принимается и повторяется другими и в конце концов возвращается к своему автору. Этот человек, не подозревая, что имеет дело с собственным утверждением, говорит: «Вот видите, я знал это! Другие тоже так думают!»
Процессы такого типа являются мощным фактором распространения ложных сведений, фальшивых новостей и абсурдных теорий заговора. Часто подобный цикл бывает случайным, когда слухи начинают множиться сами собой, но известно также, что люди используют такой механизм и для преднамеренного распространения ложной информации. Даже правительства вбрасывают дезинформацию, пользуясь этой схемой, чтобы дестабилизировать политические режимы других государств или создать путаницу с целью предотвращения скоординированных действий. Такое распространение заведомо ложной информации потенциально даже более опасно, чем сокрытие правды под пологом темных данных.
Информационная асимметрия
Информационная асимметрия – это общий термин для ситуаций, в которых одна сторона располагает большей информацией, чем другая (DD-тип 12: информационная асимметрия). Иными словами, для одной из сторон какие-то данные являются темными, и это ставит ее в невыгодное положение в переговорах или конфликтах. Давайте посмотрим на некоторые примеры.
В статье 1970 г. с замечательным названием «Рынок “лимонов”: неопределенность качества и рыночный механизм» лауреат Нобелевской премии экономист Джордж Акерлоф иносказательно описал, какие тяжелые последствия может иметь информационная асимметрия. На сленге продавцов подержанных машин «лимонами» называют автомобили низкого качества или с дефектами. В противоположность «лимонам» качественные автомобили именуют «персиками».
Покупатели подержанных машин не могут быть уверены в исправности выбранного автомобиля. При прочих равных условиях их покупка может с одинаковой вероятностью оказаться и «лимоном», и «персиком». Поэтому покупатели готовы платить только некую среднюю цену. Но у продавцов есть преимущество – они точно знают, где «лимоны», а где «персики», и, конечно, не хотят продавать последние за такую среднюю цену. Поэтому «персики» они придерживают, толкая покупателям одни «лимоны». Покупатели быстро обнаруживают подвох, и, соответственно, еще ниже опускают цены, по которым готовы покупать, что, в свою очередь, становится для продавцов еще большим аргументом против продажи «персиков». Возникает обратная связь, которая заставляет уйти с рынка владельцев «персиков» и в результате снижает как цены, так и качество продаваемых автомобилей.
В худшем случае это может привести к тому, что цены пробьют дно экономической целесообразности и рынок прекратит свое существование.
Асимметричная информация часто имеет существенное значение в военных конфликтах. Например, если одна сторона знает о расположении чужих войск больше, чем другая, она может получить подавляющее преимущество. Эта концепция лежит в основе стратегии сбора данных, охватывающей широкий диапазон мер, начиная от стандартной засылки разведчиков в тыл врага до использования дронов, спутниковых фотографий и взлома телекоммуникаций.
То же самое относится к шпионажу, когда каждая из сторон пытается получить данные, которые другая сторона старается сохранить в темноте, поскольку их раскрытие может нанести огромный ущерб. В 2010 г. аналитик военной разведки США Челси (урожденная Брэдли) Мэннинг раскрыла через WikiLeaks большое количество секретных документов, в результате чего жизни политических диссидентов и других людей оказались под угрозой.
В некоторых сферах человеческой деятельности были введены правила, способствующие решению проблемы информационной асимметрии, например в мире финансов. По словам экономиста Арджана Реуринка, «чтобы упростить предоставление информации рынку и снять проблему информационной асимметрии, финансовые регуляторы ввели требования по раскрытию информации в качестве центрального столпа регулирования на всех развитых финансовых рынках. Такие требования предписывают эмитентам финансовых инструментов и поставщикам финансовых услуг раскрывать рынку и своим контрагентам всю релевантную информацию, делать это своевременно и так, чтобы все участники рынка имели к ней равный доступ»
[75]. Другими словами, эти правила направлены на обеспечение прозрачности, чтобы можно было увидеть данные, которые в противном случае оставались бы темными.
В целом урок, который можно извлечь из этого раздела, сводится к следующему: постоянно ищите информационную асимметрию и почаще задавайтесь вопросом: что он, она или они могут знать такого, чего не знаете вы?
Неблагоприятный отбор и алгоритмы
Рич Каруана и его коллеги описали созданную ими систему на основе машинного обучения для прогнозирования вероятности смерти пациентов, больных пневмонией. В основном прогнозы оказывались точными, если только у пациентов вдобавок не было астмы
[76]. В таких случаях система предсказывала, что риск смерти от пневмонии намного ниже, чем если бы астмы не было. Казалось, это полностью противоречит здравому смыслу: каким образом осложнения, мешающие дыханию, могут улучшить ситуацию? За этим стояло либо крупное научное открытие некоего биологического механизма, помогающего астме противостоять пневмонии, либо непредвиденные темные данные, которые вводили в заблуждение и делали выводы недостоверными.
Тщательный анализ показал, что система машинного обучения действительно имела слабые места, а ее прогнозы были следствием темных данных. На деле пациенты с астмой в анамнезе были подвержены особенно высокому риску, и их сразу направляли в отделение интенсивной терапии, где они получали первоклассное лечение. И лечение это было настолько эффективным, что снижало риск смерти от пневмонии. Система, не зная об особом подходе к таким пациентам, видела только то, что астматики имели пониженный риск смерти от пневмонии. Вполне естественно, что она рекомендовала сразу отправлять их домой.
Фундаментальная проблема здесь кроется в том, что алгоритм машинного обучения не видит всех значимых данных. И это весьма распространенная проблема, имеющая пагубные последствия. Порой к ее возникновению приводят самые благие намерения, как это произошло в следующих примерах.
