В предыдущей главе я описал методику вывода Байеса как научный способ корректировки степени нашей веры в гипотезу в свете новых данных. У вас есть доказательства и вы используете их для работы в обратном направлении, чтобы оценить, какова была наиболее вероятная ситуация, приведшая к сегодняшнему положению дел. Позвольте мне привести личный пример, чтобы показать, что вывод Байеса может быть применен к повседневным проблемам.
Помню, как Тони Блэр, будучи премьер-министром, сказал, что он мог бы догадаться, что мое предыдущее место работы было связано с Министерством обороны. Когда я спросил, из чего следует такой вывод, он ответил – потому что ваши ботинки были начищены. Большая часть британского правительства, по его словам, за собой толком не следит, но те, кто привык работать с военными, сохранили привычку регулярно чистить обувь.
Мы можем использовать вывод Байеса, чтобы проверить гипотезу (D) о том, что я пришел в правительство из Министерства обороны. Скажем, 5 % старших гражданских служащих работают в Министерстве обороны, поэтому априорная вероятность того, что D будет истинным p(D) = 1/20 (5 %), что является шансом выбрать старшего гражданского служащего наугад и обнаружить, что он или она пришли из Министерства обороны.
E – это свидетельство того, что мои ботинки начищены. Наблюдения в Министерстве обороны и в кругах правительства могут показать, что семь из десяти высокопоставленных гражданских служащих Министерства обороны носят начищенную обувь, но только четверо из десяти в гражданских департаментах поступают аналогичным образом. Таким образом, общая вероятность найти начищенную обувь – это сумма вероятности найти ее в Министерстве обороны и в гражданских ведомствах.
p(E) = (1/20) × (7/10) + (1 – 1/20) × (4/20) = 83/200.
Апостериорная вероятность того, что я пришел из Министерства обороны, записывается как p(D|E) (где, как вы помните, вертикальная линия должна читаться как «с учетом»). Из теоремы Байеса, как описано в главе 1, следует, что:
p(D|E) = p(D) × [p(E|D)/p(E)] = 1/20 × [7/10 × 200/83] = 7/83 = приблизительно 1/12.
Используя вывод Байеса, можно установить, что вероятность истинности гипотезы премьер-министра почти вдвое выше, чем можно было бы ожидать от случайной догадки.
Байесовский вывод – это мощный способ формирования объяснений, то есть вторая стадия методики ВООВ. Пример может быть представлен в таблице, например, применительно к выборке из 2000 государственных служащих, показывающей классификацию начищенной/нечищеной обуви и из / не из Министерства обороны. Я предоставляю читателю проверить, что апостериорная вероятность P(D/E), найденная выше с помощью теоремы Байеса, может быть прочитана из первого столбца таблицы как 70/830 = приблизительно 1/12. Без вида начищенной обуви априорная вероятность того, что я пришел из Министерства обороны, была бы 100/2000 или 1/20.
Теперь представьте себе реальный случай наличия неопределенно структурированных данных большого объема с массивом из сотен или тысяч измерений, призванных удовлетворить огромное количество различных типов доказательств. В этом случае вывод Байеса все еще остается методикой вычисления апостериорных вероятностей, хотя математические вычисления усложняются. Именно так законно делать выводы из массивов «больших данных». Например, медицина уже получила преимущества такого подхода
[29]. Доступность персональных данных по использованию интернета также предоставляет множество новых возможностей для получения ценных результатов анализа данных. Компания Cambridge Analytica хвасталась, что она имела по 4000–5000 отдельных единиц информации о каждом избирателе на президентских выборах в США 2016 года, проводя целевую политическую рекламу, – это было настораживающее применение вывода Байеса, к которому мы вернемся в главе 10.
Всегда важно быть готовым переосмыслить подход к имеющимся фактам в свете появления новых данных, бросающих вызов предыдущим предположениям. Полезный прагматический тест на принятие допущений состоит в том, чтобы спросить себя на любом этапе размышления: если я делаю это предположение, не лишаю ли я себя шансов на успех? И если такое предположение окажется неразумным, не было бы лучше, если бы я его вовсе не делал? Иными словами, если мое предположение оказалось неверным, то будет ли мне на самом деле сложнее искать ответ на поставленный вопрос или мне просто не повезло?
Например, если у вас есть четырехколесный кодовый велосипедный замок, и вы забыли номер, на который он открывается, вы могли бы начать перебирать комбинации цифр начиная с 0000, 0001, 0002 и так далее вплоть до 9999, зная, что в какой-то момент замок откроется. Но вы можете сделать разумное предположение, что вы не выбрали бы число, начинающееся с ноля, поэтому вы начинаете перебор комбинаций цифр начиная с 1000. Велика вероятность, что это сэкономит вам работу. Но если ваше предположение неверно, все равно хуже не будет.
Как правило, именно объяснительная гипотеза с наименьшей доказательной базой, свидетельствующей против нее, является наиболее подходящей. Логика в том, что один сильный противоположный результат может опровергнуть гипотезу. С другой стороны, очевидно подтверждающие доказательства все еще могут быть согласованы с другими, являющимися истинными, гипотезами. Таким образом, аналитик может избежать ловушки (индуктивного заблуждения)
[30] мышления о том, что способность собирать все больше и больше доказательств в пользу предположения неизбежно повышает уровень доверия к нему. Если мы займемся поисками цвета европейских лебедей, то, собирая сколько угодно сообщений, мы, естественно, придем к выводу, что все лебеди – белые. Если же в один прекрасный момент мы ищем доказательства из Австралии, то появляется печально известный черный лебедь, который противоречит нашему обобщению
[31]. Когда имеется больше свидетельств в пользу гипотезы A, чем ее антагониста – гипотезы B, не всегда разумно предпочесть A гипотезе B, если мы подозреваем, что количество свидетельств, указывающих на A, а не на B, зависит от того, как мы осуществляли поиск ее доказательств.
