Даже если вы не читали эту историю, то, вероятно, уже догадались, что случилось. Даниил и трое его друзей прекрасно чувствовали себя на вегетарианской диете. Царь был настолько поражен их умом и способностью к ученью — не говоря уж об их здоровом, цветущем виде, — что дал им лучшее место при дворе, где «во всяком деле мудрого уразумения… находил их в десять раз выше всех тайноведцев и волхвов, какие были во всем царстве его». Позже Даниил прославился толкованием снов царя и выжил, брошенный в ров со львами.
Библейской истории можно верить либо не верить, но она прекрасно передает суть сегодняшней экспериментальной науки. Асфеназ задает вопрос о причинности: отощают ли мои слуги на вегетарианской диете? Даниил предлагает методологию для работы со всеми подобными вопросами: возьмите две группы людей, одинаковые по всем важным для нас параметрам. Поместите одну из них в новые условия (задайте особую диету, давайте лекарство и т. п.), а вторую группу (называемую контрольной) оставьте в старых условиях (не давайте лекарства и т. п.). Если после подходящего отрезка времени между этими предположительно одинаковыми группами людей наблюдается измеримая разница, тогда новые условия должны быть ее причиной.
Теперь мы называем это контролируемым исследованием. Принцип прост. Чтобы понять каузальный эффект диеты, в идеале нам надо бы сравнить то, что произойдет с Даниилом на одной диете, с тем, что произойдет с ним же на другой, но мы не можем вернуться в прошлое и переписать историю, поэтому делаем лучшее из того, что нам остается: мы сравниваем подопытную группу с контрольной. Очевидно, но при этом очень важно, что группы должны быть сравнимы между собой, им необходимо репрезентативно представлять какую-либо популяцию. Если эти условия соблюдены, результаты могут быть перенесены на популяцию в целом. К чести Даниила, он, похоже, это понимал. Он не просит овощей только для себя: если опыт покажет, что вегетарианская диета лучше, тогда эта диета в будущем будет дозволена всем невольникам-израильтянам. По крайней мере, так я интерпретирую фразу «Поступай с рабами твоими, как увидишь».
Даниил понимал также и то, что сравнения нужно проводить между группами. В этом смысле он уже был мудрее многих наших современников, которые выбирают, например, модную диету только потому, что какая-то их подруга села на нее и похудела. Если вы выбираете способ питания, основываясь только на опыте одной подруги, вы предполагаете тем самым, что являетесь одинаковой с ней по всем важным в данном случае показателям: росту, весу, наследственности, условиям жизни, предшествовавшим диетам и т. д. Это очень большое допущение.
Другой ключевой момент в эксперименте Даниила в том, что он предполагался в будущем, а экспериментальные группы были подобраны заранее. По контрасту представьте, что вы смотрите рекламный ролик, в котором 20 человек все как один рассказывают, что сбросили вес на такой-то диете. Со стороны это довольно приличная выборка, поэтому некоторым зрителям ролик кажется убедительным. Но на самом деле это означает, что принимать решение придется, основываясь только на опыте людей, для которых она заведомо сработала. Из жизненного опыта вы знаете, что на одного человека, которому диета помогла, приходится десяток таких же, как он или она, которые тоже ее пробовали, но безрезультатно. Но их, конечно, не станут показывать в рекламном ролике.
По всем этим показателям эксперимент Даниила был очень современным. Контролируемые заранее планируемые эксперименты по-прежнему остаются фирменным знаком хорошей науки. Однако об одной важной вещи Даниил не подумал: это систематическая ошибка. Допустим, что Даниил и его друзья изначально здоровее, чем контрольная группа. В этом случае их здоровый внешний вид на десятый день диеты может быть никак не связан с самой диетой: он лишь отражает их общее здоровье. Не исключено, что они выглядели бы даже лучше, если бы согласились есть мясо со стола царя!
Рис. 21: Самая базовая версия путаницы: Z — это путаница в предполагаемой причинно-следственной связи между X и Y.
Систематическая ошибка наблюдается, когда некая переменная влияет на представителей одновременно и подопытной, и контрольной групп. Иногда эти вмешивающиеся переменные известны; в других случаях о них можно только догадываться и они действуют как скрытые переменные. На каузальной диаграмме вмешивающиеся переменные, или конфаундеры, легко распознать: на рис. 21 переменная Z в центре вилки осложняет переменные X и Y (позже мы увидим более универсальное определение, но такой треугольник — самая узнаваемая и распространенная ситуация). Из диаграммы легко понять, почему вмешивающуюся переменную называют конфаундером. Истинный каузальный эффект X → Y осложняется ложной корреляцией между ними, возникающей в результате вилки X ← Z → Y. Например, если мы тестируем некое лекарство и даем его пациентам, которые в среднем моложе, чем контрольная группа, возраст становится конфаундером — скрытой третьей переменной. Если у нас нет данных по возрастам испытуемых, мы не сможем отделить истинный эффект нашего препарата от ложного эффекта.
Однако верно и обратное. Если у нас есть измерения третьей переменной, то разделить истинный и ложный эффекты становится очень просто. Так, если вмешивающаяся переменная — это возраст, мы сравниваем опытную и контрольную группу в каждой возрастной группе отдельно. Затем можно усреднить воздействие, подсчитывая вес каждой группы соответственно ее проценту в целевой популяции. Этот метод компенсации знаком всем статистикам: он называется «корректировка по Z» или «поправка по Z».
Как ни странно, статистики одновременно и недо-, и переоценивают важность корректировки по конфаундеру. Переоценка заключается в том, что поправки вводятся по слишком многим переменным или даже по переменным, по которым их вводить неправильно. Недавно я наткнулся на цитату из политического блогера по имени Эзра Кляйн, в которой эта гиперкорректировка описана весьма точно: «В статьях это попадается постоянно. „Мы скорректировали данные по…”. Далее следует список, чем он длиннее, тем лучше. Уровень дохода. Возраст. Раса. Религия. Рост. Цвет волос. Сексуальные предпочтения. Регулярность посещения спортзала. Любовь к родителям. Кока-кола или пепси-кола. Чем больше корректировок, тем значительнее ваша статья. Ну или, по крайней мере, тем значительней она выглядит. Поправки дают ощущение конкретики, точности. Но иногда поправок слишком много, и в результате вы корректируете как раз то, что хотите измерить». Кляйн затрагивает важную тему. В статистике давно образовалось непонимание того, какие переменные следует, а какие не следует корректировать, поэтому по умолчанию поправки стали вводить для всего, что только можно измерить. Подавляющее большинство современных работ поддерживают эту практику. Это удобная и несложная процедура, но она одновременно тратит впустую время и создает ошибки. Ключевое достижение Революции Причинности в том, что она положила конец этой путанице.
