Относительное увеличение или снижение, чаще всего выраженное в процентах, может ввести в заблуждение.
Относительного недостаточно. Важно задаться вопросом, каким был абсолютный прирост или снижение – в данном случае, сколько килограммов жира на самом деле потеряли обе группы и за какое время? В большинстве случаев процентные соотношения, используемые в СМИ и торговых брошюрах, призваны маскировать тот факт, что изменения были мизерными.
Если люди из контрольной группы сбросили 0,11 кг жира, а из группы потребителей кофе – 0,14 кг (примерно на 20 % больше) за восемь недель, выпивая по три чашки кофе в день, стоит ли рисковать побочными эффектами потребления высоких доз кофеина? Ни в коем случае.
Не доверяйте процентам, вырванным из контекста.
2. Утверждается ли, что причинно-следственную связь показало неэкспериментальное исследование?
Это настоящая золотая жила. Если хотите запомнить только один принцип из главы, выберите этот. Он указывает не просто на ошибку, а на смертный грех.
Неэкспериментальные (наблюдательные) исследования
[187]
, также называемые неконтролируемыми экспериментами, представляют собой изучение разных групп или слоев населения вне лаборатории и сравнение распространенности конкретных явлений, обычно болезней. Наглядный пример – «китайское исследование»
[188]
, результаты которого зачастую толкуют ошибочно.
Вот самый важный абзац в этой главе:
Наблюдательные исследования не в состоянии контролировать и даже документировать все задействованные факторы и переменные. Наблюдательные исследования могут только выявить корреляцию: А и Б существуют в одно и то же время в одной группе. Причин и следствий такие исследования не выявляют
[189]
.
В отличие от наблюдательных, рандомизированные и контролируемые исследования предполагают отслеживание переменных и, следовательно, могут выявлять причину и следствие (обусловленность): А вызывает появление Б.
В пародийной религии под названием «пастафарианство» умышленно смешиваются корреляция и обусловленность:
Наряду с сокращением численности пиратов наблюдался рост глобального потепления за тот же период.
Следовательно, глобальное потепление вызвано дефицитом пиратов.
И еще более наглядный пример:
В Сомали самая высокая численность пиратов И наиболее низкие выбросы углекислого газа среди всех стран мира. Совпадение?
Делая ничем не оправданные выводы о причинно-следственной связи из результатов наблюдательных исследований, изо дня в день зарабатывают хлеб насущный не только представители СМИ, но и причиннои финансово-мотивированные ученые, закрывающие глаза на собственный дефицит этики.
Не попадайтесь на удочку научного пастафарианства.
Очень важно не слушать советы, основанные исключительно на данных наблюдательных исследований. В 2004 году комментарий, опубликованный журналом International Journal of Epidemiology под заголовком «Парадокс гормонозаместительной терапии и коронарной сердечной недостаточности – конец наблюдательной эпидемиологии?» объяснил, почему к ним опасно прислушиваться. Наблюдения за одной группой женщин, получающих гормонозаместительную терапию (ГЗТ), показали снижение уровня сердечной недостаточности, и СМИ вместе со сторонниками ГЗТ поспешили раструбить об этом эффектном выводе: ГЗТ снижает вероятность сердечной недостаточности! Увы, рандомизированные и контролируемые испытания позднее показали отсутствие защитного эффекта и даже небольшое увеличение риска сердечной недостаточности у тех, кто получал ГЗТ.
Как такое возможно?
Выяснилось, что в наблюдательных исследованиях не учли разницу в социально-экономическом положении людей в группах, а также роль врачей, выбирающих для ГЗТ женщин, с самого начала в наименьшей степени предрасположенных к сердечной недостаточности. Последнее – пример тому, что отсутствие рандомизированного распределения участников по группам приводит к влиянию предвзятости экспериментаторов на результаты наблюдательного исследования.
В комментарии 2004 года постфактум справедливо отмечалось:
Различие результатов наблюдательных исследований и рандомизированных контролируемых испытаний, направленных на выявление связи между ГЗТ и коронарной сердечной недостаточностью, поставило эту идею [согласно которой добросовестно проведенные наблюдательные исследования могут дать оценку эффективности лечения, сопоставимую с оценкой рандомизированных контролируемых испытаний] под сомнение и, возможно, означает смерть наблюдательной эпидемиологии.
Наблюдательные исследования полезны для формирования гипотез (основанных на информации предположений, которые затем можно проверить в контролируемых условиях), но они не могут и не должны применяться для выявления причинно-следственных связей. Попытки выявить их таким способом безответственны и потенциально опасны.
3. Как были сделаны выводы в исследовании – на основании отчетов самих участников или на основании результатов опросов и наблюдений?
В 1980 году ученые на оторванной от мира исследовательской станции в Антарктиде вели записи обо всей пище, которую потребляли, и взвешивали ее. Раз в неделю участникам задавали вопрос о том, что они ели накануне (напомним: еду взвешивали, ее вес и состав записывали). Несмотря на внимательное ведение дневников питания, участники все-таки недооценивали свое потребление пищи на 20–30 %.
Да, их вполне могли ослепить снежные бури. Обстоятельства, в которых проводилось это исследование, нормальными не назовешь. А теперь посмотрим, как поступают в этом случае настоящие профессионалы.
WHI («Инициатива женского здоровья») – грандиозный проект стоимостью 415 миллионов долларов, осуществленный под эгидой Национального института здравоохранения. В нем участвовало почти 49 тысяч женщин. Проект был разработан с целью изучения ряда проблем со здоровьем, в том числе влияния рациона со сниженным содержанием жира на вероятность рака за восьмилетний период. Это широкомасштабное интервенционное исследование СМИ часто называли «золотым стандартом» в изучении питания. Доктор Майкл Тун из Американской онкологической ассоциации даже объявил WHI «роллс-ройсом среди исследований».
В 2006 году New York Times объявила о результатах под недвусмысленным заголовком:
