К сожалению, большинство из нас узнали о лауреатах Нобелевской премии, классических экспериментах и изменивших мир теориях методом «следуй по дороге из желтого кирпича». Иными словами, нам не приходилось много думать. Опять же, само по себе это не плохо. Плохо останавливаться на этом. Чтобы по-настоящему понять эпидемиологию питания или любую другую науку, нужно научиться ценить ее красоту и недостатки. Вы должны уметь замечать ошибки или разрывать что-то на части. Необходимо выискивать альтернативные объяснения или самое слабое звено в аргументации. Короче говоря, вы должны видеть в людях лучшее, но при этом быть мерзавцем.
Не беспокойтесь, это очень весело.
Глава 7. Связи, или Очень много математики
Эта глава об энтах, частных самолетах, выбоинах, оливковом масле, Скорпионах и Санте.
Начальный этап нашего тура по науке – это глубокое погружение в первый вопрос: является ли связь между двумя вещами подлинной? Честно говоря, до недавнего времени я вообще об этом не думал. Я просто предполагал, что если исследование провели именитые ученые из Лиги плюща, то связь точно является подлинной.
Оказывается, я был слишком наивен. Даже корреляции, установленные самыми именитыми учеными, при ближайшем рассмотрении могут оказаться неподлинными. Но что это на самом деле значит? К сожалению, единого определения не существует. Позвольте мне провести не самую необходимую аналогию: установить подлинную связь – это как проехать по дороге, где полно выбоин (и где периодически происходят землетрясения), и не повредить автомобиль. Чтобы объяснить, почему это так сложно, гораздо проще будет сосредоточиться на ямах, а не на дороге. Давайте достанем увеличительное стекло и хорошенько рассмотрим эти колдобины.
Первая выбоина: обман. Для этого увеличительное стекло не требуется. Ученые действительно иногда что-то выдумывают и публикуют статьи об этом. К счастью, такое бывает редко.
Вторая выбоина: базовые математические ошибки.
Как это ни поразительно, но в опубликованных научных статьях часто встречаются арифметические ошибки. Если бы вы взяли статью «Кратковременный и долгосрочный эффект интракоронарной трансплантации стволовых клеток 191 пациенту с хронической сердечной недостаточностью: исследование STAR» и посмотрели на таблицу 2, то увидели бы следующий расчет:
1539–1546 = –29,3
Как вы помните из школьных уроков математики, при вычитании одного целого числа из другого десятичная дробь не может получиться ни при каких условиях. Если взять 14 лошадей и из них вычесть 8, то вы никак не получите половину лошади. Аналогично, если вы вычтете 1546 из 1539, то 0,3 в ответе быть не может. Ближе к делу: если вы вычтете 1546 из 1539, то получите –7, а не –29,3.
В опубликованных научных статьях часто встречаются арифметические ошибки.
Другие промахи могут быть не так очевидны, но от этого они не перестают быть ошибками. Рассмотрим такой пример: если в группе 200 пациентов и вы рассчитываете процент больных с определенным заболеванием, то просто не можете получить 18,1 %, что встречается в таблице 1 той же статьи. Почему? Потому что 18,1 % из 200 – это 36,2, то есть 36 и 1⁄ 5 человека.
Простые арифметические ошибки – это лучший вид промахов, потому что их относительно легко заметить. Когда математические вычисления усложняются, заметить проблему становится сложнее.
В 2014 году трое ученых опубликовали поразительные результаты в «Мировом журнале акупунктуры и моксотерапии» (World Journal of Acupuncture-Moxibustion). В рандомизированном контролируемом исследовании ученые сравнили две группы пациентов с лишним весом или ожирением, которые пытались похудеть. Первой делали меридианный массаж, а второй нет
[117].
Испытуемые из второй группы потеряли 3,7 килограмма за два месяца, а представители первой сбросили в два раза больше – 7 килограммов (более 9 % от их изначального веса) за это же время. Потерять 10 % веса тела за два месяца было бы невероятно. Исследователю ожирения и математику Дайане Томас эти результаты в буквальном смысле показались неправдоподобными. В письме редактору «Мирового журнала акупунктуры и моксотерапии» она и ее коллеги написали: «Мы заметили несколько странностей». В переводе с языка науки это означает: «Вы, вероятно, были не в себе, когда писали эту статью».
Команда ученых, опубликовавшая оригинальное исследование, не привела необработанные данные. Тем не менее они опубликовали достаточно, чтобы Томас провела математическую проверку. Она оценила изменения в среднем росте двух групп до и после лечения. (Если вы знаете вес и индекс массы тела, вы можете рассчитать рост.) Все участники исследования были взрослыми людьми, поэтому логично предположить, что изменения в росте за два месяца будут нулевыми. Томас и ее коллеги обнаружили, что представители обеих групп выросли в ходе исследования: контрольная группа выросла в среднем на 2,5 сантиметра, а та, которой делали массаж, – почти на 6 сантиметров. Таким образом, участники исследования, которым проводилась процедура, потеряли 10 % массы тела и выросли на 6 сантиметров. Чем можно объяснить такие результаты?
1. Исследователи их придумали.
2. Некоторые испытуемые тайно съездили в Средиземье
[118], подружились с энтами, попробовали их напиток
[119], а затем вернулись в наш мир.
3. Несколько низких людей выбыли на середине эксперимента, и ученые это не учли.
4. Исследователи допустили множество математических ошибок.
Никто не знает, что на самом деле произошло, но даже не глядя на необработанные данные, мы знаем, что ошибки были допущены. Это как если бы вы бродили по Нью-Йорку и увидели, как страус пытается утащить рождественского эльфа, стоящего у магазина: вы не знаете, что именно пошло не так, но понимаете, что это ненормально. На момент написания этой главы авторы исследования так и не ответили Томас, а журнал не отозвал статью. (Кстати, я делаю ставку на причину номер три.)
Третья выбоина: процедурные ошибки. Так же как вы можете испечь отвратительный пирог, следуя плохому рецепту или случайно добавив соль вместо сахара, можно испортить эксперимент плохим планированием или проведением. Простые ошибки могут оказаться разрушительными. Например, в недавнем исследовании, связавшем черты личности с политической позицией, ученые случайно перепутали переменные для консервативных и либеральных взглядов. Поэтому все связи, о которых они сообщили, были полярно противоположны фактическим. Вместо подтверждения типичного вывода о том, что люди, получившие высокий балл в личностном опроснике Айзенка
[120] (что обычно ассоциируется с жесткостью, авторитаризмом и консервативными военными взглядами), ученые написали: «Вопреки нашим ожиданиям, высокие результаты коррелируют с более либеральными военными взглядами». Да, вышло не очень хорошо
[121].
