Нет.
Остин ученый и всю жизни превращал лимоны в лимонад, не боясь неудач. Он не собирается сдаваться.
Вместо этого он может сказать себе: «Это данные только за 2000 год. Возможно, если объединить информацию за 1999 и 2000 годы, я что-нибудь найду».
И он находит. Результат? Р-значение 0,43.
Окей, все уже движется в правильном направлении. Теперь он использует данные только за 1999 год.
Р-значение 0,12.
Ох, уже совсем близко!
Затем ему в голову приходит мысль: дети не могут быть алкоголиками (по крайней мере, он на это надеется). Он пробует снова, на этот раз используя только данные о людях старше 18 лет.
Р-значение = 0,071.
Почти получилось!
Теперь ему кажется, что учитывать 18-летних неправильно. Возможно, влияние Меркурия становится особенно сильным после 30 лет, поэтому он пробует еще раз, используя данные только о тех, кому от 30 до 40 лет.
Р-значение = 0,98.
Блин!
Теперь ему в голову приходит другая мысль. Вероятно, алкогольная зависимость редко встречается у студентов, поэтому он использует данные только о людях старше 22.
Р-значение = 0,043.
Джекпот! Можно публиковаться!
То, что сделал Остин в нашем мысленном эксперименте, является менее явной формой Р-хакинга. Вместо того чтобы проводить тысячи исследований, он провел одно, а затем подправлял его до тех пор, пока не получил то, что искал. В данном примере он манипулировал только парой переменных: возрастом людей и годом госпитализации. Однако также можно добавить больше людей из разных городов, разделить данные по полу, подправить детали алгоритма, который использовался для определения связей, или провести сотни других манипуляций с данными.
Что делает Р-хакинг таким коварным, так это то, что он очень… приятен. Вы настойчиво копаетесь в информации, пока не найдете ИСТИНУ. Как сказали три психолога в недавно вышедшей статье, «Р-хакинг – это не то, чем занимаются злобные ученые, маниакально смеясь. Это то, что делают доброжелательные исследователи, пытаясь понять иначе несовершенные результаты».
Некоторые скажут, что это больше, чем просто попытка понять результаты. Многие исследователи, с которыми я говорил, возложили часть вины на сильное давление, связанное с публикацией только статистически значимых результатов. Регина Нуццо сформулировала это лучше всех:
Система вознаграждений устроена таким образом, что вам приходится добиваться статистической значимости. Это как достичь оргазма. Похоже, правда? Вам приходится продолжать действовать, пока не достигнете кульминации.
«Но, – добавляет она, – так не должно быть ни в сексе, ни в науке. Значение имеет сам процесс».
* * *
Итак, давайте еще раз назовем все выбоины на дороге к подлинной связи.
Выбоина № 1: обман
Выбоина № 2: базовые математические ошибки
Выбоина № 3: процедурные проблемы
Выбоина № 4: случайность
Выбоина № 5: манипуляции статистикой, включая Р-хакинг
Теперь давайте еще раз назовем некоторые пугающие цифры из первой главы.
Все эти связи были выявлены в результате двух больших когортных исследований: одно испанское (SUN), а другое французское (NutriNet-Santé).
Итак, давайте поговорим о выбоинах.
Выбоина № 1: обман
Давайте считать, что лжи не было.
Выбоина № 2: базовые математические ошибки
Также предположим, что в этих исследованиях не было глупых математических ошибок. Возможно, это слишком великодушно с нашей стороны, ведь у нас нет доступа к необработанным данным. Когда в статье говорится «повышение риска на 21 %», нам приходится принимать это за чистую монету и верить, что авторы не хотели на самом деле написать «12 %».
Выбоина № 3: процедурные проблемы
Теперь посмотрим, что именно представляют собой данные. Оба этих крупных когортных исследования по сути являются масштабными опросами.
Главными способами сбора информации являются рассылка бумажных анкет по почте и заполнение участниками эксперимента опросников в интернете. Это значит, что оба испытания опираются на то, что люди точно вспомнят все (и правдиво об этом расскажут): что они ели, беременны ли они, сколько весят, какой у них рост, содержание холестерина в крови и многое другое. В SUN участникам задали 554 вопроса, как только они присоединились к исследованию, а затем еще по 200 каждые два года. Основываясь на том, что мне известно, могу сказать, что практически обо всех изменениях ученым сообщали сами респонденты. Иными словами, ни медсестры, ни врачи, ни исследователи даже не встречались с подавляющим большинством испытуемых, не говоря уже о том, чтобы взять у них кровь на анализ, взвесить или осмотреть. Только некоторых участников обследовали лично, чтобы сравнить результаты с теми, о которых они заявили. Большинство людей просто заполняли анкеты.
Даже если они не лгали и сообщали обо всем на 100 % точно, использованные опросники давали информацию только об ограниченных временных периодах. Данные французского исследования, связавшего потребление ультраобработанных пищевых продуктов с риском преждевременной смерти, были получены от людей, заполнивших в среднем шесть опросников (каждый охватывал 24-часовой период) о питании за два года. Если ученые получали данные от человека, посетившего детский день рождения, то они дико переоценивали потребление испытуемым ультраобработанных пищевых продуктов. Если они получали данные от респондента, который находился в середине программы чистки организма соками, то они сильно недооценивали потребление им ультраобработанных продуктов. Такие ошибки могут сбить вас с пути двумя способами: вы рискуете либо преувеличить, либо преуменьшить риск. Другими словами, это может быть либо ложная тревога, либо вовремя не сработавшая сигнализация.
Такие опросники о питании являются причиной самых оживленных научных дебатов из всех, что я когда-либо видел, но мы вернемся к этому позднее.
Выбоина № 4: случайности
Они могли бы стать фактором, но, как нам уже известно, мы не можем просто посмотреть на Р-значение и понять, вызван ли результат случайностью. Однако есть еще кое-что, что вы можете сделать: расслабьтесь. Отдохните. Успокойтесь. Зачем? Чтобы увидеть, что сделают другие ученые: подтвердят или опровергнут полученный результат. Во время моей работы над книгой вышло еще два исследования, связавших потребление ультраобработанных пищевых продуктов с негативными последствиями для здоровья, одним из которых является преждевременная смерть. Однако говорить об этом еще рано.
