Иоаннидис утверждает, что выяснить, какие переменные сидят на водительском месте, практически невозможно без проведения рандомизированных контролируемых испытаний.
Уиллетт парирует, что хорошо проведенные обсервационные исследования могут приспособиться к спутанным переменным достаточно хорошо, чтобы позволить делать публичные заявления о здоровье.
Мы завершили наш тур по периферии кроличьей норы. Я упростил аргументы и состав персонажей. За каждым человеком, Иоаннидисом и Уиллеттом, стоят другие. На каждый аргумент есть контраргумент. За этими контраргументами есть другие встречные доводы. Глубина кроличьей норы равна для вас глубине, на которую вы готовы опуститься, и на дне, скорее всего, найдутся только гордыня и страх.
* * *
Помните Шляпу мерзавца, которую мы впервые надели в седьмой главе? Носить ее, несомненно, весело, но в какой-то момент приходит пора сменить ее на каску и начать решать проблемы, вместо того чтобы просто указывать на них. Ученым нравится искать варианты, поэтому недостатка потенциальных решений не наблюдается.
Давайте рассмотрим их (очень быстро).
Самым драматичным и горячо обсуждаемым выходом является сокращение числа обсервационных исследований и перенаправление средств на масштабные рандомизированные контролируемые испытания. Вы можете догадаться, кто стоит в авангарде этой позиции, а кто яростно выступает против нее. Как бы цинично это ни звучало, я думаю, что этот конфликт будет разрешен только тогда, когда кто-то уйдет на пенсию первым… или получит право распоряжаться средствами Национальных институтов здоровья.
Что насчет проблемы Р-хакинга?
Один из вариантов ее решения – сделать то же, что и Кевин Холл: раздать поручения и предварительно зарегистрировать исследование, особенно план анализа данных. Другой выход – показать свою работу. Не просто кратко пересказать основные моменты, а подробно описать каждый шаг. Брайан Нозек неоднократно упоминал об этом в нашем разговоре. Он сказал, что это важнее предварительной регистрации:
Я лишь хочу, чтобы люди показывали, как пришли к выводам, независимо от того, каким образом они действовали. Путем проб и ошибок, следуя предварительно зарегистрированному плану, проводя разносторонний анализ – неважно, просто покажите свою работу с момента зарождения идеи до получения результатов.
Показывая в деталях, как вы сделали что-то, нужно продемонстрировать необработанные данные (анонимные, разумеется) и код, который использовался для их анализа. Одни исследователи воспринимают это нетерпимо, а другие относятся к этому нормально. Если бы вы, например, хотели загрузить и повторно проанализировать все необработанные данные, полученные в ходе исследования Кевина Холла, посвященного ультраобработанным пищевым продуктам, то вы могли бы это сделать
[145]. Если бы Уолтер Уиллетт намеревался найти слабые стороны исследования, он мог бы загрузить необработанные данные. А если бы Джон Иоаннидис желал указать на слабые стороны анализа, проведенного Уиллеттом, то и он мог бы скачать их и выполнить задуманное. Даже если бы случайная третья сторона преследовала цель залатать одни дыры в эксперименте и пробить другие, то она тоже могла бы это сделать, используя все ту же общедоступную информацию. Что-то подобное уже происходит, и я считаю, что это замечательно. Я на 100 % поддерживаю полный и открытый обмен знаниями.
Другое решение проблемы Р-хакинга – это создание так называемой кривой спецификации. Чтобы понять, как это работает, давайте сначала рассмотрим рецепт печенья с шоколадной крошкой. Даже имея фиксированный и неизменный список ингредиентов, вы можете проявлять гибкость, комбинируя их при приготовлении десерта. Вы можете точно следовать рецепту, но также можно менять многие вещи. Так, вы можете увеличить температуру в духовке на 15 °C; подождать, пока масло нагреется до комнатной температуры, прежде чем размять его, или не делать этого; положить тесто в морозилку на 20 минут, прежде чем поставить печенье в духовку; или посыпать солью каждый кусочек в отдельности, вместо того чтобы добавить ее в тесто. Возможности безграничны. То же самое касается исследований: даже при наличии одинаковых данных (ингредиентов) есть множество разных методов анализа этой информации, и от выбранного способа зависит конечный результат (печенье). Отчасти именно это делает Р-хакинг возможным.
В большинстве случаев ученые просто выбирают тот метод анализа данных, который кажется им лучшим. Проблема в том, что не все считают его таким. В этот момент на сцену выходит кривая спецификации. Ее цель – следовать ВСЕМ ВАРИАЦИЯМ РЕЦЕПТА. Таким образом, вместо одной партии печенья вы делаете сотни, систематически меняя каждую возможную переменную и наблюдая, как это влияет на вкус. В науке происходит то же самое: вы заставляете компьютер обрабатывать данные всеми возможными способами и наблюдаете, что получится. Если результаты получаются примерно одинаковыми, независимо от метода обработки данных, то вы можете быть уверены, что находитесь на правильном пути. Но если изменение способа анализа данных приводит к тому, что результаты получаются совершенно разными, то, возможно, они не соответствуют действительности.
В большинстве случаев ученые выбирают тот метод анализа данных, который кажется им лучшим.
Некоторые решения проблемы имеют отношение не столько к науке, сколько к здравому смыслу.
Если ваша реакция на разногласия между Уиллеттом и Иоаннидисом была такой: «Как могут два невероятно умных человека так оживленно спорить из-за того, что кажется таким… математическим?» – то вы не одиноки. Я тоже так думал. В конце концов, это спор не о морали, эмоциях или политике, а о цифрах и философии. Он связан с природой истины. По этой причине я ожидал, что одна сторона в итоге сложит метафорическое оружие и согласится с другой, основываясь на имеющихся данных.
Очевидно, я был слишком наивен.
Поговорив со множеством эпидемиологов, я обессилел. Один из них прекрасно подытожил, насколько воинствующе настроены противоборствующие стороны: «Я знаю Уолта 35 лет. Все это время мы спорим друг с другом».
Но затем я натолкнулся на то, что кардинально изменило мою точку зрения: так называемое состязательное сотрудничество. Оно подразумевает совместную работу двух людей, которые категорически не согласны друг с другом. Это не похоже на взаимодействие демократов и республиканцев, потому что последним обычно приходится на время забывать о разногласиях по конкретному вопросу (налоги) для совместной работы над менее спорным вопросом (строительство дорог). В науке состязательное сотрудничество подразумевает совместную разработку той самой темы, которая вызывает разногласия у ученых. Иными словами, Уиллетт и Иоаннидис могли бы вместе работать в сфере питания и здоровья. У вас может возникнуть логичный вопрос: разве это не было бы похоже на сотрудничество католической церкви с атеистами?
