Процедурные ошибки также могут быть намного сложнее. Давайте поговорим об исследовании PREDIMED (Prevention with Mediterranean Diet, «профилактика с помощью средиземноморской диеты»), которое должно было окончательно ответить на вопрос о том, снижает ли эта система питания риск развития сердечно-сосудистых заболеваний. (Если вы забыли, то средиземноморская диета была модной до кетогенной. Тот, кто ее придерживается, в основном ест растения, вымоченные в оливковом масле, и иногда добавляет к ним рыбу и бокал красного вина.)
PREDIMED было масштабным долгосрочным рандомизированным контролируемым исследованием: за пять лет в нем приняло участие почти пять тысяч человек. Вероятно, оно обошлось дороже, чем реактивный самолет бизнес-класса Gulfstream G650 (в народе известный как G6). Казалось, что деньги были потрачены не зря: в 2013 году была опубликована статья, в которой говорилось, что у людей, которые придерживались средиземноморской диеты, дополненной оливковым маслом и орехами, риск развития сердечно-сосудистых заболеваний был ниже примерно на 30 %.
К сожалению, ученые в одном из исследовательских центров допустили очень серьезную ошибку. Они рандомизировали не людей, а клиники. Иными словами, вместо того чтобы разделить испытуемых на две группы (первую, которая придерживалась обычного питания, и вторую, которая следовала средиземноморской диете), они просто определили пациентов одной клиники в одну и ту же группу. Чтобы понять, почему это большая проблема, давайте предположим, что каждая больница обслуживает одну деревню. Предположим, что этот населенный пункт находится прямо наверху ядерного космического корабля и в активной зоне реактора этого судна произошла утечка радиоактивных отходов. Это привело к тому, что риск сердечного приступа у жителей деревни возрос на миллиард процентов. На кого ни посмотри – у всех инфаркт миокарда.
Теперь предположим, что в деревню приходят благожелательные исследователи и определяют всех ее жителей, склонных к сердечному приступу, в группу, которая должна следовать средиземноморской диете. Что произойдет? Риск инфаркта у этой группы взлетит до небес, и если не знать о ядерном космическом корабле, то можно подумать, будто средиземноморская диета стала причиной этому. Если бы исследователи определили всю деревню в контрольную группу (обычное питание), то риск сердечного приступа среди ее представителей стал бы значительно выше, чем у членов группы, которая придерживалась средиземноморской диеты. Это сделало бы эту систему питания чудодейственным лекарством.
Очевидно, под испанскими деревнями нет космических кораблей, по крайней мере, я об этом не знаю. Однако смысл в том, что люди, живущие рядом, могут подвергаться одинаковым воздействиям, которые улучшают или ухудшают их здоровье. Если не рандомизировать испытуемых, то можно искусственно завысить или занизить эффективность препарата, диеты или любого другого вмешательства, которое вы изучаете
[122].
Ошибка в исследовании PREDIMED была обнаружена через пять лет после первой публикации результатов. «Медицинский журнал Новой Англии» (New England Journal of Medicine) отозвал статью, но позволил авторам повторно проанализировать данные (исключая нерандомизированную деревню) и снова опубликовать результаты исследования. Возможно, в этом нет ничего удивительного, но экспериментаторы пришли к тем же выводам. Данные не являются общедоступными, поэтому некоторые специалисты по эпидемиологии питания, с которыми я беседовал, относятся к результатам скептически. Верите вы этим выводам или нет, никто, даже авторы исследования, не спорит, что неправильная рандомизация жителей деревни была ошибкой.
Возможно, с моей стороны было идеалистично и наивно ожидать, что литература может быть полностью свободна от глупых математических и процедурных ошибок. Опять же, ученые – тоже люди, поэтому не стоит так удивляться. В любом случае вопрос не в том, есть ли ошибки в научной литературе, а в том, сколько их и насколько они серьезны.
К сожалению, ответить на этот вопрос сложно. В большинстве случаев о недочете можно узнать только в том случае, если другие ученые укажут на него, причем публично. Это неприятный опыт для всех, кто вовлечен в эту ситуацию. Указать на ошибку в научном журнале – все равно что вломиться на кухню ресторана с двумя звездами Мишлен
[123] и попросить шеф-повара переделать sylphides à la crème d’écrevisses (французский крем-суп из раков) перед вами и всеми присутствующими, чтобы вы могли убедиться, что в блюде действительно нет глютена. Это неприятно для тебя и унизительно для шеф-повара и кончится плохо для обеих сторон.
Вопрос не в том, есть ли ошибки в научной литературе, а в том, сколько их и насколько они серьезны.
Однако у некоторых ученых, похоже, нет с этим проблем. Почти каждый раз, когда я, изучая литературу, натыкался на статью с указанием на ошибку в другой публикации, замечал, что одним из ее авторов является Дэвид Эллисон, исследователь ожирения. Я позвонил ему, чтобы спросить, сколько ошибок он встречает в научной литературе. Он ответил мне метафорично.
Если бы меня спросили, много ли трещин в тротуарах большинства городов, я бы ответил: «Ну, я никогда не проводил формальный анализ, но я часто выхожу на прогулки, и каждый раз, когда гуляю более десяти минут, замечаю хотя бы одну трещину. Поэтому мне кажется, что в тротуарах, вероятно, много трещин». То же самое я могу сказать о литературе. Каждый раз, отправляясь «гулять» в мир научных публикаций, я нахожу несколько статей, в которых есть четкие и однозначные ошибки.
Вот так.
Ладно, три выбоины обсудили, осталось четыре.
* * *
Четвертая яма на дороге к подлинным связям – это случайности. Чтобы объяснить это, давайте рассмотрим пример канадцев (эх!). Во-первых, удивительный факт: большинство жителей Онтарио находятся в гигантской базе данных с типичным для этой страны серьезным названием «База данных зарегистрированных лиц» (RPDB). Она содержит основную информацию (имя, дата рождения и т. д.) о более чем 10 миллионах жителей канадской провинции, но ее реальная мощь в том, что каждому человеку присуждается уникальный идентификационный номер. Всякий раз, когда житель Онтарио попадает в больницу, каждая процедура, которую ему проводят, фиксируется в другой базе данных с помощью иного идентификационного номера.
Эти данные не являются общедоступными, но исследователи могут запросить доступ к ее анонимной версии. Это может быть полезно, чтобы ответить на важные вопросы, например: возрастает ли частота обращений за медицинской помощью по мере старения? Однако она также может использоваться, чтобы получить менее важную информацию, например: действительно ли Близнецы более склонны к алкоголизму, или правда ли, что Дев сильнее тошнит во время беременности? Если вы внимательно посмотрите на эти вопросы, то увидите, что в них скрываются наши старые друзья – связи. Вопрос «Действительно ли Близнецы более склонны к алкоголизму?» равнозначен «Связано ли рождение под этим знаком с повышенным риском развития алкоголизма?» Если такие вопросы останутся без ответов, это будет преступлением против науки, поэтому в середине 2000-х годов коллектив исследователей решил на них ответить. Группа, возглавляемая Питером Остином, запросила доступ к базам данных и получила сравнения, которые выглядели так.
