Гленн Бегли и Ли Эллис провели работу, нацеленную на воспроизведение результатов 53 ключевых доклинических исследований методов лечения рака. Они обнаружили, что результаты воспроизводятся только в 6 из 53 исследований, что составляет всего 11 %
[114].
Леонард Фридман и его коллеги приводят данные исследований, которые оценивают количество невоспроизводимых доклинических медицинских исследований в диапазоне от 51 до 89 %. Оценка стоимости финансирования исследований, результаты которых не удалось позднее воспроизвести, показала, что они обходятся примерно в $28 млрд в год
[115].
Основываясь на данных такого рода, Брайан Носек из Вирджинского университета возглавил проект «Воспроизводимость», в рамках которого была осуществлена попытка воспроизвести 100 исследований, опубликованных в 2008 г. в научной литературе по психологии
[116]. Из 97 исследований, которые первоначально дали статистически значимые
[117] результаты, команде Носека удалось повторить только 35. Как и следовало ожидать, сам проект Носека тоже не был бесспорным – некоторые ученые обратили внимание на серьезные недостатки его работы, такие как намеренный выбор 100 исследований для воспроизведения. Это справедливо говорит о том, что даже исследования темных данных могут страдать от проблем с ними связанных. Темные данные есть везде – и это не преувеличение.
Подобные выводы, безусловно, тревожат, но мы не должны ни на мгновение забывать, что наука – это процесс отсеивания. Многие критики, словно дети, придерживаются идеализированного взгляда на науку, полагая эксперимент неким разовым мероприятием, которое должно «доказать» или «опровергнуть» существование какого-либо явления. Но наука куда сложнее. И это нормально. Сама природа научных исследований указывает на то, что они проводятся на границах известного – там, где доминирует неопределенность. Поскольку исследователи пытаются выделить некий крошечный сигнал из шума, разумно ожидать, что часто этот шум будет влиять на результаты, сдвигая их в неверном направлении. В самом деле, мы могли бы пойти дальше и заявить, что, если бы не было экспериментальных результатов, которые не прошли тест на воспроизводимость, это означало бы, что ученые просто не выполняют свою работу. Иными словами, они недостаточно предприимчиво и креативно раздвигают границы нашего понимания.
Смысл всего вышесказанного заключается в том, что процесс научного познания не нарушен. Невоспроизводимость является признаком того, что наука остается наукой, что гипотезы проверяются, а те, которые не соответствуют действительности, в итоге отклоняются. Кроме того, мы видим, что наука действительно работает. Достаточно взглянуть на наши успехи в понимании природы и передовые технологии, воплощенные в материалах, машинах и медицине.
Однако, даже если научный процесс не нарушен, очевидно, чем меньше изначально неверных выводов, тем лучше (при условии, что верные научные теории отклоняются на раннем этапе не слишком часто). И путь к этому лежит через улучшение проектирования исследований. Но, кроме того, существуют аспекты научной культуры, которые часто побуждают людей идти на риск и заставляют переступать границу. Иоаннидис и многие из тех, кто высказывался на эту тему после, обращали внимание на эти аспекты. Мы еще вернемся к ним, но прежде проведем аналогию с космической программой США.
На заре ракетостроения, когда ракетные двигатели и системы лишь отрабатывались, границы нашего понимания того, как они поведут себя, были намного уже, и, естественно, сбои происходили довольно часто. Как описал Том Вулф в своей книге «Битва за космос»
[118], пессимизм ученых выражался короткой фразой: «Наши ракеты всегда взрываются». Всякий раз при исследовании границы вы непроизвольно переступаете черту, а иногда проводите даже до половины своего времени с той стороны, если сидите прямо на этой границе. И на основе этих результатов (возможно, в ракетостроении их принято называть «неудачами», но все-таки с научной точки зрения это «результаты»), благодаря тщательному проектированию вы пытаетесь попасть на «правильную сторону» в будущем, чтобы ваши ракеты не взорвались, а ваши научные выводы оказались верными. Но сама природа исследования означает, что вы рискуете. Это риск, на который приходится идти, чтобы узнать, где проходит граница.
Итак, какие аспекты научной культуры могут подтолкнуть исследователей к тому, чтобы оказаться не с той стороны границы, то есть к ложным утверждениям и невоспроизводимым результатам?
Понятие «предвзятость публикаций» описывает тот факт, что опубликованная научная литература не является достоверным представлением всей проводимой в науке работы. Это означает, что большое количество научных данных не опубликовано и пылится в ящиках столов или обрастает метафорической пылью на жестких дисках, на которые никто не заглядывает. Эти скрытые результаты являются не просто случайным выбором, они становятся таковыми из-за действия нескольких сил (DD-тип 3: выборочные факты). Одна из таких сил – склонность журналов отдавать предпочтение удивительным результатам и новшествам. Эксперимент, который привел к неожиданному результату, с большей вероятностью вызовет интерес, чем тот, о котором скажут: «Да, это именно то, что я ожидал».
Этот эффект «пылящихся файлов» привел к появлению «Журнала незначимых отклонений» (The Journal of Non-Significant Differences). В статистике «значимость» – чисто технический термин, и мы о нем еще будем говорить подробнее. Пока же вкратце: значимым результатом является тот, который вряд ли будет получен, если тестируемая гипотеза верна. Поэтому, если он все же получен, это заставляет усомниться в истинности гипотезы. И наоборот, незначимый результат – это тот, который подтверждает гипотезу, тот, о котором и говорят: «Да, это именно то, что я ожидал». «Журнал незначимых отклонений» публикует только те исследования, которые дают незначимые результаты, с целью донести «до понимания тот факт, что исследования не должны быть обязательно значимыми, чтобы обеспечить ценными сведениями процесс познания»
[119]. (Между прочим, существует еще и «Журнал невоспроизводимых результатов» (The Journal of Irreproducible Results), основанный в 1955 г., но это журнал научного юмора – не перепутайте их!
[120])
