Действия, направленные на получение статистически значимых результатов, известны как P-хакинг
[251], и хотя самый очевидный метод – выполнить несколько проверок, а опубликовать только наиболее значимый результат, есть гораздо более тонкие способы, позволяющие исследователям реализовать свои «степени свободы».
Делает ли вас прослушивание песни «Битлз» When I’m Sixty-Four моложе?
Вы можете быть вполне уверены в правильном ответе на этот вопрос. Что делает его еще более впечатляющим, учитывая, что Симонсон с коллегами ухитрились (нужно признать, довольно мудреными средствами) получить существенный положительный результат
[252].
Студенты Пенсильванского университета, распределенные случайным образом, слушали композиции When I’m Sixty-Four группы «Битлз», или Kalimba, или Hot Potato группы The Wiggles. Затем испытуемых спрашивали, когда они родились, на сколько лет себя ощущают и еще задавали несколько абсолютно не относящихся к делу вопросов
[253].
Симонсон с коллегами постоянно анализировали эти данные всеми способами, до которых смогли додуматься, и продолжали набирать участников, пока не обнаружили некоторую значимую связь. Это случилось после 34 испытуемых, и хотя между их возрастом и записями, которые они слушали, не было выявлено никакой связи, при сравнении только When I’m Sixty-Four и Kalimba удалось получить P < 0,05 в регрессии, учитывавшей возраст отца. Естественно, исследователи сообщили только о значимом результате, не упомянув о бесчисленном количестве манипуляций и избирательной отчетности – все это было раскрыто только в конце статьи, которая стала классической преднамеренной демонстрацией практики, получившей название «харкинг» – выдвижение гипотез после того, как известны результаты
[254].
Сколько людей на самом деле участвуют в сомнительных исследовательских практиках?
В опросе 2155 американских психологов, проведенном в 2012 году
[255], только 2 % признались в фальсификации данных. Но когда им задавали вопросы по списку, состоящему из десяти сомнительных исследовательских практик:
• 35 % сказали, что сообщили о неожиданном результате, как будто прогнозировали его изначально;
• 58 % признались, что продолжили собирать данные после проверки значимости полученных результатов;
• 67 % заявили, что не сообщили обо всех ответах в исследовании;
• 94 % признались, что использовали как минимум одну из вышеуказанных сомнительных исследовательских практик.
Проблемы с коммуникацией
Независимо от того, насколько хороша (или нет) статистическая работа, в какой-то момент ее нужно представить на суд аудитории – коллегам-профессионалам или широкой публике. Ученые – не единственные, кто делает заявления на основании статистических данных. Правительства, политики, благотворительные и другие общественные организации – все сражаются за наше внимание, используя цифры и науку, чтобы обеспечить «объективную» основу для своих утверждений. Технологии способствуют увеличению разнообразия источников, постоянно расширяется общение в социальных сетях, но средств контроля их надежности у нас немного.
На рис. 12.1 представлен сильно упрощенный процесс поступления к нам статистических доказательств
[256]. Он начинается с первоисточника данных, затем они, пройдя через лиц, принимающих решения, их пресс-службы, информационные подразделения, поступают к журналистам, которые пишут тексты, и редакторам, которые сочиняют к ним заголовки, и наконец доходят до нас – отдельных членов общества. Ошибки и искажения могут возникать на протяжении всего процесса.
Рис. 12.1
Упрощенная схема движения информационных потоков от первоисточников статистической информации до широкой публики. На каждом этапе есть фильтры, генерируемые сомнительными методами исследования, интерпретации и коммуникации, например избирательная отчетность, отсутствие контекста, преувеличение важности и так далее
Что происходит при печати?
Первый фильтр появляется при публикации статистического исследования. Многие работы вообще не издаются – либо из-за недостаточно интересных результатов, либо из-за несоответствия целям исследовательской организации: в частности, фармацевтические компании в прошлом часто обвиняли в сокрытии результатов исследований, которые их не устраивали. В итоге ценные данные оседают в «ящике стола», и создается положительное смещение для тех, которые появляются в печати. А мы не получаем необходимой информации.
Это положительное смещение усугубляется «открытиями», которые с большей вероятностью примут к печати в серьезных журналах, нежеланием публиковать повторные результаты и, конечно же, всеми сомнительными исследовательскими практиками, которые, как мы видели, могут привести к преувеличенной статистической значимости.
Пресс-служба
Еще больше потенциальных проблем возникает на следующем этапе схемы, когда научные материалы попадают в пресс-службы для освещения в СМИ. Мы уже видели, с каким энтузиазмом было воспринято исследование о социально-экономическом положении и риске опухолей головного мозга, в результате чего появился классический заголовок: «Почему поступление в университет повышает вероятность развития опухоли мозга». Эта пресс-служба не одинока в своих преувеличениях: одно исследование установило, что из 462 пресс-релизов британских университетов 2011 года
