Причина популярности метаанализа объясняется большим разнообразием биологических систем и тем, что исследуемые эффекты часто бывают так незначительны, что убедительное доказательство не может быть получено на основании нескольких экспериментов. Кроме того, в науке убедительность того или иного положения требует его успешной повторяемости независимыми исследователями. Таким образом, метаанализ одновременно показывает, какова вероятность существования предполагаемого явления и обнаруживает ли оно периодическую повторяемость со стороны различных исследователей.
Среди 309 экспериментов с принудительным выбором общий результат показывает малый, но устойчивый эффект с коэффициентом исключения случайности 1025 к одному. То есть десять миллионов миллиардов миллиардов к одному
[251]. Это означает, что в цель попадали слишком часто, чтобы можно было говорить о случайном совпадении, и, следовательно, исследуемая группа людей продемонстрировала реальное владение своим навыком – в данном случае, предвидением.
Почему же предвидение не принимается официальной наукой, раз его реальность была доказана экспериментальным путем? Одна из возможных причин состоит в том, что исследователи склонны публиковать результаты своих успешных исследований и умалчивать об остальном, что приводит к дилемме избирательности результатов, известной как «проблема картотеки». Эта проблема выражается в обесценивании статистической оценки метаанализа, и ее решение требует адекватной оценки того, сколько неудачных результатов исследований могут скрываться где-то «в глубинах картотеки», а также то, насколько могут эти гипотетические исследования снизить вероятность известного результата.
Для данного случая было подсчитано, что гипотетическая картотека требует 46 неопубликованных исследований на каждый известный эксперимент для снижения фактора случайности. Тогда как эмпирическое правило для оценки уместности принципа картотеки определяет соотношение неопубликованных исследований к опубликованным как 5 к 1. В данном случае кажется крайне маловероятным, чтобы подсчитанное число неопубликованных исследований могло бы перевесить имеющиеся результаты. Дальнейший анализ показал, что 23 из 62 исследователей (37 %) сообщили об успешных результатах, так что общие результаты были получены не просто на основании пары чрезвычайно успешных и оттого вызывающих подозрение экспериментов.
Другое опасение по поводу достоверности метаанализа связано с тем, что эксперименты, показавшие положительные результаты, могли проводиться без должной тщательности, в то время как отрицательные результаты были получены благодаря тщательной подготовке. Если бы дела обстояли подобным образом, тогда при оценке качества методов, использованных в каждом исследовании, и последующем сравнении с подлинными результатами исследований мы должны были бы обнаружить отрицательное соотношение (то есть чем лучше подготовка, тем хуже результаты).
Среди экспериментов с принудительным выбором, взятых для этого метаанализа, 246 были описаны достаточно подробно, чтобы сделать возможным анализ их качества. И вместо обнаружения отрицательного соотношения было обнаружено малое положительное соотношение между качеством исследования и величиной эффекта, так что полученные результаты не определялись различиями в качестве экспериментов.
Еще один часто применяемый способ проверки состоит в сравнении величины измеряемого эффекта по результатам малых и больших исследований. Такая проверка призвана подтвердить, что если исследуемый эффект является подлинным, то исследования с большим числом испытаний или участников должны будут показать большую подлинность данного эффекта.
Отступление о важности статистики: Для наглядности представим, что мы подбрасывали монету и заподозрили, что она слегка искривлена. Мы считаем, что из-за этого искривления вероятность выпадения орла составит 51 % вместо 50 %. Если мы подбросим монету 100 раз, мы можем рассчитывать, что в случае нашей правоты орел выпадет на один раз больше, чем решка. Этот перевес на 1 % подтвердит наше подозрение, но способны ли 100 подбрасываний монеты обеспечить твердую уверенность в том, что она на самом деле искривлена?
Выясняется, что этого недостаточно. При 100 подбрасываниях исключение случайности для выпадения 51 орла вместо 50 составляет лишь 2 к 1. Это не очень убедительно. Поэтому мы продолжаем экспериментировать, подбрасывая монету снова и снова – и так 100 000 раз. И опять, при сложении результатов мы обнаруживаем тот же перевес в сторону орла на 1 %, что в данном случае означает на 1000 орлов больше, чем решек. Но теперь при вычислении коэффициента исключения случайности этого 1 % мы получаем соотношение 7,8 миллиарда к 1. Это обеспечивает очень убедительное доказательство того, что монета действительно искривлена. Почему же коэффициент соотношения случайности так изменился? Потому что, когда вы повторяете эксперимент множество раз, достоверность исследуемого эффекта постепенно повышается.
Этот пример с подбрасыванием монеты показателен в отношении малых эффектов, обычно наблюдаемых в экспериментах с принудительным выбором на достоверность психических феноменов. Но если эффект достоверен, тогда мы можем ожидать, что эксперименты с большим числом повторений обеспечат более убедительное обоснование. То есть мы можем ожидать положительного соотношения между величиной исследования и его статистическими результатами. Вот что позволил установить метаанализ экспериментов на достоверность предвидения с принудительным выбором.
Так достаточно ли всех этих подтверждений, чтобы признать существование предвидения? С точки зрения безнадежного скептика – нет, недостаточно. Некоторые ученые думают, что сама идея предвидения нелепа, а некоторые философы считают, что предвидение логически невозможно, так что оно не может существовать, каковы бы ни были факты.
Таким образом, для демонстрации убедительного эффекта сверхнормальных сил нам нужно нечто большее, чем простое свидетельство – нам нужно суперсвидетельство. Для этого нужно рассмотреть другие типы экспериментов на предвидение, чтобы понять, ведут ли различные подходы к тем же заключениям. Но перед этим имеет смысл коснуться темы «величины эффекта», поскольку она возникнет еще не раз в ходе обсуждения нашей темы.
Величина эффекта
Существует представление о том, что чем меньше проявлен эффект, тем выше вероятность того, что он возник случайно и не может считаться аргументом в пользу реальности какого-то явления. Кому какое дело до чего-то настолько ничтожного, что это почти невозможно увидеть или измерить? Возможно, перед Белым домом каждый день приземляются инопланетяне, но если они меньше муравьев, кому какое до них дело? Что ж, в следующий раз, когда подхватите грипп и будете сотрясаться от приступов кашля, вам стоит пересмотреть этот вопрос. Когда мы имеем дело с вопросом «реально ли это», размер не имеет значения.
И все же, когда речь идет о малых эффектах и маломасштабных экспериментах, обнаружить искомое может быть очень непросто, ведь это похоже на попытку настроиться на радиостанцию с очень слабым сигналом, заглушаемым шумовыми помехами. Именно поэтому была разработана техника метаанализа. Она позволяет получать большую уверенность в малых эффектах, при условии, разумеется, что эти эффекты реальны. Метаанализ не поможет вам создать волшебным образом несуществующий эффект.
