Значение понятия «величина эффекта» варьируется в зависимости от масштаба измерений. В случае примера с подбрасыванием искривленной монеты величина эффекта в 1 % означает выпадение 51 % голов вместо 50 %, как было бы с прямой монетой. Другие виды экспериментов могут означать другие соотношения – например, при использовании четырех-пяти целей вместо одной монеты, предполагающей только два возможных варианта. Это делает значение величины эффекта в 1 % различным для разных исследований. В случае мета-анализа это может представлять проблему, если происходит совмещение исследований разных типов. Как если бы мета-анализ был применен одновременно к исследованию яблок и апельсинов – в каких-то свойствах он бы привел к ошибкам, хотя это не помешало бы установить, что оба объекта исследования имеют общее определение, то есть являются фруктами.
Для надежного измерения величины эффекта были разработаны различные формулы, не принимающие в расчет специфику экспериментальных методов. Величина эффекта для исследований с принудительным выбором на достоверность предвидения составляет 0,02, где сам эффект обычно варьируется от —1 до +1, а 0 означает, что эксперимент не дал ощутимого результата. Так что величина эффекта 0,02 довольно мала. Но важно знать, как мы можем быть уверены, что этот малый эффект не равен нулю? Это зависит от неопределенности величины эффекта, и именно для этого применяется статистический анализ.
Одним из способов интерпретации значения величины эффекта является анализ влияния одной переменной величины на другую. Например, нас интересует соотношение между уровнем интеллекта и популярностью или между активностью социальных служб и уровнем здоровья населения. Величины эффектов для этих двух примеров соотношений составляют 0,10 и 0,11 соответственно
[252]. Для того чтобы выяснить, насколько эти величины объясняют взаимосвязь популярности и уровня интеллекта или насколько социальные службы влияют на уровень здоровья населения, статистический анализ требует возвести эти величины в квадрат.
Таким образом, в нашем примере мы получаем приблизительно 0,10 х 0,10 = 0,01, или один к сотне, то есть 1 %. Это означает, что в то время, как соотношение между популярностью и уровнем интеллекта вполне реально, наблюдаемый эффект объясняет лишь малую долю реальной картины. Остальной объем искомого эффекта, 99 %, объясняется множеством других факторов (таких как привлекательность, телосложение, половая принадлежность, личностные качества, образование и т. п.).
В некоторых областях, таких как фармакотерапия, даже крайне малые величины эффекта воспринимаются предельно серьезно из-за возможных последствий для здоровья человека. Например, соотношение величины эффекта между приемом тамоксифена, препарата, применяемого при лечении рака груди, и образованием крупных тромбов в венах, составляет всего лишь 0,01. То есть объяснительная сила этого соотношения очень мала и означает, что менее 1 % людей, принимающих тамоксифен, могут столкнуться с такой проблемой. Но риск этого так серьезен, что дает основания для противопоказаний при анализе риск-выгода.
Теперь давайте вспомним, что средняя величина эффекта экспериментов с принудительным выбором на достоверность предвидения составляет 0,02. Это довольно небольшой эффект, но статистическое сравнение показывает, что он вполне реален.
Сравнение величины психических и непсихических эффектов
Как соотносятся величины эффектов в исследованиях пси-феноменов и в более привычных исследованиях в общественных и психологических науках? Это весьма интересный вопрос, поскольку, как мы увидим, некоторые эксперименты с пси-явлениями имеют величину эффекта, полностью сопоставимую с эффектами, наблюдаемыми в экспериментах по психологии. Нам это известно из статьи, опубликованной в 2003 г. психологом Ф.Д. Ричардом и его коллегами в журнале «Review of General Psychology»
[253].
Команда Ричарда провела обзор исследований социальной психологии за сотню лет, насчитывающих более чем 25 000 экспериментов и примерно 8 миллионов участников, создав тем самым крупнейшую базу данных по социальной психологии в мире. Анализ, проведенный ими, совмещал результаты 322 метаанализов, обращенных к таким темам, как проявление агрессии, гендерные роли, мотивация и социальное познание. Они обнаружили, что средняя величина эффекта всех 25 000 исследований составила 0,21. Возведя эту цифру в квадрат, мы обнаружим, что такая величина эффекта объясняет лишь около 4 % вариаций соотношений, оставляя 96 % необъясненными.
Как ни странно, причина недавних волнений в астрофизике из-за обнаружения темной материи и энергии обладает подобной величиной. То есть если современные космологические модели верны, тогда вся гипотетическая доктрина о происхождении и структуре вселенной основывается на 4 % известной вселенной и 96 % полной неизвестности. Подобным же образом научная база биологии покоится на знании о ДНК, однако 96 % биологических функций ДНК неизвестны и обозначаются термином «бесполезная ДНК». Такие фундаментальные пробелы предполагают большие открытия в будущем, но нынешнее состояние глубокого невежества заставляет нас скромно оценивать свои способности к познанию. Чем больше нового узнает наука о природе реальности, тем более мы осознаем степень ничтожности наших знаний.
Статья Ричарда содержит еще два интересных для нас наблюдения, поэтому я приведу их здесь с легкими исправлениями, которые объясню далее.
Изучение пси-феноменов проделало заметный путь за прошедший век. На заре XX века оно полагалось на экспериментальную базу по результатам нескольких исследований… Дальнейшие исследования позволили узнать много нового. Со временем ученые стали подвергать сомнению доказательную ценность индивидуальных исследований… и разрабатывать методы обобщения всех исследований по конкретной тематике… Сейчас у нас имеются результаты метаанализа сотен соответствующих публикаций, что делает возможным качественное описание исследований пси-феноменов
[254].
Средняя величина эффекта, полученная с помощью метаанализа, требует грамотной интерпретации. Метод метаанализа… совмещает эффекты широкого диапазона положений, условий и проектов исследования. Научно-исследовательские публикации, показывающие гомогенные [похожие] величины эффектов, позволяют сделать строгие выводы. А именно, среднее значение оценивает единичный эффект. Однако было бы опрометчивым на основании подобных публикаций, содержащих высоко гетерогенные [различные] результаты, интерпретировать среднюю величину эффекта как абсолютную величину данного эффекта при любых условиях… Пси-эффект при стандартных условиях может проявляться сильнее, чем средний эффект, описанный в научноисследовательской литературе, где его величина занижена с целью нейтрализовать или даже уменьшить результаты типичных исследований
[255].
