Идея такой «P-кривой» – рассмотреть все указанные в исследованиях P-значения для значимых результатов теста, то есть для P < 0,05. Подозрение вызывают две вещи. Во-первых, если кластер P-значений чуть ниже 0,05, значит, какие-то результаты были искажены, для того чтобы передвинуть некоторые значения P через эту границу. Во-вторых, предположим, что эти значимые P-значения не смещены к нулю, а довольно равномерно распределены между 0 и 0,05. Тогда это в точности то, что могло возникнуть, если нулевая гипотеза верна, а нам сообщили как о значимых только о тех результатах, для которых P < 0,05 и которые в одном случае из двадцати попадают в этот диапазон по чистой случайности. Симонсон и его коллеги просмотрели опубликованные работы по психологии, поддерживавшие популярную идею, согласно которой предоставление людям излишнего выбора ведет к негативным последствиям. Анализ P-кривой указал на наличие ошибки в публикациях и отсутствие достаточно веских подтверждений этой идеи
[272].
Оценивание статистических утверждений или текстов
Кем бы мы ни были – журналистами, специалистами по фактчекингу, учеными, бизнесменами, политиками, работниками общественных организаций или просто представителями общественности, мы регулярно слышим какие-то заявления, основанные на статистических фактах. И оценивание их достоверности – жизненно важный навык для современного мира.
Давайте сделаем смелое предположение, что все, кто причастен к сбору, анализу и использованию статистических данных, придерживаются этических норм, для которых доверие имеет превалирующее значение. Онора О’Нил, специалист по философии Канта и авторитет в области доверия, подчеркивала, что люди не должны стремиться к тому, чтобы им доверяли, поскольку это выбор других людей, но должны демонстрировать достоверность своей работы. О’Нил сформулировала несколько простых принципов – например, доверие требует честности, компетентности и надежности. Но она также отмечает, что требуются подтверждения достоверности, а это подразумевает прозрачность – нужно не просто сбрасывать массу данных на аудиторию, а обеспечить «разумную прозрачность»
[273]. Это означает, что утверждения, основанные на данных, должны быть:
• Доступными: аудитория должна иметь доступ к информации.
• Доходчивыми: аудитория должна быть способна понять информацию.
• Поддающимися оценке: при желании аудитория должна иметь возможность проверить достоверность утверждений.
• Полезными: аудитория должна иметь возможность использовать информацию для своих нужд.
Но оценка достоверности – сложная задача. Статистики и другие специалисты тратят десятилетия, чтобы научиться взвешивать утверждения и формулировать вопросы, которые помогут выявить недостатки. Это не какой-то очередной контрольный список, с которым нужно просто свериться, здесь нужны опыт и разумная доля скептицизма. С учетом этой оговорки предлагаю набор вопросов, вобравших в себя всю мудрость, содержащуюся в этой книге. Перечисленные термины и темы либо говорят сами за себя, либо рассматривались ранее. Я нахожу этот перечень вопросов полезным, надеюсь, и вы тоже.
Десять вопросов, которые нужно задать, столкнувшись с утверждением, основанным на статистических фактах
НАСКОЛЬКО НАДЕЖНЫ ЧИСЛА?
1. Насколько тщательно проведено исследование? Например, проверьте «внутреннюю валидность», правильность проекта и формулировки вопросов, предварительную регистрацию протокола, репрезентативность выборки и обеспечение случайности при ее составлении, корректное сравнение с контрольной группой.
2. Какова статистическая неопределенность / доверительный уровень для результатов? Проверьте погрешности, доверительные интервалы, статистическую значимость, размер выборки, множественные сравнения, систематические ошибки.
3. Верна ли представленная характеристика? Проверьте правильное использование средних, разбросы, относительные и абсолютные риски.
НАСКОЛЬКО НАДЕЖЕН ИСТОЧНИК?
4. Насколько надежен источник текста? Рассмотрите вероятность искажения из-за конфликта интересов и проверьте, рецензировали ли публикацию независимые эксперты. Спросите себя: «Почему автор хочет, чтобы я услышал эту историю?»
5. Как преподносится история? Помните о способах подачи (эффект фрейминга), апеллировании к эмоциям посредством упоминания экстремальных случаев, вводящих в заблуждение графиках, гипертрофированных заголовках, громко звучащих числах.
6. О чем мне не сказали? Пожалуй, это самый важный вопрос. Подумайте о тенденциозно отобранных результатах, о пропущенной информации, которая бы противоречила изложенному в тексте, и отсутствии независимого комментария.
НАСКОЛЬКО НАДЕЖНА ИНТЕРПРЕТАЦИЯ?
7. Как это утверждение соотносится с тем, что уже известно? Взгляните на контекст, подходящие факторы сравнения, включая прошлые данные, и то, что показывали другие исследования, в идеале метаанализ.
8. Какое объяснение дано тому, что было замечено? Корреляция или причинно-следственная связь? Некорректно утверждение, что незначимый результат означает «отсутствие эффекта»? Важны регрессия к среднему, влияние возмущающих факторов, атрибуция, ошибка прокурора.
9. Насколько эта публикация актуальна для аудитории? Подумайте о возможности обобщения, являются ли испытуемые каким-то особым случаем, не проводили ли экстраполяцию с мышей на людей?
10. Важен ли заявленный эффект? Проверьте, значима ли практически величина эффекта, и особенно остерегайтесь утверждений о «повышенном риске».
Этика работы с данными
Растущая обеспокоенность потенциально неправильным использованием персональных данных (особенно при их сборе с аккаунтов в социальных сетях) сосредоточивает внимание на этических аспектах науки о данных и статистики. Хотя государственные статистики связаны официальным кодексом поведения, в целом этика при работе с данными находится на стадии разработки.
В этой книге говорилось о том, что алгоритмы, влияющие на жизнь людей, должны быть честными и прозрачными, о важности честности и воспроизводимости в науке, о требованиях к надежной коммуникации. Все это составляющие этики работы с данными, а нашумевшие истории показали, как пагубно влияет конфликт интересов и даже просто чрезмерный энтузиазм, искажая полученные данные. Можно было бы выделить многие другие важные темы: конфиденциальность и право собственности на данные, информированное согласие на их более широкое использование, юридические аспекты объяснения алгоритмов и тому подобные.
