Пока специалисты по статистике предаются размышлениям, наука не стоит на месте. Исследователи в области психологии начали медленный, сложный процесс борьбы с хакерскими взломами p-значения. Они составили манифест реформ во имя прозрачности: предварительная регистрация исследований; перечисление всех измеренных переменных; регламент, заранее предписывающий, когда прекращать сбор данных и в каких случаях исключать значения, которые резко выделяются на общем фоне. Все это означает: если ложноположительные результаты проскочили фильтр p-значения ниже 0,05, вы можете заглянуть в статью и ознакомиться с результатами 19 предыдущих неудачных попыток. Один эксперт сказал мне, что эти реформы существенно важнее, чем вопросы математической философии.
Между прочим, моя дипломная работа отвечает большинству из этих стандартов. Я перечислил все собранные переменные, не исключал резко выделяющиеся результаты и разъяснил, что анализ носит предварительный характер. Тем не менее, когда я показал эту главу Кристине, она заметила: «Забавно читать в 2018 году диплом десятилетней давности. Сегодня все мои студенты предварительно фиксируют свои гипотезы, размеры выборки и т. д. Насколько же мы выросли и как многому мы научились!»
Все это должно замедлить поток варваров, прорывающихся сквозь ворота. Однако еще остается проблема с теми варварами, что засели внутри цитадели науки. Есть всего один способ выявить их: повторные исследования.
Представьте, что тысяча человек предсказывают, как выпадут десять монет. Скорее всего, одна из догадок окажется верной. Но, прежде чем вы начнете щелкать селфи с новоиспеченным другом-экстрасенсом, нужно повторить эксперимент. Попросите его снова (и, возможно, еще пару раз) предсказать, как выпадут десять монет. Настоящий экстрасенс выдержит это испытание. Тот, кому просто повезло, сядет в лужу.
То же самое относится ко всем положительным результатам. Если вывод верен, повтор эксперимента в принципе должен привести к тому же выводу. Если вывод ложен, он рассеется, как мираж.
Повтор экспериментов — медленная и неблагодарная работа. Она требует времени и денег, но не ведет к сенсационным открытиям. Однако психологи понимают, что поставлено на карту, и начинают изгонять своих демонов. В 2015 году были опубликованы результаты нашумевшего проекта по тщательному повтору экспериментов ста психологических исследований
[179]. Новостные заголовки запестрели информацией о том, что выводы 61 из них не подтвердились.
Мне кажется, что эта мрачная новость свидетельствует о прогрессе. Сообщество исследователей трезво вглядывается в зеркало и признает правду, какой бы ужасной она ни была. Теперь социальные психологи надеются, что представители других наук, например медики, последуют их примеру.
Наука никогда не утверждала свою непогрешимость или сверхчеловеческое совершенство. Всегда речь шла о здоровом скептицизме, проверке всех гипотез. В этой борьбе статистика — сильный союзник. Да, она позволяет ученым вырваться на передовую, но также помогает в случае необходимости отступить назад.
Глава 19. Таблицы результатов в пылу сражений
Когда мера не является мерой?
На третьем десятке лет я провел, наверное, около 5000 школьных уроков. Взрослые наблюдали не больше 15 из них. Даже в наше время подотчетности школ классная комната остается непрозрачным, тускло освещенным, малоизученным местом. Я понимаю, почему политики и посторонние отчаянно хотят заглянуть внутрь. И по-моему, будет увлекательно посмотреть их глазами, каким образом они пытались разглядеть внутреннюю работу школы и повлиять на нее.
1. Лучший учитель Америки
В 1982 году Джей Мэтьюс был главой лос-анджелесского отдела газеты The Washington Post
[180]. По идее, это означало, что он освещает самые громкие сюжеты на западе Соединенных Штатов.
В действительности он взломал факультативы по матанализу в старших классах школы.
Изо дня в день Мэтьюс не мог удержаться от того, чтобы не наведаться в класс учителя Хайме Эскаланте в западном Лос-Анджелесе. Этот иммигрант из Боливии был буквально природной стихией. Ироничные издевательства, жестокая любовь, испанские хлесткие фразы и неослабевающие надежды Эскаланте помогли студентам средней школы Гарфилда достичь беспрецедентных результатов при сдаче экзамена программы Advanced Placement (AP)
по матанализу. Его ученики не происходили из богатых и благополучных семей. Мэтьюс опросил 109 учеников и выяснил, что лишь у 35 из них родители окончили среднюю школу. Тем не менее эти подростки успешно сдавали один из самых сложных школьных экзаменов в США. В 1987 году больше четверти всех граждан США родом из Мексики, сдавших AP по матанализу, составляли выпускники школы, где преподавал Эскаланте. К 1988 году Эскаланте стал самым известным учителем страны: его имя упомянул в предвыборных дебатах Джордж Буш — старший; Эдвард Джеймс Олмос сыграл его в фильме «Выстоять и добиться» (и получил «Оскар» за эту роль); Мэтьюс опубликовал о нем книгу «Эскаланте: лучший учитель в Америке».
Мэтьюс усвоил от Эскаланте не только правило дифференцирования частного двух функций, но и еще один ясный принцип. Школьники добиваются успехов, если их стимулировать. Хороший учитель ставит высокую планку. И вот, надеясь ранжировать школы по этой шкале, Мэтьюс прибегнул к помощи статистики. Какие школы — вне зависимости от социально-экономических и демографических факторов — по-настоящему строго испытывают своих учеников? Он решил не учитывать средний балл AP. Он полагал, что статистика, которая определяет как лучшие лишь те школы, где самых сильные ученики учатся по программам AP, игнорирует подавляющую часть обычных школьников. Ситуация, в которой школы пытаются отгородить учеников от интеллектуальных вызовов, казалась Мэтьюсу глубоко неправильной. Он хотел измерить охват программы AP, а не ее эксклюзивность.
