Однако не всякая рейтинговая система разработана настолько грамотно, чтобы принимать во внимание закон больших чисел. В штате Северная Каролина, как и во многих других штатах в эпоху образовательной отчетности, были введены программы мотивации, рассчитанные на школы, добивающиеся высоких результатов по стандартизованным тестам. Рейтинг каждой школы определяется по среднему увеличению количества баллов, полученных учениками по тестам за период с весны текущего до весны следующего года. Школы, занявшие в рейтинге по данному показателю первые 25 мест, вывешивают свой плакат в спортивном зале и получают право с гордостью говорить о своих достижениях в близлежащих городах.
Кто побеждает в таком соревновании? Например, в 1999 году первое место в рейтинге (с «суммарным показателем результативности», равным 91,5) заняла начальная школа C. C. Wright Elementary в Северном Уилксборо. Это небольшая школа (всего 418 учеников), расположенная в штате, в котором средняя численность учеников начальных школ составляет 500 детей. Второе место заняла школа Kingswood Elementary (90,9 балла), за ней следует школа Riverside Elementary (90,4 балла). В школе Kingswood насчитывалось лишь 315 учеников, а в начальной школе Riverside из аппалачского городка Ньюленд учился только 161 ребенок
{44}.
Получается, что по данному показателю небольшие школы обошли все остальные школы штата Северная Каролина. Томас Кейн и Дуглас Стейджер провели исследование, в ходе которого было установлено, что в тот или иной момент семилетнего периода, охваченного исследованием, 28 % самых маленьких школ штата попадали в первые 25 мест рейтинга; при этом из всех школ только 7 % школ получали право вывесить плакат в спортзале
{45}.
Создается впечатление, что в маленьких школах уделяется больше времени для индивидуального обучения, поскольку учителя хорошо знают своих учеников и их семьи, и поэтому они лучше справляются с повышением результатов тестов.
Может быть, мне следует упомянуть, что статья Кейна и Стейджера называется так: The Promise and Pitfalls of Using Imprecise School Accountability Measures («Перспективы и подводные камни использования неточных показателей школьной отчетности»). Кроме того, нелишне отметить, что небольшие школы в среднем не демонстрируют тенденции к получению существенно более высоких результатов по тестам. И еще не мешало бы добавить, что школы, куда были направлены «группы по оказанию поддержки» (речь идет о школах, получивших от властей штата взбучку за низкие результаты по тестам), в большинстве своем также относились к числу небольших школ.
Короче говоря, насколько нам известно, школа Riverside не может считаться одной из лучших начальных школ штата Северная Каролина, так же как и Армон Джонсон не может быть самым метким снайпером в лиге. Небольшие школы занимают большинство из первых 25 мест в рейтинге не потому, что они лучшие, а потому что в маленьких школах более высокий уровень вариабельности результатов тестов. С одной стороны, несколько одаренных детей и несколько двоечников из третьего класса в состоянии существенно изменить средний показатель школы. С другой стороны, в крупной школе воздействие нескольких очень высоких или очень низких результатов просто растворится в большом среднем значении, практически не изменив общего показателя.
Не совсем ясно, по каким критериям определять, почему одна школа самая лучшая и почему граждане одного штата больше всего подвержены онкологическим заболеваниям, когда вычисление простых средних показателей не позволяет сделать этого? Если вы руководите работой многих групп, как вычислить эффективность каждой из них, если более мелкие группы с большой вероятностью займут как верхние, так и нижние позиции вашего рейтинга?
К сожалению, легкого ответа на этот вопрос не существует. Если в таком крохотном штате, как Южная Дакота, имеет место резкое увеличение уровня заболеваемости раком мозга, вы можете предположить, будто этот всплеск в значительной мере произошел по воле случая, и сделать вывод, что в будущем уровень заболеваемости раком мозга приблизится к общему показателю по стране. Это можно сделать, вычислив взвешенное среднее от уровня заболеваемости в Южной Дакоте и в целом по стране. Но как взвесить два данных показателя? В какой-то мере это искусство, требующее больших затрат труда на выполнение формальных операций, от описания которых я вас здесь избавлю
{46}.
Один важный факт впервые обнаружил Абрахам де Муавр, который внес большой вклад в теорию вероятностей. Его книга The Doctrine of Chances («Теория случайностей») стала одним из ключевых трудов по этому предмету.
(Даже в те времена популяризация математических достижений представляла собой активную область. Эдмонд Хойл, чтобы помочь любителям азартных игр освоить новую теорию, написал учебный трактат An Essay Towards Making the Doctrine of Chances Easy to those who Understand Vulgar Arithmetic only, to which is added some useful tables on annuities («Исследование, предназначенное, чтобы сделать “теорию случайностей” более понятной для людей, понимающих только простую арифметику, а также несколько полезных таблиц аннуитетов»). Авторитет Хойла в вопросах карточных игр был настолько велик, что многие до сих пор ссылаются на его мнение; в определенной среде нередко можно услышать расхожие фразы: «По утверждению Хойла», «По правилам Хойла».)
Де Муавра не удовлетворял закон больших чисел, гласивший, что в долгосрочной перспективе доля аверсов в последовательности подбрасываний монет все больше приближается к 50 %. Он хотел знать, насколько ближе. Чтобы понять сделанное Муавром открытие, предлагаю вернуться к подбрасыванию монет и еще раз проанализировать этот феномен. Но теперь вместо перечисления общего количества монет, выпавших лицевой стороной вверх, мы будем записывать разность между количеством фактически выпавших аверсов и количеством аверсов, выпадания которых можно ожидать в случае 50 % подбрасываний.
Если подбрасывать десяток монет, вы получите такую последовательность:
