Он также не хотел подсчитывать среднее число успешно пройденных экзаменов AP. По его мнению, этот показатель коррелировал с социально-экономическим статусом. Если вы учились по программе AP, вы были лучше подготовлены к колледжу вне зависимости от того, завалили вы экзамен или нет. Опыт оказывается важнее баллов.
В конце концов Мэтьюс выбрал еще более простой показатель: среднее количество экзаменов по программе AP (и других экзаменов, чьи результаты засчитываются при поступлении в колледж), которые в принципе выбирает выпускник данной школы. Он учитывал не баллы, а попытки. Мэтьюс назвал этот рейтинг «Индексом вызовов». Список школ-лидеров был опубликован в журнале Newsweek в 1998, затем в 2000 и в 2003 году (тогда этот сюжет попал на обложку).
С самого начала этот рейтинг вызывал разногласия. «Откровенная насмешка»
[181], — сказал один читатель Newsweek. Некий профессор педагогики назвал этот перечень «медвежьей услугой тысячам школ, где учителя, преданные долгу, хлебы железные глодают, обеспечивая достойный уровень образования миллионам молодых людей, которые по многим уважительным причинам никогда не будут учиться по программам AP или IB».
Прошло 20 лет. Этот рейтинг ежегодно публикуется в газете The Washington Post, и Мэтьюс отстаивает свою методику. «Я составляю рейтинг, — пишет он, — с надеждой, что он вызовет споры и побудит размышлять о проблемах, которые затрагивает»
[182].
Возможно, я наивная рыбка, но я заглотил эту наживку. Я думаю, что «Индекс вызовов» поднимает глубокие вопросы — они касаются не только педагогических приоритетов, но и перипетий количественной оценки хаотичного, многогранного мира. Какие показатели мы должны использовать — сложные или простые? Как найти компромисс между изощренностью и прозрачностью? И прежде всего: статистика наподобие «Индекса вызовов» пытается измерить мир как он есть или преобразить его?
2. Хоррор-шоу кривых показателей
Люди делятся на две категории: те, кому нравятся грубые дуализмы, и все остальные. И теперь, когда я сбросил с себя маску и вы поняли, что я принадлежу к первой категории, позвольте мне ввести классификацию статистических показателей, которая мне представляется полезной: есть окна и есть табло результатов.
Окно — это число, благодаря которому можно увидеть проблеск реальности. Оно не входит ни в одну систему стимулирования. Оно не помогает снискать аплодисменты и не чревато наказаниями. Это приблизительные, фрагментарные, несовершенные данные, но все же полезные любопытному наблюдателю. Представьте себе психолога, который просит испытуемого оценить уровень своего счастья по шкале от 1 до 10. Это всего лишь грубое упрощение; только впавшая в абсолютную безнадежность человеческая единица поверит, что счастье можно выразить одним числом.
Или представьте, что исследуете уровень здоровья в глобальном масштабе. Невозможно количественно оценить физическое и психическое благополучие каждого гражданина. Вместо этого вы смотрите на сводную статистику: ожидаемая продолжительность жизни, детская бедность, потребление печенья Pop-Tarts на душу населения. Это полезное окно в реальность, хотя оно не позволяет увидеть ее целиком.
Второй вид показателей — это табло результатов. Оно сообщает определенный, окончательный результат. Это не отстраненное наблюдение, а обобщенное суждение, система стимулирования, несущая определенные последствия.
Представьте себе рейтинг баскетбольных команд. Конечно, плохие команды иногда берут верх над хорошими. Но, если вы назовете рейтинг ошибочным показателем качества команды, люди станут смотреть на вас искоса. Вы не для того набираете очки, чтобы доказать качество своей команды; вы повышаете качество команды, чтобы набрать больше очков. Табло результатов — это не грубый показатель, а сам желанный результат.
Или рассмотрим суммарную прибыль от продаж. Чем больше это число, тем лучше сделана работа. И точка.
Одни и те же статистические показатели могут быть или окном, или табло результатов — в зависимости от того, кто смотрит. Будучи учителем, я полагаю, что экзаменационные оценки — это окна. Из них открывается вид на истинное положение вещей, но они никогда не позволят охватить взглядом весь спектр математических навыков (гибкость, изобретательность, пристрастие к «синуциидальным» каламбурам и т. д.). Тем не менее для школьников экзаменационные оценки — это табло результатов. Это не зашумленный сигнал итогового результата в туманной долгосрочной перспективе, а сам итоговый результат.
Многие статистические показатели представляют собой полезные окна, но неэффективные табло результатов. Пример — история с британской службой скорой помощи
[183]. В конце 1990-х правительство Великобритании ввело ясный показатель: доля выездов на звонок в скорую помощь менее чем за 8 минут. Цель: 75 %.
Отличное окно. Чудовищное табло результатов.
Во-первых, имела место подтасовка данных. В записях значилось множество выездов за 7 минут 59 секунд; почти ни одного за 8 минут и 1 секунду. А во-вторых, что гораздо хуже, эта разнарядка породила безумные выходки. Некоторые бригады просто-напросто бросали свою карету скорой помощи, пересаживались на велосипеды и успевали доехать в течение 8 минут несмотря на городской транспортный поток. На мой взгляд, оснащенная необходимой аппаратурой машина для перевозки пациентов, которая приезжает через 9 минут, существенно полезнее, чем бригада в белых халатах на велосипедах через 8 минут, но табло результатов со мной не согласно.
Позвольте развить эту тему в серии скетчей, которую я окрестил «Хоррор-шоу кривых показателей»:
КЛИКИ
