Шанхайский рейтинг университетов дает в этом смысле наилучший пример того, как делать не надо: в нем намешаны одновременно ссылки, Нобелевские премии и статьи в ведущих журналах, и всем этим критериям назначены веса абсолютно произвольным образом, чтобы в конечном счете получить одну цифру. Складывая столы со стульями таким образом, невозможно определить причину вариаций итогового показателя. К тому же известно, что использование весовых множителей для сложения показателей иногда дает бессмысленные результаты
[149]. Критерий однородности также связан с принципами прозрачности и простоты показателей, что означает возможность их прямой интерпретации. Например, такая метрика значимости журналов, как Eigenfactor, основанная на алгоритме типа Page Rank, непрозрачным образом принимает в расчет качество цитирующих журналов
[150]. Но на каком объективном основании можно заключить, что ссылка в журнале Science имеет больше веса, чем ссылка в Scientometrics? Это только добавляет произвольности уже и без того сомнительному показателю. В реальности оказывается невозможно исправить плохой показатель, комбинируя его с другими и тем самым делая его еще менее прозрачным. Следует отказаться от такого показателя и найти другой, более адекватный и простой в интерпретации.
Соответствие инерции объекта
Последнее важнейшее качество хорошего показателя состоит в том, что его значения должны варьироваться в соответствии с инерцией, свойственной измеряемому объекту, поскольку разные объекты меняются с большей или меньшей быстротой в зависимости от их внутренних свойств. Возьмем для примера термометр: предположим, что вместо старого доброго столбика с ртутью используется электронный прибор с цифровым экраном и что в непроветриваемой комнате он сначала показывает 20 градусов, минуту спустя — 12 градусов, а еще через минуту — 30 градусов. Разумеется, исходя из простого здравого смысла наблюдатель скорее придет к заключению, что прибор сломан, чем поверит в то, что температура так быстро меняется. Ведь интуитивно понятно (и это подтверждается термодинамикой), что температура в закрытой комнате не может столь резко меняться в течение трех минут! Точно так же известно, что такие крупные организации, как академические институции, сродни неповоротливым танкерам, неспособным быстро менять курс (оно и к лучшему, ведь это избавляет их от необходимости реагировать на сиюминутные, а порой и пустые требования
[151]). Поэтому если рейтинг показывает, что некоторая институция за один год переместилась с первого на шестое место или с восьмого на второе, то это явно означает, что используемый показатель дефективен или крайне неточен, а вовсе не то, что качество институции резко изменилось! К тому же, учитывая естественную погрешность в данных из года в год, ясно, что бóльшая часть годовых колебаний в рейтингах на самом деле случайна и не имеет никакого реального значения. И тот факт, что обычные лидеры неизменно занимают верхние строчки, вовсе не свидетельствует о состоятельности этих рейтингов и показателей. Ведь можно с большой долей уверенности утверждать, что какой бы критерий мы ни избрали, Гарвард, Калифорнийский технологический институт и Массачусетский технологический институт всегда окажутся в тройке лидеров. И кстати, неудивительно, что эти университеты как раз не очень озабочены своим положением в рейтингах. Настоящая борьба происходит скорее на средних позициях, где места распределяются наиболее произвольным образом. Но именно эти позиции (условно говоря, второго верхнего квартиля) более всего интересуют научных администраторов. Так или иначе, годовое передвижение на несколько позиций вверх — не более чем артефакт, а вовсе не реальное изменение, которое можно записать на счет руководства, наградив его премией или просто похвалами.
Инерция, присущая оцениваемой институции, также должна учитываться при выборе частоты проведения оценки. Например, в США Национальный исследовательский совет (NRC) составляет рейтинг всех докторских программ американских университетов по всем дисциплинам не чаще, чем раз в десять лет. Почему так редко? Не только потому, что такие подсчеты дорого стоят, но и потому, что очень маловероятно, чтобы академическая программа, которая в 2008 году была оценена на отлично, в 2009 году стала посредственной. Иначе говоря, подобная периодичность учитывает относительное постоянство университета. Это наводит на мысль, что проводить оценку таких крупных институций каждые четыре года не имеет особого смысла (и ведет лишь к растрате ресурсов). Более реалистичной для фиксации действительных изменений была бы частота оценки в шесть-семь лет.
К этим трем критериям следует добавить еще один, неочевидный момент, который требует прояснения, поскольку тоже может служить для выявления сомнительных показателей: значения показателя должны изменяться подобно монотонной функции — либо непрерывно возрастая, либо убывая. H-индекс, к примеру, не отвечает этому требованию. Очевидно, что импакт исследователя, опубликовавшего 3 статьи, процитированные каждая по 100 раз, выше, чем влияние исследователя, опубликовавшего 10 статей, процитированных по 10 раз каждая. Однако в соответствии с h-индексом будет верно обратное, потому что первый написал 3 статьи, а второй — 10. Это все равно что утверждать, будто по некоторой шкале 20 градусов — это более холодная температура, чем 10… А вот значимость числа полученных ссылок не изменяется при его возрастании: 1000 цитат всегда будет лучше, чем 10.
В отличие от h-индекса, предназначенного для индивидуальной оценки, рейтинги университетов, которых становится все больше с начала 2000-х годов, претендуют на оценку целых институций. Но прежде чем их использовать с этой или иной целью, необходимо подвергнуть детальному анализу каждый из используемых при их составлении показателей. Было бы несложно показать, что ни один из показателей, выбранных публикующими эти рейтинги организациями, не отвечает нашим критериям. Большая часть этих показателей не имеют того значения, которое им приписывают. К тому же их складывают, наделяя произвольными весами, в результате чего рейтингование становится еще более проблематичным
[152].
