Несмотря на эти призывы к бдительности, библиометрия начала постепенно проникать в процесс оценивания исследователей уже с 1970-х годов. Как отмечает социальный психолог Джанет Бавелас, академический мир начиная с 1960-х годов настолько изменился, что стало невозможным, как прежде, назначать профессоров лишь по принципу включенности в персональные сети (old boy network) и основываясь на авторитете деканов или заведующих кафедрами
[98]. И как раз в момент поиска системы оценки, которую можно было бы считать более демократической, объективной и менее произвольной, стал доступен Индекс научного цитирования. К тому же быстрый рост числа вузовских преподавателей и исследователей в течение этого периода (1965–1975) делал еще более сложным поиск и отбор кандидатур, которых стало слишком много, чтобы все могли знать их лично. Добавим к этому, что цифры с давних пор обладают аурой объективности
[99]. Так были созданы все необходимые предпосылки к тому, чтобы цитирование стало использоваться как показатель качества.
В мае 1975 года в журнале Science была опубликована подробная статья о растущем использовании цитатного анализа для оценивания исследователей. В ней упоминалась профессор биохимии, которая оспаривала свое увольнение как несправедливое, утверждая на основании количества ссылок на ее статьи, что ее цитировали гораздо чаще, чем коллег-мужчин, которых тогда же повысили в должности
[100]. На этом примере видно, что цитирование — это орудие, используемое не только руководителями институций, но и самими исследователями в тех случаях, когда им это выгодно. В связи с упрощением доступа к базам данных по цитированию, таким как Google Scholar, некоторые ученые стали указывать в резюме число ссылок на свои статьи, а также свой h-индекс, тогда как ценность этих показателей сомнительна и может привести к ошибочной оценке значимости кандидатур.
Эпидемия h-индекса
В середине 2000-х годов, когда в научных кругах стали разрабатывать библиометрические показатели для придания большей объективности индивидуальному оцениванию, американский физик Хорхе Е. Хирш из Калифорнийского университета в Сан-Диего предложил свой h-индекс (индекс Хирша).
Этот индекс равен числу статей N, опубликованных исследователем и процитированных по меньшей мере N раз каждая с момента их публикации. Например, у автора, опубликовавшего 20 статей, из которых 10 цитируются как минимум по 10 раз каждая, h-индекс равен десяти. Произвольность этого индекса просматривается уже в самом названии статьи, притом опубликованной в журнале, считающемся престижным, Proceedings Национальной Академии наук США: «Индекс для квантификации научной продукции (output) исследователя»
[101]. В действительности этот индекс не измеряет ни количество (ouput), ни качество или импакт, а представляет собой некое сочетание этих двух параметров. Он произвольно комбинирует количество опубликованных статей и количество ссылок на них. Считается, что этот индекс позволяет не ограничиваться количеством статей и учитывать также их качество. В соответствии с распространенным стереотипом опубликовать огромное количество плохих статей просто; поэтому число опубликованных статей не считается надежным показателем достоинств исследователя. Но проблема в том, что было быстро доказано: h-индекс очень сильно коррелирует с общим числом опубликованных статей и, таким образом, оказывается избыточным
[102].
Более того, у него нет ни одной из базовых характеристик хорошего показателя (мы еще вернемся к этому вопросу в главе IV). Людо Уолтман и Неес Ян ван Эк продемонстрировали, что при сравнении исследователей, количество ссылок на которых возрастает в равной пропорции, h-индекс может давать противоречивые результаты. Эти авторы заключают, что h-индекс «не может считаться подходящим показателем общего научного импакта исследователя»
[103]. Этот небрежно сконструированный показатель даже опасен, когда служит для принятия решений о найме, поскольку его использование может приводить к непредсказуемым результатам. Это легко показать на одном простом примере. Сравним два случая: молодой исследователь опубликовал только три статьи, но каждую из них процитировали 60 раз (за фиксированный промежуток времени); второй исследователь того же возраста более плодотворен и имеет в активе 10 статей, каждая из которых процитирована 11 раз. Последний имеет, таким образом, индекс Хирша 10, тогда как первый — всего 3. Можно ли на основании этого заключить, что второй в три раза лучше, чем первый, и поэтому его нужно взять на работу или повысить в должности? Разумеется, нет…
Несмотря на эти непоправимые изъяны, h-индекс получил широкое распространение в некоторых научных дисциплинах. Создается впечатление, что он прямо для того и создан, чтобы тешить раздутое эго некоторых исследователей
[104]. Росту его популярности способствовало также то, что он определяется автоматически во всех библиометрических базах данных, то есть он получается без каких-либо усилий! Тем не менее достоин сожаления тот факт, что ученые, обучавшиеся математике, теряют всякую способность к критическому мышлению перед примитивной цифрой. Судя по всему, права старая английская пословица, так похожая на этот социальный закон: «Any number beats no number». Иными словами, лучше уж плохая цифра, чем вовсе никакой…
Если верить Хиршу, его индекс способствует «более демократичной оценке научных исследований»
[105]. Но судя по всему, скорее верно обратное: эта «демократия», не опирающаяся на знания об условиях валидности показателя, быстро трансформируется в оценочный популизм. В ответ на рост неконтролируемого использования библиометрии комитет Международного математического союза отмечал, что точно так же, как мы идем к врачу, когда болеем, нам следовало бы обращаться к специалисту по статистике всякий раз, когда мы производим статистические подсчеты
[106]. При ознакомлении с их отчетом, где заново подчеркиваются обычные характеристики и ограничения библиометрических данных, известные уже не одно десятилетие, можно было бы добавить, что ученым, использующим библиометрию, следовало бы консультироваться со специалистами по библиометрии…
[107]
