Со стороны кажется, что у судей винодельческих конкурсов самая простая работа в мире: что и говорить, порой они пробуют по 150 великолепных вин
[44] за день. Но на самом деле их задача невероятно сложна. Винодельни представляют на конкурсе лишь лучшие бутылки, а потому судьи дегустируют вина, которые почти невозможно отличить друг от друга. И у них нет «секундомера» — нет простого инструмента, чтобы определить, какой из анонимных бокалов мальбека на вкус и запах явно лучше всех остальных. Нам не хватает секундомеров в большинстве сфер человеческой деятельности: в конкурсах скрипки, в музыкальных состязаниях, в присуждении литературных премий, в выборе врача года, а также, как мы видели в прошлой главе, в определении, какая из работ в галерее «лучшая».
Если результативность ограничена, значит ли это, что все винодельческие конкурсы несовершенны? Данные Ходжсона указывают именно на это
[45]. Повторив эксперимент четыре раза на протяжении четырех лет, он пришел к поразительному выводу, что любой судья последователен в оценке одного и того же вина лишь в 18 процентах случаев. Когда Ходжсон наблюдал последовательность в оценке конкретного вина, оно почти всегда получало низкую оценку — иными словами, если судье изначально не понравилась конкретная бутылка шардоне, она не нравилась ему и при второй и третьей дегустации. Мы умеем распознавать дерьмо. Но с лучшими винами судьи колебались в 82 процентах случаев. Один и тот же судья порой то присуждал вину золотую медаль, то вообще не упоминал его в своих заметках, хотя вино при этом не менялось.
Полученные результаты озаботили и поразили Ходжсона. Он не собирался компрометировать сообщество, в котором занимался любимым делом. Он лишь хотел понять и улучшить систему, а потому принялся анализировать свои данные с другого ракурса, надеясь отличить хороших судей от плохих. Может, были «идеальные судьи», которые неизменно определяли золотых медалистов, даже если их коллеги испытывали затруднения? Вернувшись к данным, Ходжсон изучил их, чтобы найти надежных судей. И он нашел их: каждый год около 10 процентов судей были последовательны в своих оценках. Если при первой дегустации они признавали вино достойным золотой медали, при второй и третьей дегустации они также присуждали ему первенство. Если им не нравилось вино, они отвергали его снова и снова. Такие результаты окрыляли! Год за годом выявляя этих надежных судей и привлекая их в жюри все новых конкурсов, Ходжсон мог превратить оценку вин в довольно точную науку. Но затем он провел последнюю проверку и сравнил результативность «идеальных судей» в разные годы. Новости были неутешительными. Он не обнаружил соответствия между прошлыми заслугами судей и их текущей надежностью. Судья мог быть исключительно последовательным в один год, но совершенно ненадежным на следующий. Очевидно, не существовало конкретного набора навыков, которыми можно было овладеть. Не было ни одного выдающегося судьи, на оценки которого можно было полагаться год за годом.
«Я не хочу опускать руки и признавать, что все происходит по воле случая, ведь я считаю, что это не так, — сказал Ходжсон. — Но результаты говорят именно об этом». Некоторое время Ходжсон и сам был судьей, а потому, возможно, не захотел признавать очевидное, но я сделаю это за него: данные не оставляют сомнений. Распределение золотых медалей в виноделии основано на лженауке. Я не хочу сказать, что вина-победители плохи. Как раз наоборот — они превосходны. Именно поэтому победа на винодельческом конкурсе определяется волей случая.
* * *
Несколько лет назад мне выпал шанс послушать выступление Лан Лана в симфоническом зале. Лан Лан невероятно талантлив и, как считается, входит в число лучших пианистов мира. Я никогда прежде не видел, как он играет, и во время концерта вдруг понял, что мне сложно сконцентрироваться на музыке. Я не мог оторвать глаз от движений его тела. Он подчеркнуто наклонялся, когда требовалось взять ноту высокой октавы, а его пальцы подрагивали, когда он отнимал их от клавиатуры. Да, меня восхищали его таланты, но не меньше меня поражала его жестикуляция.
Как выяснилось, пианист красовался не просто так
[46]. Чиа-Юн Цай, ученый из Университетского колледжа Лондона, попросила профессиональных музыкантов и любителей музыки предсказать, кто из трех финалистов выиграет конкурс классической музыки. Одна группа испытуемых слушала только аудиозаписи каждого выступления. Другая группа слушала аудиозаписи и смотрела видео. Наконец, третьей группе показали только видео без звука, что кажется безумным при определении лучшего музыканта.
Перед экспериментом как эксперты, так и дилетанты полагали, что легче всего будет определить победителя на основании аудиозаписи без видеоряда. В конце концов, это был музыкальный конкурс. Но Цай обнаружила, что группа, использовавшая одни аудиозаписи, верно определяла победителя лишь примерно в 25 процентах случаев. Учитывая, что выбирать приходилось всего из трех вариантов, этот результат был хуже, чем при случайном выборе ответов в тесте! Как эксперты, так и дилетанты, полагавшиеся исключительно на слух, не соглашались с членами жюри и присуждали победу другому музыканту.
Как ни странно, лучше всего победителя определяла та группа, которая смотрела видео без звука, а следовательно, ориентировалась лишь на жестикуляцию исполнителей, не слыша музыки. В этой группе и эксперты, и дилетанты оказывались правы примерно в половине случаев. Иными словами, испытуемые, которые не слышали музыки, демонстрировали вдвое лучшие результаты в сравнении с теми, кто слушал аудиозаписи. Эксперты определяли победителя не лучше дилетантов, а порой справлялись с этой задачей даже хуже них.
Давайте на секунду остановимся и подумаем, что это значит. Должно быть, уважаемые члены настоящего жюри тоже выбирали победителя на основании того, что они видели, а не того, что слышали. Проанализировав данные, мы придем к поразительному выводу, что лан ланы музыкального мира почитаемы не потому, что исполняют музыку заметно лучше конкурентов, не собирающих полные залы, а потому, что исполняют музыку артистично.
