Дэниел Канеман обнаружил множество ситуаций, когда специалисты не способны дать качественный прогноз на основе сложной информации. Опытные рентгенологи в оценке снимков в одном случае из пяти противоречили сами себе. Аудиторы, врачи клинической лабораторной диагностики, психологи и менеджеры демонстрировали такую же непоследовательность.
Канеман пришел к выводу: если для прогноза вместо человека возможно использовать формулу, так и следует поступать.
Низкое качество экспертных прогнозов стало темой книги Майкла Льюиса Moneyball
[42]. Бейсбольная команда Oakland Athletics оказалась в затруднении после ухода трех лучших игроков, поскольку не располагала средствами приобрести новых. Ее менеджер Билли Бин (в фильме «Человек, который изменил всё» роль Бина исполнил Брэд Питт) для прогноза эффективности игроков использует статистическую систему Билла Джеймса. Билли и его аналитики махнули рукой на рекомендации скаутов и собрали собственную команду с помощью саберметрики
[43]. Несмотря на скромный бюджет, команда обошла соперников и дошла до игр Мировой серии 2002 года. Суть новой системы заключалась в смене приоритетных критериев – вместо таких показателей, как кражи базы, средний уровень, баттинг
[44], учитывались другие, в том числе эффективность на базе и процент сильных ударов. Заодно удалось исключить иногда совершенно непостижимую логику скаутов. Один из них в фильме обронил: «Его подружка – уродина. Значит, у него низкая самооценка». В свете подобных алгоритмов принятия решений неудивительно, что основанные на данных прогнозы в бейсболе взяли верх над человеческими.
Новые показатели учитывали вклад игрока в эффективность команды в целом. Прогностическая машина позволила подобрать в Oakland Athletics игроков с более низкими показателями по традиционной шкале оценки и, следовательно, более высокой ценностью из расчета отношения стоимости к повышению продуктивности команды. Без прогностики на их качества никто не обратил бы внимания. Oakland Athletics сыграли на отклонениях в свою пользу
[45].
Явственное представление о проблемах с прогнозами, которые делают люди, даже если это опытные и маститые специалисты, дает исследование решений о выдаче под залог в судах США
[46]. Ежегодно там принимается 10 млн таких решений – с последствиями для семьи, работы и других сфер жизни, не говоря уже о государственных расходах на тюремное содержание. Судья в своем решении должен исходить из того, не сбежит ли обвиняемый и не совершит ли другие преступления, будучи отпущенным под залог, а не из вероятности признания его виновным. Критерии ясные и четко описаны.
В исследовании использовали машинное обучение для разработки алгоритмов, прогнозирующих вероятность того, что данный обвиняемый совершит побег или снова нарушит закон, если его выпустить под залог. Обучающих данных было предостаточно: 750 тыс. человек, отпущенных под залог в Нью-Йорке с 2008 по 2013 год. В алгоритмы также включили список предыдущих правонарушений, предъявленные обвинения и демографические сведения.
Машинный прогноз оказался точнее человеческого. Например, согласно прогнозу, из 1 % обвиняемых, причисленных машиной к самым опасным, 62 % совершат преступление, будучи отпущенными под залог. Судьи же (у которых не было доступа к прогнозам машины) выпустили почти половину из них. Прогноз оказался почти идеальным – 63 % обвиняемых действительно совершили повторные преступления, а половина из них не явилась на следующее заседание суда. Из них 5 % совершили изнасилования и убийства.
Если бы судьи последовали рекомендациям машины, то могли бы отпустить то же количество обвиняемых и снизить показатель преступности среди выпущенных под залог на 75 %. Или сохранить показатели преступности и посадить за решетку вдвое меньше обвиняемых
[47].
В чем же дело? Почему прогноз судей так заметно расходится с машинным? Одна из причин, возможно, в том, что судьи пользуются недоступной алгоритмам информацией, скажем, внешностью и поведением обвиняемых в суде. Она бывает полезной, но может и вводить в заблуждение. С учетом высоких показателей совершения преступлений выпущенными под залог разумно заключить, что последнее более вероятно; прогнозы судей никуда не годятся. В исследовании достаточно и других подтверждений данного неутешительного вывода.
Прогностика в такой ситуации представляет сложность для человека из-за неоднозначных факторов, влияющих на показатели преступности. Прогностические машины гораздо лучше людей определяют факторы сложных взаимодействий отдельных показателей.
Получается, когда вы уверены, что прошлые преступления обвиняемого повышают риск побега, машина подсчитывает, что это произойдет только в случае, скажем, если он не сможет найти работу в течение определенного периода. Иными словами, эффект взаимодействия может быть важнее, а поскольку многоплановость таких взаимодействий возрастает, способность человека к составлению точных прогнозов снижается.
Отклонения не просто проявляются время от времени в медицине, бейсболе и суде, это неотъемлемая часть любой профессиональной деятельности. Специалисты обнаружили, что и менеджеры, и рабочие прогнозируют часто – причем с полной уверенностью, – не догадываясь, что их предположения несостоятельны. Занимаясь исследованием 15 агентств по найму неквалифицированных рабочих, экономисты Митчелл Хоффман, Лиза Кан и Даниэль Ли обнаружили: когда решения по найму принимались на основании объективного проверяемого теста и обычного собеседования, стаж работы на следующем месте был выше на 15 %, чем в результате одного только собеседования
[48]. А перед менеджерами при этом стояла задача по увеличению стажа.
Достаточно объемный тест включал вопросы на проверку когнитивных способностей и соответствие обязанностям. А после того как свободу действий менеджеров ограничили – запретили аннулировать баллы при неудовлетворительных результатах теста, – стаж дополнительно вырос и доля увольнений по собственному желанию снизилась. Итак, даже с учетом поставленной задачи по увеличению продолжительности стажа и при наличии весьма точных машинных прогнозов менеджеры все же умудрялись делать неверные предположения.
