Будьте осторожны: когда вы идете в спортзал, чтобы сбросить лишние килограммы, полученные от употребления того же сахара, вы тоже рискуете испытать эффект переподгонки. Определенные видимые признаки стройности – скудная жировая ткань и большая мышечная масса, например, – нетрудно измерить, и их соотносят, скажем, с уменьшением риска сердечных и других заболеваний. Но при этом такие признаки – отнюдь не идеальный показатель. Переподгонка в этом случае – например, если вы сидите на экстремальной диете для снижения веса или принимаете стероиды для наращивания мышечной массы – может создать картину хорошего здоровья, однако это будет лишь картина.
Переподгонка проявляется и в спорте. Например, Том со школьных лет время от времени занимался фехтованием. Изначальная цель фехтования состояла в том, чтобы научить человека обороняться на дуэли. И оружие, которое применяется в современном фехтовании, похоже на то, что использовалось раньше для подобных тренировок. (В частности, это касается шпаги, применявшейся во время формальных дуэлей меньше полувека назад.) Однако с изобретением электронного устройства для подсчета очков – кнопки на кончике шпаги, которая фиксирует укол, – изменился и сам спорт. Техники, которые вряд ли были бы вам полезны на серьезной дуэли, превратились в важнейшие навыки на соревнованиях. Сегодня фехтовальщики используют гибкие шпаги, которые позволяют им «зажечь» кнопку, едва касаясь противника. В результате кажется, будто они просто тыкают друг в друга тонким металлическим прутом, а не наносят удары. В качестве спортивной дисциплины это однозначно увлекательное занятие и яркое зрелище, но по мере того, как спортсмены переподгоняют свою тактику с учетом особенностей ведения счета, фехтование становится все менее полезным с точки зрения реальных навыков владения холодным оружием.
Однако, наверное, нет другой области, где влияние переподгонки настолько же ощутимо и проблематично, как в мире бизнеса. Как писал Стив Джобс, «системы стимулирования работают. Поэтому надо быть очень осторожным, решая, к чему стимулировать людей, поскольку различные системы стимулирования приводят к различным последствиям, которые вы не всегда можете предвидеть». Сэм Альтман, президент стартап-инкубатора Y Combinator, по-своему повторяет слова Джобса: «Это действительно так: компания построит все, что ее генеральный директор решит измерить».
В сущности, невероятно трудно придумать какое-либо мотивирующее средство или измерение, которое не приводило бы к появлению ошибок и неточностей. В 1950-е годы профессор Корнеллского университета В. Ф. Риджвей перечислил массу таких «дисфункциональных последствий измерения характеристик». В рекрутинговой компании сотрудников оценивали по количеству проведенных ими собеседований, что мотивировало их как можно быстрее проводить встречи, не тратя время на то, чтобы действительно помочь клиентам найти работу. В федеральных правоохранительных органах, где была установлена месячная квота по количеству дел, в конце месяца следователи выбирали наиболее простые дела вместо тех, что требовали оперативного решения. На заводе при введении мер по стимулированию выработки мастера стали пренебрегать выполнением работ по обслуживанию и ремонту техники, что приводило к катастрофическим последствиям на производстве.
Такие проблемы нельзя игнорировать и расценивать лишь как неудачную попытку реализации управленческих задач. Скорее, наоборот: они доказывают факт грубой оптимизации неверного фактора.
Переход на аналитику в режиме реального времени, который произошел в ХХI веке, еще больше усугубил опасности, кроющиеся в системах измерений. Авинаш Каушик, евангелист в области цифрового маркетинга в Google, предупреждает, что попытка заставить пользователей увидеть как можно больше рекламы логично приводит к загромождению сайта рекламными объявлениями: «Когда вам платят за количество контактов с рекламным объявлением, ваша мотивация заключается в том, чтобы попытаться показать как можно больше объявлений на каждой странице и удостовериться, что посетитель видит наибольшее возможное количество страниц на сайте… Такое стимулирование смещает фокус с фигуры первостепенной важности – вашего клиента – на второстепенную фигуру – вашего рекламщика». Интернет-сайт может принести несколько бóльшую прибыль в краткосрочной перспективе, однако переполненные объявлениями статьи, медленно загружающиеся слайд-шоу с огромным количеством страниц и всплывающие заголовки сенсационных новостей в долгосрочной перспективе лишь отпугнут от вас читателей. Вывод Каушика таков: «Друзья не позволят своим друзьям измерять количество просмотров страницы. Никогда».
В некоторых случаях разница между моделью и реальным миром становится действительно вопросом жизни и смерти. В военных и правоохранительных органах, например, тренировка памяти с помощью повторения информации считается ключевым методом для развития навыков действий на линии огня.
Цель – отработать определенные передвижения и тактики до автоматизма. Но, когда на сцену выходит переподгонка, последствия могут быть катастрофическими. Были случаи, когда полицейские офицеры, попав в перестрелку, тратили время на то, чтобы положить отработанные гильзы в карман (таковы правила поведения на стрельбище). Как пишет бывший десантник, а ныне профессор психологии в Военной академии США Дейв Гроссман, «как только дым после стрельбы рассеивался, офицеры в недоумении обнаруживали в карманах пустые гильзы, не помня, как они там оказались. В нескольких случаях убитые полицейские были обнаружены с гильзами в руках, они явно пытались перед смертью выполнить заученную административную формальность». Аналогично ФБР пришлось изменить регламент тренировок, после которых агенты рефлекторно делали два выстрела и затем убирали пистолет в кобуру вне зависимости от того, была ли повержена мишень или угроза все еще существовала. Такие ошибки в военной среде называют шрамами тренировок, и они, по сути, отражают возможность существования переподгонки в подготовке и обучении. В одной особенно драматичной ситуации офицер инстинктивно выхватил оружие из рук своего противника и затем автоматически передал его обратно – точно так же, как он делал на многочисленных занятиях с инструктором.
Выявление переподгонки: перекрестная проверка
Поскольку переподгонка изначально представляет собой теорию, которая идеально подходит под любой тип и категорию данных, может показаться, что выявить ее предательски сложно. Как мы можем выявить разницу между истинно хорошей моделью и той, которая подверглась действию переподгонки? В сфере образования как отличить класс учеников, владеющих знаниями по предмету на высоком уровне, от класса, в котором ученики всего лишь «подготовлены, чтобы сдать выпускные экзамены»? В мире бизнеса как отличить по-настоящему «звездного» сотрудника от того, кто просто умело подгоняет свою деятельность под ключевые показатели деятельности компании или видение руководителя?
Различить эти сценарии на самом деле непросто, но в этом нет ничего невозможного. Исследования в области машинного обучения помогли разработать несколько четких стратегий для выявления случаев переподгонки, и одна из самых важных – это перекрестная проверка.
Говоря простым языком, перекрестная проверка означает оценку не только того, насколько хорошо модель подходит для заданной информации, но и того, насколько успешно она может обобщить те данные, которыми не располагает. Парадоксально, но это может побудить нас использовать меньше данных. В случае с решением в пользу или против брака мы могли бы убрать два любых пункта и подстроить наши модели лишь под оставшиеся восемь. Тогда мы могли бы взять эти два пункта и использовать их, чтобы измерить, как хорошо наши функции обобщают информацию за рамками восьми «тренировочных» пунктов, которые были им заданы. Два «отложенных» пункта служили бы нам тревожным звоночком: если сложная модель попадает точно в цель, используя восемь тренировочных пунктов, но при этом ей все же отчаянно не хватает двух тестовых факторов, то велик шанс, что сюда вмешалась переподгонка.
