Говоря языком математики, наша модель на основе двух факторов объединяет всю информацию, которая идет в однофакторную модель, имея при этом еще одно условие, которое она также может использовать. Аналогичным образом, модель на основе девяти факторов использует всю информацию двухфакторной модели, имея при этом возможность использовать множество дополнительных данных. По этой логике, кажется, что девятифакторная модель всегда должна помогать нам составить самый точный прогноз.
Но, оказывается, все не так просто.
Результаты применения этих моделей показаны выше. В однофакторной модели отсутствует множество точных точек данных, хотя основная тенденция отражена – постепенный спад после безмятежного медового месяца. Однако прямая линия зависимости предсказывает, что снижение уровня удовлетворенности жизнью будет продолжаться постоянно, приводя в итоге к бесконечному мучению. Что-то в этой траектории кажется не совсем верным. В противоположность этому выравнивание линии, предсказанное двухфакторной моделью, больше соответствует прогнозам психологов и экономистов о браке и счастье. (Кстати, они считают, что такое выравнивание означает лишь возврат к нормальному состоянию, то есть к базовому уровню удовлетворенности человека своей жизнью, а вовсе не неудовольствие от самого брака.)
Мораль такова: действительно, используя большее количество факторов в модели, мы по определению получим модель, наиболее соответствующую данным, которыми мы уже располагаем. Однако наиболее близкое соответствие необязательно означает, что мы получаем наиболее точный прогноз.
Допустим, что самая простейшая модель – например, прямая линия из нашей однофакторной формулы – не всегда может отразить реальную картину данных. Если настоящее положение дел похоже на кривую, то прямая линия никогда не сможет передать суть верно. С другой стороны, слишком сложная модель вроде нашей девятифакторной, как мы имели возможность наблюдать, становится чересчур чувствительной к каждому отдельному значению. В результате именно потому, что эта модель так четко настроена на определенный набор данных, ее решения крайне переменчивы. Если исследование повторить с разными людьми, одно– и двухфакторные модели останутся более-менее стабильными, внося незначительные изменения в общую картину, в то время как линия девятифакторной модели будет отчаянно кружить от одних результатов исследования к другим. Это явление эксперты в области статистики называют переподгонкой.
Поэтому одним из золотых правил машинного обучения, в сущности, является тот факт, что использовать более сложную модель, которая учитывает большое количество факторов, – не всегда лучшее решение. И дело не в том, что дополнительные факторы могут давать различные результаты: близость к статистическим данным не оправдывает дополнительной вычислительной сложности. С такими моделями наши прогнозы могут стать гораздо менее надежными.
Поклонение данным
Если бы мы имели огромный объем данных, полученных на основании одной идеально подготовленной репрезентативной выборки (безошибочно точной и отражающей конкретно то, что мы пытаемся оценить), лучшим подходом было бы использование наиболее сложной модели. Но если мы попытаемся максимально подстроить нашу модель под те данные при условии, что какой-либо один фактор будет варьироваться, то мы рискуем получить эффект переподгонки.
Другими словами, угроза переподгонки возникает каждый раз, когда мы имеем дело с изменяющимися данными или ошибками в измерениях, а это означает – постоянно. Ошибки могут быть допущены при сборе информации или при передаче данных. Иногда изучаемым феноменам вроде человеческого счастья трудно даже дать определение, не то что измерить их. Благодаря своей гибкости наиболее сложные из моделей могут подстроиться под любую структуру данных, но этот факт также означает, что эти модели смогут подстроиться и под те структуры, которые представляют собой лишь образ данных, состоящий из «помех» и ошибок.
На протяжении всей истории религиозные тексты предостерегали своих последователей против идолопоклонничества – поклонения статуям, изображениям, мощам и другим материальным артефактам вместо тех божественных сущностей, которых олицетворяют те артефакты. Например, первая заповедь предупреждает против поклонения «любому изображению или подобию того, что на небе вверху». А в Книге Царств бронзовая змея, сделанная по велению Бога, становится объектом молитв и курения фимиама вместо самого Бога. (И Бог не был доволен.) В глобальном смысле переподгонка – это своего рода поклонение данным, последствие концентрации на том, что мы можем измерить, а не на том, что действительно имеет значение.
Разница между имеющимися у нас данными и прогнозами, которые мы хотим получить, имеет место практически всегда. Когда мы принимаем важное решение, мы можем лишь гадать, что придется нам по нраву позже, рассматривая те факторы, которые важны для нас сейчас. (Как писал Дэниэл Гилберт из Гарварда, мы в будущем часто «платим большие деньги, чтобы свести татуировки, сделанные за не меньшие деньги».) Подготавливая финансовый прогноз, мы можем рассматривать только те факторы, которые оказывали влияние на цену акций в прошлом, но не на то, что может повлиять на нее в будущем. Даже в наших будничных делах прослеживается та же тенденция: отправляя электронное письмо, мы пробегаем глазами по тексту, пытаясь предугадать реакцию получателя. Так же как и в опросах общественного мнения, данные в реальной жизни всегда содержат определенные помехи и колебания.
Впоследствии рассмотрение большего количества факторов и трата больших усилий на то, чтобы переложить их в модель, может привести к тому, что мы сделаем выбор в пользу неверного фактора, предлагая молиться бронзовой змее данных, а не той великой силе, которая стоит за ними.
Переподгонка повсюду
Узнав о существовании переподгонки, вы видите ее проявления повсюду.
Переподгонка, например, объясняет иронию наших рецепторов. Как так получается, что та еда, которая нравится нам на вкус больше всего, нередко вредна для нашего здоровья, в то время как основная и единственная функция наших вкусовых рецепторов состоит в том, чтобы предотвратить потребление вредной пищи?
Ответ прост: вкус – это показатель здоровья нашего организма. Жиры, сахар и соль – важные питательные вещества, и пару сотен тысяч лет назад содержащая их пища составляла почти весь дневной рацион.
Однако возможность модифицировать пищу уничтожила эту взаимосвязь. Сейчас мы можем добавлять жиры и сахар сверх полезного для нас количества и употреблять исключительно эти продукты, а не растения, зерна и мясо, исторически составлявшие рацион человека. Другими словами, мы можем переподогнать вкус. Чем более искусно мы видоизменяем свою пищу (и чем больше наш образ жизни отличается от того, как жили наши предки), тем более несовершенной становится система показателей нашего вкуса. Свобода выбора, таким образом, превращается в настоящее проклятие, благодаря которому мы можем получить в точности все, что пожелаем, даже когда это идет нам во вред.
