Помимо этого, можно протестировать модель на данных, полученных полностью из какой-либо другой системы оценки. Как мы видели, использование систем показателей – например, вкуса как показателя питательности – тоже может привести к переподгонке. В этих случаях нам необходимо провести перекрестную проверку первоначального измерения, которое мы использовали, относительно других возможных измерений.
Например, в школах использование стандартизированных тестов несет массу преимуществ, включая экономию с точки зрения шкалы оценок: их можно оценивать тысячами, просто и быстро. Тем не менее наряду с такими тестами школы могли бы произвольно оценивать студентов небольшими группами, используя другой метод оценки, – возможно, написание эссе или устный экзамен. (Поскольку таким образом можно проверить знания лишь нескольких студентов за раз, иметь этот способ оценки в качестве запасного не представляется необходимым.) Стандартизированные тесты позволят получить незамедлительный результат оценки знаний студентов (вы можете устраивать короткий экзамен на компьютере каждую неделю и отслеживать успехи класса практически в режиме реального времени, например), в то время как вторичные точки данных послужат для перекрестной проверки. Вы сможете удостовериться, что студенты действительно овладели теми знаниями, которые должен был оценить стандартизированный тест, а не просто научились лучше решать тестовые задания. Если оценки по стандартизированным тестам улучшились, а «нестандартизированная» активность движется в противоположном направлении, это должно послужить предупредительным сигналом для администрации учебного заведения: знания и навыки учеников начали превосходить механику самого теста.
Перекрестная проверка также предлагает отличное решение для сотрудников военных и правоохранительных органов, желающих выработать правильные рефлексы, которые не помешают им в реальной работе. Таким же образом, как эссе или письменный экзамен могут перепроверить результаты по стандартизированным тестам, так же может применяться и внезапная новая «перекрестная тренировка» для оценки времени реагирования и точности стрельбы в рамках незнакомого задания. Но если показатели перекрестной тренировки низки, то это послужит сигналом о необходимости изменения системы тренировок. И, хотя никакие тренировки не могут на самом деле подготовить нас к настоящему сражению, подобные упражнения могут хотя бы предупредить образование шрамов тренировок.
Как бороться с переподгонкой: санкции на сложность
Если вы не можете объяснить доступно, значит, вы сами недостаточно хорошо это понимаете.
Аноним
Мы видели ряд случаев, когда переподгонка может вступить в игру, и рассмотрели некоторые методы ее выявления и измерения силы ее действия. Но что мы можем сделать, чтобы смягчить ее эффект?
С точки зрения статистики переподгонка – симптом чрезмерной чувствительности к тем реальным данным, которые мы видели. В этом случае есть простое и ясное решение: мы должны придерживаться баланса между нашим стремлением к идеальной подгонке и сложностью используемых нами для этого моделей.
Один из принципов, помогающих выбрать среди нескольких альтернативных моделей, – принцип бритвы Оккама. Он гласит: при прочих равных условиях самая простая из возможных гипотез с большой долей вероятности является единственно правильной. Разумеется, все условия редко бывают абсолютно равными, поэтому не сразу становится понятно, как применить подобный принцип в математическом контексте. Пытаясь решить эту задачу, в 60-е годы прошлого века русский математик Андрей Тихонов предложил свой вариант ответа: нужно ввести в ваши расчеты дополнительное условие, которое отсекает более сложные решения.
Если мы назначим такое своеобразное наказание за сложность, тогда сложным моделям придется не просто хорошо потрудиться, а показать значительно более высокие результаты при разъяснении данных, чтобы оправдать свое устройство. Специалисты в области компьютерных технологий называют этот принцип – в основе которого лежит применение определенных ограничений сложности моделей – регуляризацией.
Так как же выглядят эти ограничения сложности? Один из таких алгоритмов, разработанный в 1996 году специалистом по биостатистике Робертом Тибширани, называется LASSO
[24]. Он использует в качестве санкций общую сумму различных факторов, задействованных в модели
[25].
Применяя такую нисходящую нагрузку на значение факторов, алгоритм Лассо позволяет свести их по возможности к нулю. Лишь те факторы, которые имеют большое влияние на итоговый результат, остаются в формуле. Таким образом, девятифакторная модель, в которой проявляется переподгонка, будет трансформирована в более простую логичную формулу с меньшим количеством ключевых факторов.
Техники, подобные алгоритму Лассо, сегодня широко распространены в области машинного обучения, однако принцип наложения санкций на сложность встречается и в природе. Живые организмы почти автоматически тяготеют к простоте благодаря тому, что их жизненные ресурсы – время, память, энергия и внимание – ограничены. Бремя метаболизма, например, действует как тормоз для сложностей жизнедеятельности организмов, вводя калории в качестве санкций для сложноорганизованного механизма. Тот факт, что человеческий мозг сжигает около пятой части ежедневной нормы потребления калорий, служит доказательством преимуществ эволюции, которые нам подарили интеллектуальные способности: в конце концов, работа мозга должна более чем оправдывать огромный счет за топливо. С другой стороны, можно сделать вывод, что значительно более сложно устроенный мозг не приносил бы адекватные дивиденды с эволюционной точки зрения. Мы сообразительны ровно настолько, насколько это необходимо, но не более.
Считается, что тот же процесс играет некоторую роль и на нейронном уровне. В компьютерной науке модели программного обеспечения, известные как искусственные нейронные сети, работа которых базируется на основных принципах организации человеческого мозга, могут обучаться работе с функциями произвольной сложности – еще более гибкими, чем наша девятифакторная модель. Но как раз по этой причине нейронные сети чрезвычайно восприимчивы и подвержены эффекту переподгонки.
Настоящие, биологические нейронные сети уклоняются от этой проблемы, поскольку им необходимо отработать затраты, связанные с их содержанием. Нейробиологи предположили, что, возможно, мозг пытается максимально сократить количество нейронов, которые загораются в тот или иной момент, что позволяет нам провести параллель с нисходящим давлением на сложность в алгоритме лассо.
Язык формирует другой естественный принцип LASSO: сложность карается трудозатратами на ведение долгого разговора и обременением внимания нашего слушателя. В конечном счете бизнес-план сокращается до краткой презентации. А житейский совет становится народной мудростью только в том случае, если он достаточно лаконичен и легко запоминается.
