Что случится с показателями нашего теста, если мы возьмем короткий промежуток времени, например 3,5 года, с января 2003 года по июнь 2006 года? Для этого периода средняя отдача при случайных входах составляет 35 процентов, а коэффициент MAR составляет 1,06. Настоящие системы показывают более хороший результат. Система тройной скользящей средней принесла 48,5 процента отдачи с коэффициентом MAR, равным 1,50. Система прорывов Боллинджера принесла 52,2 процента отдачи с коэффициентом MAR, равным 1,54, а система двойной скользящей средней – 49,7 процента отдачи с коэффициентом MAR, равным 1,25.
Если говорить о случайных тестах, сколько удачливых трейдеров по итогам 100 тестов смогли показать хорошие результаты? Сколькие счастливчики смогли показать более высокие результаты, чем системы? У 17 тестов из 100 коэффициент MAR был выше 1,54; из этих 17 только у 7 отдача была выше, чем 52,2 процента. А самый удачливый трейдер, торговавший без системы, получил 71,4 процента отдачи с падением на уровне 34,5 процента и коэффициентом MAR, равным 2,07. Эти цифры могли бы дать пищу для размышлений тем, кто склонен изучать успех того или иного трейдера, основываясь лишь на результатах его работы за три года.
Оценивая итоги работы за короткий срок, вы должны понимать, что существенная часть результата связана исключительно с удачей. Чтобы понять, относится ли трейдер к счастливчикам или он действительно великолепно выполняет свою работу, нужно копнуть глубже и сфокусироваться на людях, стоящих за результатами работы фонда.
Хорошие инвесторы вкладывают деньги в людей, а не в исторические результаты. Они знают, как идентифицировать способности, создающие великолепные результаты в будущем, а также могут определить черты, свидетельствующие о средних способностях к трейдингу. Этот метод является лучшим способом преодоления действия случайных эффектов. Однако хорошая новость для любителей исторического моделирования состоит в том, что на самом деле достаточно просто определить, когда результаты обратного теста вызваны случайными эффектами, а когда – наличием перевеса в системе. В главе 12 мы подробно обсудим этот вопрос, но сначала давайте рассмотрим еще две причины, по которым обратное тестирование не соответствует реальности.
Оптимизация
Различия между результатами тестирования и реальной работы могут быть вызваны еще одной причиной, которую я называю парадоксом оптимизации. Парадокс часто вызывает путаницу, особенно среди трейдеров, которые слабо знакомы с принципами компьютерного моделирования. Оптимизация – это процесс определения того, какие числовые значения следует использовать при торговле с помощью системы, основанной на расчетах. Эти числовые значения называются параметрами. Например, в длинном скользящем среднем параметром является количество дней. Другим параметром является количество дней в коротком скользящем среднем. Оптимизация представляет собой процесс выбора наилучших, или оптимальных, значений для данных параметров. Многие трейдеры не признают оптимизацию, считая, что она подразумевает подгонку кривой и в итоге ведет к искажению результатов. Но я считаю, что это чушь!
Правильная оптимизация полезна, так как всегда лучше оценивать результаты, изучая изменения какого-либо параметра, чем игнорировать их. Зачастую это помогает выявить, что результаты достигнуты благодаря случайным эффектам, а не наличию перевеса в системе. Оптимизация – это исследование влияния того или иного фактора на результаты, а затем принятие квалифицированного решения о том, какой из них следует использовать при реальной торговле.
Трейдеры, считающие, что оптимизация плоха или даже опасна, либо не понимают парадокса оптимизации, либо видели эффекты некорректной оптимизации, приведшей к тому, что в статистике известно как чрезвычайно близкая подгонка или сверхточность.
Парадокс оптимизации
Парадокс оптимизации предполагает, что оптимизация параметра приводит к возникновению системы, которая с достаточной вероятностью будет эффективно работать в будущем, однако, скорее всего, не будет работать так же хорошо, как в симуляционной модели. Таким образом, оптимизация улучшает возможное действие системы, одновременно снижая точность исторических измерений для целей прогнозирования. Этот парадокс еще не понят до конца, что приводит многих трейдеров к отрицанию оптимизации систем из-за страха сверхточности или подгонки кривой в системе. Тем не менее я заявляю, что правильная оптимизация целесообразна.
Рисунок 11-1. Изменение значения коэффициента MAR при изменении порога входа
Copyright 2006 Trading Blox, все права защищены.
Использование значений параметров, определенных в ходе корректной оптимизации, должно повысить вероятность получения хороших результатов при реальной торговле в будущем. Это может подтвердить следующий пример. Как вы помните, в системе прорыва Боллинджера присутствуют два параметра. На рисунке 11-1 изображен график значений коэффициента MAR как отправного входного параметра, определяющего ширину канала волатильности в показателях стандартного отклонения, при значениях от 1 до 4 величин стандартного отклонения.
Заметьте, что пиковыми для данной модели являются результаты при ширине канала, равной 2,4 величинам показателя стандартного отклонения. Любое значение входного порога, меньшее или большее 2,4 в рамках данного теста, покажет более низкое значение коэффициента MAR.
Теперь, возвращаясь к моему утверждению о целесообразности оптимизации, давайте предположим, что мы не оптимизировали ширину канала, а решили просто использовать ширину канала, равную 3,0. Мы принимаем такое решение, помня из курса статистики, что в нормальном распределении более 99 процентов значений находятся в пределах 3-процентного отклонения от среднего. Если предположить, что ситуация в будущем не изменится, такое решение приведет к тому, что мы выложим много денег, и при этом наш трейдинг испытает гораздо более глубокое падение, чем можно было бы ожидать при входном значении 2,4. Для того чтобы дать вам представление о том, насколько существенна разница, скажу, что тест при параметре 2,4 приносит за период 10,5 лет в 8 раз больше денег при том же уровне падения, что тест при параметре 3,0. Отдача при параметре 2,4 приносит 54,5 процента по сравнению с 28,2 процентами при входном значении, равном 3,0.
Рисунок 11-2. Изменение значения коэффициента MAR при изменении количества дней скользящей средней
Copyright 2006 Trading Blox, все права защищены.
Отвергая оптимизацию, вы, по сути, оставляете трейдинг на волю случая, сознательно выбирая неведение. Теперь, когда мы увидели, как влияют изменения этого параметра на результат, мы стали лучше понимать, насколько могут различаться результаты в зависимости от величины входного параметра и насколько они действительно зависимы от него. Мы знаем, что, если канал слишком узок, нам придется осуществлять много сделок, а это влияет на наши результаты; если же канал слишком широк, мы пропускаем существенную часть тренда, не входя в него, а это также влияет на конечный результат. Если вы не проводите исследование, потому что боитесь сверхточности или подгонки кривой, вы лишаете себя полезного знания, способного улучшить результаты вашего трейдинга и дать вам идеи по совершенствованию системы в будущем. В последующих разделах мы разберем еще несколько параметров, принимающих, как вы увидите, при изменении значений на графике форму горы.
