Во время собеседования перед началом программы Черепах Билл Экхардт спросил меня: «Знаешь ли ты, что такое устойчивый статистический показатель?» Я помолчал немного, а затем сказал: «Не имею никакого представления». Теперь я могу ответить на этот вопрос. Речь идет о разделе математики, занимающемся проблематикой несовершенной информации и неправильными предположениями, называемом статистикой надежности или робастной статистикой.
Из самого вопроса было ясно, что Билл осознавал несовершенную природу тестирования и исследования на базе исторической информации, а также понимал суть непознаваемого, – редкое качество для тех времен (да и теперь). Я думаю, что в этом и заключалась причина отличных результатов трейдинга Билла на протяжении многих лет.
Это – еще один пример того, насколько далеко по сравнению с другими игроками в отрасли продвинулись в своих исследованиях и размышлениях Рич и Билл. Чем больше я учусь, тем большее уважение испытываю к их вкладу в нас. И меня крайне удивляет, как недалеко продвинулась отрасль относительно того, что Рич и Билл знали в еще 1983 году.
Устойчивые показатели измерения результативности
Ранее мы говорили о таких показателях измерения сравнительной результативности, как коэффициент MAR, CAGR% и коэффициент Шарпа. Эти показатели не очень устойчивы, так как существенно зависят от дат начала и окончания периода тестирования. Это особенно справедливо для тестов менее чем 10-летних периодов. Представьте себе, что случится, если мы скорректируем сроки начала и окончания теста на несколько месяцев. Для этого проведем тест не с начала января 1996 года, а с начала февраля того же года. В качестве срока окончания возьмем не 30 июня 2006 года, а 30 апреля – то есть уберем всего один месяц с начала и два месяца с конца тестируемого периода.
Тест тройной скользящей средней с первоначальными данными дал нам 43,2 процента отдачи с коэффициентом MAR, равным 1,39, и коэффициентом Шарпа, равным 1,25. Если изменить даты начала и окончания, отдача подскочит до 46,2 процента, коэффициент MAR вырастет до 1,39, а коэффициент Шарпа – до 1,37. Тест системы прорыва канала ATR с первоначальным периодом демонстрирует отдачу на уровне 51,7 процента, коэффициент MAR, равный 1,31, и коэффициент Шарпа, равный 1,39. Меняем период – меняются показатели. Отдача подскакивает до 54,9 процента, коэффициент MAR вырастает до 1,49, а коэффициент Шарпа – до 1,47.
Такая чувствительность по всем трем измерениям объясняется тем, что MAR и коэффициент Шарпа содержат отдачу в качестве части числителя, а отдача, выраженная в процентах CAGR при расчете MAR или в среднемесячном показателе отдачи при расчете коэффициента Шарпа, существенно зависит от срока начала или окончания теста. MAR особо чувствителен к изменению сроков теста, так как в нем содержатся два компонента, зависимых от сроков теста. Таким образом, при расчете этого показателя эффект изменений усиливается в разы.
Причина, по которой CAGR% зависит от начала и окончания тестируемого периода, заключается в том, что на логарифмической шкале показатель представляет собой градус наклона линии, начинающейся в начале теста и заканчивающейся в момент его окончания. Изменение дат начала и окончания тестируемого периода существенно меняет наклон линии, как показано на рисунке 12-1.
Рисунок 12-1. Эффект воздействия изменения начальной и конечной даты на CAGR%
Заметьте, что наклон линии, называемой «Измененные даты теста», круче, чем наклон линии под названием «Первоначальные даты теста». В данном случае в начале тестируемого периода (январь 1996 года) произошло падение, также падение наблюдалось в мае и июне 2006 года, последних месяцах первоначального периода. Соответственно, сдвигая даты теста на несколько месяцев, мы смогли избавиться от результатов обоих падений. Это отмечено на рисунке 12-1: убрав падение на любом этапе теста, мы повысим наклон линии, определяющей CAGR%.
Регрессированная годовая отдача (RAR%)
Более подходящим методом оценки наклона является простая линейная регрессия каждой точки на каждой линии. Для тех читателей, которые не любят математику, поясню, что линейная регрессия – это просто мудреное название того, что именуется линией полного соответствия. Представьте себе прямую линию, проходящую через центр всех точек, как если бы вы убрали все выпуклости на графике, растянув их за края, не меняя общего направления линии.
Линия линейной регрессии и соответствующий показатель отдачи создают возможность для формирования нового показателя, который я называю регрессированной годовой отдачей (Regressed Annual Return, RAR%). Этот показатель в гораздо меньшей степени чувствителен к изменениям данных в конце теста. На рисунке 12-2 показано, что при применении RAR% наклон линии практически не меняется при изменении конечной точки.
Если мы теперь повторим тестирование, проведенное ранее, то заметим, что показатель RAR% менее зависим от изменений периода тестирования, потому что у обеих линий наблюдается примерно одинаковый наклон. RAR% для первоначального теста составляет 54,67 процента, а для теста с измененными датами он составляет 54,78 процента, что всего на 0,11 процента выше. Сравните эти результаты с результатами CAGR%, изменившимися на целых 3 процента, с 43,2 до 46,2 процента. В рамках данного теста CAGR% был почти в 30 раз более чувствителен к изменению конечных дат.
Рисунок 12-2. Эффект воздействия изменения начальной и конечной даты на RAR%
Значение среднемесячной отдачи, используемое при расчете коэффициента Шарпа, также зависит от изменений дат, так как мы исключаем из тестирования три последних плохих месяца, а это влияет на среднюю отдачу, хотя и в меньшей степени, чем на CAGR%. Лучшим показателем для числителя мог бы стать RAR%.
Как было отмечено ранее, компонент, связанный с величиной максимального падения в расчете коэффициента MAR, также чувствителен к датам начала и окончания теста. Если крупное падение происходит в начале тестового периода или ближе к его окончанию, показатель MAR изменится достаточно существенно. Показатель максимального падения – это лишь одна точка на кривой капитала; соответственно, для корректных расчетов нам не хватает существенного объема данных. Наилучшим показателем является тот, который включает больше значений падения. Гораздо сложнее торговать по системе, в которой было пять крупных падений на уровне 32, 34, 35, 35 и 36 процентов, чем по системе, в которой падения были на уровне 20, 25, 26, 29 и 36 процентов.
Более того, глубина падения – это лишь одно измерение. Все 30-процентные падения неодинаковы. Я обращаю меньше внимания на недавнее падение, которое продолжалось всего два месяца, чем на падение, которое продолжалось два года, пока рынок не вернулся к прежним значениям. Период возвращения к прежнему значению (продолжительность падения) важен сам по себе.
