Ошибки бэктеста: проверка стратегии без знания будущего

Проверьте время появления сигналов, неоднозначное исполнение, фильтры, подбор параметров и хронологические тесты на воспроизводимых примерах.

Программа курса

1. 1

   Когда сигнал локального минимума действительно стал доступен?

   Метка пивота рисуется задним числом. Восстановите момент, когда сигнал стал доступен: ретроспективные 16R превращаются в исполнимые 0,81R.

   7 мин

   Коротко: Строгий локальный минимум — лишь кандидат, пока две следующие завершённые свечи не закроются с более высокими минимумами. Храните отдельно время кандидата и время подтверждения и входите по следующей исполнимой цене после подтверждения. В примере такой вход даёт 0,81R, а ретроспективный вход по отмеченному минимуму 100 — 16R.

2. 2

   Если одна свеча касается и стопа, и цели

   OHLC-бары не показывают, что сработало раньше. Оцените оба варианта: 10 одинаковых сделок дают диапазон итогов от 0R до 6R.

   7 мин

   Коротко: Если OHLC-свеча касается и стопа, и цели, она не показывает, что было достигнуто первым, поэтому приводите результат для каждого возможного порядка. Эти границы — не вероятности, а их середина — не ожидаемая прибыль. В примере десять сделок с двумя неоднозначными свечами дают чистые границы 0R и +6R.

3. 3

   Измерьте вклад дополнительного подтверждения

   Сравните сигнал с фильтром и без него. Считайте отклонённые входы и издержки вместо того, чтобы плюсовать скоррелированные индикаторы.

   7 мин

   Коротко: Оценивайте дополнительное подтверждение по его добавочному эффекту: та же стратегия с фильтром и без него на зафиксированном наборе возможностей после издержек. Совпадающие индикаторы не становятся автоматически независимыми доказательствами. В примере фильтр сохраняет +4R валовыми, но даёт +3,2R чистыми против +2R при издержках 0,1R на сделку — из 8 сделок вместо 20.

4. 4

   Сохраняйте проигравшие варианты подбора параметров

   Изучите весь подбор за победным бэктестом. Отделите сценарии надежности и отброшенные варианты во избежание переоптимизации.

   7 мин

   Коротко: Лучший из множества вариантов параметров выбран за свою крайность, поэтому его результат слабо подтверждает устойчивое преимущество. Записывайте каждый опыт с настройками, издержками и результатом: в примере 60 конфигураций дают лучший результат +18R при медиане −2R. Варианты на общих данных не являются независимыми тестами.

5. 5

   Тест out-of-sample: отделите проверочный период без утечки будущего

   Зафиксируйте правила и протокол до тестов. Аудируйте сделки на границах периодов, исключая утечку данных в тестовую выборку.

   8 мин

   Коротко: Зафиксируйте правила, параметры, издержки и критерии принятия до проверочного периода, а модели и предобработку настраивайте только на данных и исходах сделок, известных на момент фиксации. Результат отложенной проверки показывайте отдельно: в примере общая сумма +13R не меняет −2R проверочного периода. Любое изменение после его просмотра начинает новый исследовательский цикл.

Увеличить схему

1. Когда сигнал локального минимума действительно стал доступен?
2. Если одна свеча касается и стопа, и цели
3. Измерьте вклад дополнительного подтверждения
4. Сохраняйте проигравшие варианты подбора параметров
5. Тест out-of-sample: отделите проверочный период без утечки будущего

Учебный материал. Примеры не доказывают прибыльность стратегии. Издержки, ценовые разрывы и ликвидации могут привести к убытку выше запланированного стопа.