Отделите проверочный период без утечки будущих результатов

Зафиксируйте правило и протокол оценки

В этом гипотетическом расписании январь–март используются для разработки, апрель — для отбора, май–июнь — для окончательной проверки. В конце апреля зафиксируйте правила, набор активов, параметры, издержки, модель исполнения и критерии принятия. Скользящая средняя вправе использовать более ранние цены: ограничение касается будущей информации, а не обязанности забыть прошлое.

Сделка разработки, открытая 31 марта и закрытая 2 апреля, ещё не имеет известного реализованного результата на мартовской границе. Настройка по этому результату с оценкой с 1 апреля так, будто модель уже была зафиксирована, создаёт утечку. Заранее решите: исключать пересекающие границу метки исходов из предыдущей настройки или переносить начало оценки до их доступности. Требуемое исключение зависит от фактического горизонта исхода.

У предобработки тоже есть время доступности информации

Обучаемый масштабировщик, отбор признаков или модель заполнения пропусков должны настраиваться только на разрешённых наблюдениях. Расчёт параметров по всему январю–июню до разделения может внести информацию будущего распределения в ранние решения. Применяйте зафиксированные преобразования к последующим данным. Детерминированное преобразование единиц с известной константой — другая операция.

После просмотра проверочных результатов любое изменение начинает новый исследовательский цикл. Если май повлиял на новый стоп, май становится данными разработки или отбора для изменённого правила. Июнь может быть новым, более коротким тестом только если не влиял на решения прямо или косвенно. Иначе нужен действительно новый период оценки.

Положительная общая сумма не спасает убыточную финальную проверку

Пусть разработка даёт +12R, отбор +3R, а окончательная проверка −2R после заявленных издержек. Общая сумма +13R, но результат отложенной проверки по-прежнему −2R. Покажите его отдельно с числом сделок, условиями и неопределённостью. Такая выборка не поддерживает запланированное утверждение о положительной доходности.

При фиксации модели на закрытии 30 апреля исторические цены и уже завершённые апрельские исходы могут влиять на отбор. Сделка, открытая 30 апреля и закрытая 2 мая, ещё не имеет известного реализованного результата. Её поздний итог нельзя незаметно включать в раннюю настройку.

Произвольный промежуток не всегда устраняет пересечение исходов

Пропуск одной свечи около границы не устраняет автоматически утечку от сделки, метка исхода которой охватывает несколько дней. Проверьте доступность фактического целевого значения, используемого при настройке. Не выбирайте длину исключения после выяснения, какой вариант делает проверочный период прибыльным.