Тест out-of-sample: отделите проверочный период без утечки будущего

Фиксация протокола и сделки, пересекающие границу разделения

В этом гипотетическом расписании январь–март используются для разработки, апрель — для отбора, май–июнь — для окончательной проверки. В конце апреля зафиксируйте правила, набор активов, параметры, издержки, модель исполнения и критерии принятия. Скользящая средняя вправе использовать более ранние цены: ограничение касается будущей информации, а не обязанности забыть прошлое.

Сделка разработки, открытая 31 марта и закрытая 2 апреля, ещё не имеет известного реализованного результата на мартовской границе. Настройка по этому результату с оценкой с 1 апреля так, будто модель уже была зафиксирована, создаёт утечку. Заранее решите: исключать пересекающие границу метки исходов из предыдущей настройки или переносить начало оценки до их доступности. Требуемое исключение зависит от фактического горизонта исхода.

Утечка через предобработку и изменения после проверочного периода

Обучаемый масштабировщик, отбор признаков или модель заполнения пропусков должны настраиваться только на разрешённых наблюдениях. Расчёт параметров по всему январю–июню до разделения может внести информацию будущего распределения в ранние решения. Применяйте зафиксированные преобразования к последующим данным. Детерминированное преобразование единиц с известной константой — другая операция.

После просмотра проверочных результатов любое изменение начинает новый исследовательский цикл. Если май повлиял на новый стоп, май становится данными разработки или отбора для изменённого правила. Июнь может быть новым, более коротким тестом только если не влиял на решения прямо или косвенно. Иначе нужен действительно новый период оценки.

Пример: +12R на разработке, +3R на отборе, −2R на финальной проверке

Пусть разработка даёт +12R, отбор +3R, а окончательная проверка −2R после заявленных издержек. Общая сумма +13R, но результат отложенной проверки по-прежнему −2R. Покажите его отдельно с числом сделок, условиями и неопределённостью. Такая выборка не поддерживает запланированное утверждение о положительной доходности. Даже нетронутый проверочный период может быть коротким, охватывать один режим рынка или содержать зависимые сделки. Покажите эти ограничения вместе с результатом: само хронологическое разделение не доказывает переносимость результата.

При фиксации модели на закрытии 30 апреля исторические цены и уже завершённые апрельские исходы могут влиять на отбор. Сделка, открытая 30 апреля и закрытая 2 мая, ещё не имеет известного реализованного результата. Её поздний итог нельзя незаметно включать в раннюю настройку.

Почему пропуск одной свечи на границе не устраняет утечку исходов

Пропуск одной свечи около границы не устраняет автоматически утечку от сделки, метка исхода которой охватывает несколько дней. Проверьте доступность фактического целевого значения, используемого при настройке. Не выбирайте длину исключения после выяснения, какой вариант делает проверочный период прибыльным.