Сохраняйте проигравшие варианты подбора параметров

Оптимизация параметров: каждый вариант — в журнал

Пять длин окна, четыре порога входа и три выхода создают шестьдесят конфигураций на одной истории. Пусть лучший чистый результат +18R, а медиана −2R. Расчёт победителя может быть верным и всё же слабо подтверждать устойчивое преимущество: процедура специально выбирает крайний результат.

Храните параметры, версию данных, период, издержки, исключения, критерий выбора и результат каждого опыта. Смена актива, удаление плохого месяца, другой таймфрейм или новая метрика также изменяют поиск. Финальный скрипт редко отражает отвергнутые решения, поэтому ведите отдельный журнал экспериментов.

Множественное тестирование: опыты на общих данных зависимы

Только как учебная математическая модель: у шестидесяти независимых тестов при нулевой гипотезе с вероятностью ложноположительного исхода 5 % каждый вероятность хотя бы одного такого исхода равна 1 − 0,95^60 ≈ 95,39 %. Это не вероятность того, что выбранная стратегия ложна. Общие наблюдения делают варианты параметров зависимыми, а для примера +18R статистическая проверка гипотезы вообще не определена.

Проверяйте соседние значения параметров и отдельные особенно влиятельные сделки. Изолированный пик требует внимания, но сам по себе не доказывает программную ошибку. Широкая устойчивая область полезна для оценки чувствительности, но не заменяет проверку на наблюдениях, не влиявших на поиск.

Пример: окно с +18R между соседями с −3R и −2R

Три соседние длины окна дают −3R, +18R и −2R при остальных одинаковых гипотетических допущениях. Сохраните все результаты. Прежде чем предлагать причинную историю, проверьте, не объясняется ли пик несколькими исполнениями, обработкой границ или аномалией данных.

Исходная сетка содержит 5 × 4 × 3 = 60 конфигураций. Два заранее определённых сценария издержек дают 120 строк «конфигурация/сценарий». Это не 120 независимых тестов. Выбор более дешёвой модели издержек ради улучшения победителя — ещё одно исследовательское решение, которое необходимо раскрыть.

Ошибка: проверка устойчивости, использованная для выбора публикуемого правила

Второй прогон не становится независимым от названия «проверка устойчивости», если его результат определяет публикуемое правило. Заранее задайте роль каждого сценария и сохраняйте неудачные опыты, а не исключайте их молча из общего числа.