매개변수 탐색에서 실패한 시도도 보존하기

매개변수 최적화: 모든 시도를 장부에 기록하기

다섯 관측 창 길이, 네 진입 임계값과 세 청산 규칙은 같은 과거 데이터에서 예순 구성을 만듭니다. 최고의 순 합계가 +18R이고 중앙값이 −2R이라고 합시다. 승자의 계산이 맞아도 지속적 우위의 증거는 약할 수 있습니다. 탐색 자체가 극단적인 결과를 고르도록 설계되었기 때문입니다.

모든 시도의 매개변수, 데이터 버전, 기간, 비용, 제외 사항, 선택 지표와 결과를 저장하세요. 자산 변경, 나쁜 달 삭제, 다른 시간 주기와 성과 지표를 시도하는 것도 탐색을 바꿉니다. 최종 스크립트는 버린 선택을 거의 보여주지 않으므로 별도 실험 장부를 유지하세요.

다중 검정: 같은 데이터를 쓴 시도의 의존성

수학적 모형 예시로만 보면, 귀무가설 아래 각각의 거짓 양성 확률이 5%인 독립 검정 예순 개에서 하나 이상의 거짓 양성이 나올 확률은 1 − 0.95^60 ≈ 95.39%입니다. 이것은 선택한 전략이 거짓일 확률이 아닙니다. 공통 관측 때문에 매개변수 시도는 서로 의존하며, +18R 예제에서는 가설검정 자체를 정의하지 않았습니다.

인접 매개변수와 영향력이 큰 개별 거래를 조사하세요. 고립된 성과 정점은 검토할 필요가 있지만 그 자체로 소프트웨어 오류를 입증하지 않습니다. 넓고 안정적인 주변 영역은 민감도에 대한 유용한 정보지만, 탐색에 영향을 주지 않은 관측에서의 평가를 대신할 수 없습니다.

예시: −3R과 −2R 사이에 고립된 +18R 관측 창

다른 가상 조건이 같을 때 인접한 세 관측 창 길이가 −3R, +18R, −2R을 만듭니다. 세 결과 모두 보관하세요. 인과적인 설명을 제시하기 전에 일부 체결, 경계 처리 규칙 또는 데이터 이상이 정점을 설명하는지 확인하세요.

원래 격자는 5 × 4 × 3 = 60개 구성입니다. 사전 정의한 비용 시나리오 두 개를 기록하면 구성·시나리오 행은 120개가 됩니다. 이는 독립 검정 120개가 아닙니다. 승자를 좋게 보이게 하려고 낮은 비용 모형을 택했다면 공개해야 할 추가 연구 선택입니다.

강건성 점검으로 공개할 규칙을 고르는 오류

두 번째 평가를 강건성 점검이라 불러도 그 결과가 공개할 규칙을 결정한다면 독립적이지 않습니다. 각 시나리오의 역할을 미리 정하고 실패한 시도를 전체 횟수에서 조용히 빼지 말고 보존하세요.