매개변수 탐색에서 실패한 시도도 보존하기

최종 전략뿐 아니라 선택 과정 세기

다섯 관측 창 길이, 네 진입 임계값과 세 청산 규칙은 같은 과거 데이터에서 예순 구성을 만듭니다. 최고의 순 합계가 +18R이고 중앙값이 −2R이라고 합시다. 승자의 계산이 맞아도 지속적 우위의 증거는 약할 수 있습니다. 탐색 자체가 극단적인 결과를 고르도록 설계되었기 때문입니다.

모든 시도의 매개변수, 데이터 버전, 기간, 비용, 제외 사항, 선택 지표와 결과를 저장하세요. 자산 변경, 나쁜 달 삭제, 다른 시간 주기와 성과 지표를 시도하는 것도 탐색을 바꿉니다. 최종 스크립트는 버린 선택을 거의 보여주지 않으므로 별도 실험 장부를 유지하세요.

근거 없이 독립성을 가정하지 않기

수학적 모형 예시로만 보면, 귀무가설 아래 각각의 거짓 양성 확률이 5%인 독립 검정 예순 개에서 하나 이상의 거짓 양성이 나올 확률은 1 − 0.95^60 ≈ 95.39%입니다. 이것은 선택한 전략이 거짓일 확률이 아닙니다. 공통 관측 때문에 매개변수 시도는 서로 의존하며, +18R 예제에서는 가설검정 자체를 정의하지 않았습니다.

인접 매개변수와 영향력이 큰 개별 거래를 조사하세요. 고립된 성과 정점은 검토할 필요가 있지만 그 자체로 소프트웨어 오류를 입증하지 않습니다. 넓고 안정적인 주변 영역은 민감도에 대한 유용한 정보지만, 탐색에 영향을 주지 않은 관측에서의 평가를 대신할 수 없습니다.

손실 사이에 고립된 매력적인 매개변수

다른 가상 조건이 같을 때 인접한 세 관측 창 길이가 −3R, +18R, −2R을 만듭니다. 세 결과 모두 보관하세요. 인과적인 설명을 제시하기 전에 일부 체결, 경계 처리 규칙 또는 데이터 이상이 정점을 설명하는지 확인하세요.

원래 격자는 5 × 4 × 3 = 60개 구성입니다. 사전 정의한 비용 시나리오 두 개를 기록하면 구성·시나리오 행은 120개가 됩니다. 이는 독립 검정 120개가 아닙니다. 승자를 좋게 보이게 하려고 낮은 비용 모형을 택했다면 공개해야 할 추가 연구 선택입니다.

시험 이름을 바꿔도 선택 과정은 사라지지 않는다

두 번째 평가를 강건성 점검이라 불러도 그 결과가 공개할 규칙을 결정한다면 독립적이지 않습니다. 각 시나리오의 역할을 미리 정하고 실패한 시도를 전체 횟수에서 조용히 빼지 말고 보존하세요.