표본 외 검증: 미래 결과를 누출하지 않고 홀드아웃 고정하기

평가 절차 고정과 분할 경계를 넘는 거래 처리

가상 일정에서 1–3월은 개발, 4월은 선택, 5–6월은 최종 평가에 사용합니다. 4월 말에 규칙, 자산 범위, 매개변수, 비용, 체결 가정과 통과 기준을 고정하세요. 이동평균은 앞선 과거 가격을 사용할 수 있습니다. 금지 대상은 미래 정보이지 과거 기억이 아닙니다.

3월 31일에 진입해 4월 2일에 청산한 개발 거래는 3월 경계에서 실현 결과를 알 수 없습니다. 그 결과로 모형을 맞춘 뒤 4월 1일부터 이미 고정되어 있었던 것처럼 평가하면 정보가 누출됩니다. 경계를 넘는 결과 레이블을 앞선 적합에서 제외하거나 결과를 알 때까지 평가 시작을 늦추는 방침을 미리 정하세요. 필요한 제외 범위는 실제 결과 확정 기간에 따라 달라집니다.

전처리 누출과 홀드아웃 확인 후 수정

학습형 스케일러, 특징 선택과 결측값 모형은 허용된 적합 데이터로만 학습해야 합니다. 분할 전에 1–6월 전체 표본으로 매개변수를 계산하면 미래 분포 정보가 앞선 결정에 들어갈 수 있습니다. 고정한 변환을 이후 관측에 적용하세요. 알려진 상수로 하는 결정론적 단위 변환은 다른 작업입니다.

홀드아웃 결과를 본 뒤 수정하면 새로운 연구 주기가 시작됩니다. 5월 결과가 스톱 변경에 영향을 주었다면 수정 규칙에서 5월은 개발 또는 선택 데이터입니다. 6월은 직접적·간접적으로 결정에 영향을 주지 않았을 때만 새롭고 더 짧은 홀드아웃이 될 수 있습니다. 그렇지 않으면 실제로 새로운 평가 기간이 필요합니다.

예시: 개발 +12R, 선택 +3R, 홀드아웃 −2R

명시한 비용 차감 후 개발 +12R, 선택 +3R, 최종 평가 −2R이라고 합시다. 합계는 +13R이지만 홀드아웃 결과는 여전히 −2R입니다. 거래 수, 조건과 불확실성을 함께 별도로 보고하세요. 이 표본은 계획했던 양의 성과 주장을 뒷받침하지 않습니다. 열람하지 않은 홀드아웃도 기간이 짧거나 한 시장 국면에 집중되거나 서로 의존하는 거래를 포함할 수 있습니다. 결과와 함께 이런 한계를 보고하세요. 시간순 분할만으로 일반화 가능성이 입증되지는 않습니다.

4월 30일 마감에 고정한다면 과거 가격과 이미 끝난 4월 거래 결과는 선택에 사용할 수 있습니다. 4월 30일에 진입하고 5월 2일에 청산하는 거래의 실현 결과는 아직 알 수 없습니다. 나중의 결과를 앞선 적합에 몰래 넣으면 안 됩니다.

분할 경계에서 캔들 하나를 빼도 결과가 누출되는 이유

분할 경계 주변에서 한 캔들을 빼는 것만으로 며칠에 걸친 거래 결과 레이블의 누출이 자동 제거되지는 않습니다. 실제 적합에 사용하는 목표값이나 결과가 언제 이용 가능했는지 조사하세요. 어떤 설정이 홀드아웃을 수익으로 만드는지 본 뒤 제외 길이를 고르면 안 됩니다.