미래 정보를 섞지 않고 매매 전략 검증하기 · 5 / 5
미래 결과를 누출하지 않고 시간순 홀드아웃 고정하기
파일 이름이 홀드아웃이어도 그 결과가 전략에 영향을 주었다면 손대지 않은 데이터가 아닙니다. 행에 붙은 월뿐 아니라 모든 입력과 거래 결과가 언제 알려졌는지 추적하세요.
Athenum8 분업데이트:
규칙과 평가 절차를 함께 고정하기
가상 일정에서 1–3월은 개발, 4월은 선택, 5–6월은 최종 평가에 사용합니다. 4월 말에 규칙, 자산 범위, 매개변수, 비용, 체결 가정과 통과 기준을 고정하세요. 이동평균은 앞선 과거 가격을 사용할 수 있습니다. 금지 대상은 미래 정보이지 과거 기억이 아닙니다.
3월 31일에 진입해 4월 2일에 청산한 개발 거래는 3월 경계에서 실현 결과를 알 수 없습니다. 그 결과로 모형을 맞춘 뒤 4월 1일부터 이미 고정되어 있었던 것처럼 평가하면 정보가 누출됩니다. 경계를 넘는 결과 레이블을 앞선 적합에서 제외하거나 결과를 알 때까지 평가 시작을 늦추는 방침을 미리 정하세요. 필요한 제외 범위는 실제 결과 확정 기간에 따라 달라집니다.
전처리에도 정보 가용 시점이 있다
학습형 스케일러, 특징 선택과 결측값 모형은 허용된 적합 데이터로만 학습해야 합니다. 분할 전에 1–6월 전체 표본으로 매개변수를 계산하면 미래 분포 정보가 앞선 결정에 들어갈 수 있습니다. 고정한 변환을 이후 관측에 적용하세요. 알려진 상수로 하는 결정론적 단위 변환은 다른 작업입니다.
홀드아웃 결과를 본 뒤 수정하면 새로운 연구 주기가 시작됩니다. 5월 결과가 스톱 변경에 영향을 주었다면 수정 규칙에서 5월은 개발 또는 선택 데이터입니다. 6월은 직접적·간접적으로 결정에 영향을 주지 않았을 때만 새롭고 더 짧은 홀드아웃이 될 수 있습니다. 그렇지 않으면 실제로 새로운 평가 기간이 필요합니다.
전체 합계가 양수여도 손실인 최종 평가는 바뀌지 않는다
명시한 비용 차감 후 개발 +12R, 선택 +3R, 최종 평가 −2R이라고 합시다. 합계는 +13R이지만 홀드아웃 결과는 여전히 −2R입니다. 거래 수, 조건과 불확실성을 함께 별도로 보고하세요. 이 표본은 계획했던 양의 성과 주장을 뒷받침하지 않습니다.
4월 30일 마감에 고정한다면 과거 가격과 이미 끝난 4월 거래 결과는 선택에 사용할 수 있습니다. 4월 30일에 진입하고 5월 2일에 청산하는 거래의 실현 결과는 아직 알 수 없습니다. 나중의 결과를 앞선 적합에 몰래 넣으면 안 됩니다.
| 단계 | 기간 | 순 합계 | 역할 |
|---|---|---|---|
| 개발 | 1–3월 | +12R | 후보 규칙 만들기 |
| 선택 | 4월 | +3R | 규칙을 선택하고 고정하기 |
| 홀드아웃 | 5–6월 | −2R | 고정한 규칙 평가하기 |
- 개발
- 12 R
- 선택
- 3 R
- 홀드아웃
- -2 R
임의의 간격만으로 결과 중첩이 사라지지 않을 수 있다
분할 경계 주변에서 한 캔들을 빼는 것만으로 며칠에 걸친 거래 결과 레이블의 누출이 자동 제거되지는 않습니다. 실제 적합에 사용하는 목표값이나 결과가 언제 이용 가능했는지 조사하세요. 어떤 설정이 홀드아웃을 수익으로 만드는지 본 뒤 제외 길이를 고르면 안 됩니다.
결정 전 확인사항
- 고정 시점과 통과 기준을 기록합니다.
- 모든 분할에서 결과 레이블 가용성을 확인합니다.
- 학습형 전처리는 허용된 데이터로만 맞춥니다.
- 모든 열람과 규칙 수정을 기록합니다.
- 실패한 홀드아웃을 개발 합계와 분리해 보고합니다.
이해도 확인
연구자가 1–6월로 스케일러의 평균과 분산을 계산한 다음 1–3월로 학습하고 5–6월로 시험합니다. 스케일링 후 분할하면 홀드아웃이 보존됩니까?
정답과 해설 보기
아닙니다. 미래 분포 정보가 이미 스케일러에 들어갔습니다. 허용된 적합 데이터로 학습형 전처리를 맞추고 고정한 뒤 이후 관측에 적용하세요. 그런 다음 이미 열람한 데이터를 기록하는 절차에 따라 평가를 다시 수행해야 합니다.