백테스트 편향: 미래 정보 없이 전략 검증하기

재현 가능한 사례로 신호 시점, 모호한 체결 순서, 확인 필터, 매개변수 탐색과 시간순 검증 구간을 점검합니다.

과정 목차

1. 1

   피벗 신호를 실제로 알 수 있었던 시점 찾기

   과거 차트의 표시, 확인 시점과 체결 가능한 진입을 구분합니다. 사후적으로 가정한 체결을 제거하고 위험을 다시 계산합니다.

   7 분

   핵심 요약: 엄격한 피벗 저점은 이후 마감된 두 캔들이 더 높은 저점으로 마감할 때까지 후보일 뿐입니다. 후보 시각과 확인 시각을 따로 저장하고, 확인 후 다음 체결 가능한 가격에 진입합니다. 예시에서 그 진입은 0.81R이지만, 표시된 저점 100에 사후 진입하면 16R이 됩니다.

2. 2

   한 캔들이 스톱과 목표가를 모두 건드렸을 때

   OHLC가 청산 순서를 알려주지 않을 때 결과의 범위를 계산합니다. 체결 가정과 비용을 명시적으로 유지합니다.

   7 분

   핵심 요약: 스톱과 목표가에 모두 닿은 OHLC 캔들은 어느 쪽에 먼저 도달했는지 보여 주지 않으므로 가능한 각 순서의 결과를 보고합니다. 이 범위는 확률이 아니며 중간값도 기대이익이 아닙니다. 예시에서 모호한 캔들 두 개를 포함한 열 거래의 순 결과 범위는 0R에서 +6R입니다.

3. 3

   추가 확인 신호가 실제로 더하는 가치 측정하기

   고정된 신호를 필터 적용 전후로 비교합니다. 상관된 지표를 독립적인 표로 세지 말고 제외된 기회, 비용과 시장 노출을 보존합니다.

   7 분

   핵심 요약: 추가 확인 신호는 추가 효과로 판단합니다. 고정한 기회 집합에서 필터가 있는 정책과 없는 같은 정책을 비용 후 결과로 비교합니다. 일치하는 지표가 자동으로 독립적인 증거가 되지는 않습니다. 예시에서 거래당 비용이 0.1R일 때 필터 정책은 20거래 대신 8거래로 같은 비용 전 +4R을 유지하며 순 +3.2R을 기록하고, 기본 정책은 순 +2R입니다.

4. 4

   매개변수 탐색에서 실패한 시도도 보존하기

   승리한 백테스트 뒤의 전체 탐색을 점검합니다. 강건성 시나리오, 선택된 매개변수와 독립적인 증거를 구분합니다.

   7 분

   핵심 요약: 많은 매개변수 시도 중 최고 결과는 극단적이라서 선택된 것이므로 지속적 우위의 약한 증거일 뿐입니다. 모든 시도를 설정, 비용, 결과와 함께 기록합니다. 예시에서 60개 구성의 최고 결과는 +18R, 중앙값은 −2R입니다. 같은 데이터를 쓴 시도들은 독립 검정이 아닙니다.

5. 5

   표본 외 검증: 미래 결과를 누출하지 않고 홀드아웃 고정하기

   개발, 선택과 최종 평가를 분리합니다. 기간 경계를 넘는 거래, 전처리와 이미 본 시험 구간의 재사용을 점검합니다.

   8 분

   핵심 요약: 홀드아웃 전에 규칙, 매개변수, 비용, 통과 기준을 고정하고, 모형과 전처리는 고정 시점에 이미 알려진 데이터와 거래 결과로만 적합합니다. 홀드아웃은 따로 보고합니다. 예시에서 전체 합계 +13R이 홀드아웃 −2R을 바꾸지 않습니다. 홀드아웃을 본 뒤의 수정은 새로운 연구 주기를 시작합니다.

도표 크게 보기

1. 피벗 신호를 실제로 알 수 있었던 시점 찾기
2. 한 캔들이 스톱과 목표가를 모두 건드렸을 때
3. 추가 확인 신호가 실제로 더하는 가치 측정하기
4. 매개변수 탐색에서 실패한 시도도 보존하기
5. 표본 외 검증: 미래 결과를 누출하지 않고 홀드아웃 고정하기

교육 자료입니다. 예제는 전략의 수익성을 입증하지 않습니다. 비용, 가격 급변, 청산으로 계획한 손절 범위를 넘는 손실이 발생할 수 있습니다.