Kiểm tra out-of-sample: cố định tập kiểm tra không rò rỉ kết quả tương lai

Cố định quy trình và xử lý giao dịch vắt qua ranh giới chia

Trong lịch giả định, dùng tháng 1–3 để phát triển, tháng 4 để lựa chọn và tháng 5–6 để đánh giá cuối. Cuối tháng 4, cố định quy tắc, tập tài sản, tham số, chi phí, giả định khớp và tiêu chí chấp nhận. Trung bình động có thể dùng giá lịch sử trước đó; giới hạn là thông tin tương lai, không phải bắt buộc quên quá khứ.

Giao dịch phát triển mở ngày 31/3 và đóng ngày 2/4 chưa có kết quả thực hiện biết được tại ranh giới tháng 3. Hiệu chỉnh bằng kết quả đó rồi đánh giá từ 1/4 như thể mô hình đã cố định gây rò rỉ. Định trước việc bỏ nhãn kết quả chồng lấn khỏi dữ liệu hiệu chỉnh trước đó, hoặc lùi thời điểm đánh giá đến khi biết kết quả. Phạm vi loại trừ phụ thuộc thời hạn thực tế của kết quả.

Rò rỉ khi tiền xử lý và sửa đổi sau khi xem holdout

Bộ chuẩn hóa học từ dữ liệu, lựa chọn đặc trưng hoặc mô hình điền giá trị thiếu chỉ được ước lượng tham số từ dữ liệu huấn luyện được phép. Tính tham số từ cả tháng 1–6 trước khi chia có thể đưa thông tin phân phối tương lai vào quyết định trước đó. Áp dụng phép biến đổi đã cố định cho quan sát sau. Đổi đơn vị tất định bằng hằng số đã biết là thao tác khác.

Sau khi xem kết quả tập kiểm tra riêng, mọi sửa đổi bắt đầu chu kỳ nghiên cứu mới. Nếu tháng 5 ảnh hưởng thay đổi dừng lỗ, tháng 5 trở thành dữ liệu phát triển hoặc lựa chọn cho quy tắc sửa đổi. Tháng 6 chỉ có thể là tập kiểm tra mới ngắn hơn nếu chưa ảnh hưởng quyết định trực tiếp hay gián tiếp. Nếu không, cần giai đoạn đánh giá thực sự mới.

Ví dụ: phát triển +12R, lựa chọn +3R, holdout −2R

Giả sử phát triển +12R, lựa chọn +3R và đánh giá cuối −2R sau chi phí đã nêu. Tổng là +13R nhưng kết quả tập kiểm tra riêng vẫn −2R. Báo cáo riêng cùng số giao dịch, điều kiện và bất định. Mẫu này không hỗ trợ tuyên bố hiệu suất dương đã dự kiến. Tập kiểm tra chưa từng xem vẫn có thể quá ngắn, chỉ bao phủ một trạng thái thị trường hoặc chứa các giao dịch phụ thuộc nhau. Nêu những giới hạn này cùng kết quả; chia theo thời gian chưa đủ chứng minh khả năng áp dụng sang dữ liệu khác.

Nếu cố định mô hình tại cuối ngày 30/4, giá lịch sử và kết quả tháng 4 đã hoàn tất có thể ảnh hưởng lựa chọn. Giao dịch mở 30/4 và đóng 2/5 chưa có kết quả thực hiện biết được. Không thể âm thầm đưa kết quả sau vào hiệu chỉnh trước.

Vì sao bỏ một nến tại ranh giới vẫn có thể rò rỉ kết quả

Bỏ một nến quanh ranh giới chia không tự động loại rò rỉ của giao dịch có nhãn kết quả kéo dài nhiều ngày. Kiểm tra khi nào mục tiêu hoặc kết quả thực sự dùng để hiệu chỉnh trở nên khả dụng. Không chọn độ dài loại trừ sau khi biết thiết lập nào làm tập kiểm tra có lãi.