Kiểm định chiến lược mà không dùng thông tin biết sau · 5 / 5
Cố định tập kiểm tra theo thời gian mà không rò rỉ kết quả tương lai
Tệp mang tên holdout không còn nguyên vẹn nếu kết quả của nó đã ảnh hưởng chiến lược. Theo dõi lúc mỗi đầu vào và kết quả giao dịch được biết, không chỉ tháng ghi trên dòng.
Athenum8 phútCập nhật:
Cố định cả quy tắc lẫn quy trình đánh giá
Trong lịch giả định, dùng tháng 1–3 để phát triển, tháng 4 để lựa chọn và tháng 5–6 để đánh giá cuối. Cuối tháng 4, cố định quy tắc, tập tài sản, tham số, chi phí, giả định khớp và tiêu chí chấp nhận. Trung bình động có thể dùng giá lịch sử trước đó; giới hạn là thông tin tương lai, không phải bắt buộc quên quá khứ.
Giao dịch phát triển mở ngày 31/3 và đóng ngày 2/4 chưa có kết quả thực hiện biết được tại ranh giới tháng 3. Hiệu chỉnh bằng kết quả đó rồi đánh giá từ 1/4 như thể mô hình đã cố định gây rò rỉ. Định trước việc bỏ nhãn kết quả chồng lấn khỏi dữ liệu hiệu chỉnh trước đó, hoặc lùi thời điểm đánh giá đến khi biết kết quả. Phạm vi loại trừ phụ thuộc thời hạn thực tế của kết quả.
Tiền xử lý cũng có thời điểm thông tin khả dụng
Bộ chuẩn hóa học từ dữ liệu, lựa chọn đặc trưng hoặc mô hình điền giá trị thiếu chỉ được khớp trên quan sát hiệu chỉnh được phép. Tính tham số từ cả tháng 1–6 trước khi chia có thể đưa thông tin phân phối tương lai vào quyết định trước đó. Áp dụng phép biến đổi đã cố định cho quan sát sau. Đổi đơn vị tất định bằng hằng số đã biết là thao tác khác.
Sau khi xem kết quả tập giữ lại, mọi sửa đổi bắt đầu chu kỳ nghiên cứu mới. Nếu tháng 5 ảnh hưởng thay đổi dừng lỗ, tháng 5 trở thành dữ liệu phát triển hoặc lựa chọn cho quy tắc sửa đổi. Tháng 6 chỉ có thể là tập kiểm tra mới ngắn hơn nếu chưa ảnh hưởng quyết định trực tiếp hay gián tiếp. Nếu không, cần giai đoạn đánh giá thực sự mới.
Tổng dương không cứu được tập kiểm tra cuối bị lỗ
Giả sử phát triển +12R, lựa chọn +3R và đánh giá cuối −2R sau chi phí đã nêu. Tổng là +13R nhưng kết quả tập giữ lại vẫn −2R. Báo cáo riêng cùng số giao dịch, điều kiện và bất định. Mẫu này không hỗ trợ tuyên bố hiệu suất dương đã dự kiến.
Nếu cố định mô hình tại cuối ngày 30/4, giá lịch sử và kết quả tháng 4 đã hoàn tất có thể ảnh hưởng lựa chọn. Giao dịch mở 30/4 và đóng 2/5 chưa có kết quả thực hiện biết được. Không thể âm thầm đưa kết quả sau vào hiệu chỉnh trước.
| Giai đoạn | Thời gian | Tổng ròng | Vai trò |
|---|---|---|---|
| Phát triển | Tháng 1–3 | +12R | Xây dựng quy tắc ứng viên |
| Lựa chọn | Tháng 4 | +3R | Chọn và cố định quy tắc |
| Tập giữ lại | Tháng 5–6 | −2R | Đánh giá quy tắc cố định |
- Phát triển
- 12 R
- Lựa chọn
- 3 R
- Tập giữ lại
- -2 R
Khoảng trống tùy ý chưa chắc loại hết chồng lấn
Bỏ một nến quanh ranh giới chia không tự động loại rò rỉ của giao dịch có nhãn kết quả kéo dài nhiều ngày. Kiểm tra khi nào mục tiêu hoặc kết quả thực sự dùng để hiệu chỉnh trở nên khả dụng. Không chọn độ dài loại trừ sau khi biết thiết lập nào làm tập kiểm tra có lãi.
Trước khi quyết định
- Ghi thời điểm cố định và tiêu chí chấp nhận.
- Kiểm tra thời điểm biết nhãn kết quả tại mọi ranh giới.
- Khớp tiền xử lý học từ dữ liệu chỉ trên dữ liệu được phép.
- Ghi mọi lần xem và sửa quy tắc.
- Báo cáo kiểm tra thất bại riêng khỏi tổng phát triển.
Kiểm tra kiến thức
Nhà nghiên cứu ước lượng trung bình và phương sai của bộ chuẩn hóa từ tháng 1–6, rồi huấn luyện tháng 1–3 và kiểm tra tháng 5–6. Chia sau chuẩn hóa có giữ tập kiểm tra nguyên vẹn không?
Xem đáp án và giải thích
Không. Thông tin phân phối tương lai đã vào bộ chuẩn hóa. Khớp tiền xử lý học từ dữ liệu trên tập hiệu chỉnh được phép, cố định rồi áp dụng cho quan sát sau. Sau đó đánh giá lại bằng quy trình ghi rõ dữ liệu nào đã được xem.