Ghi nhật ký và kiểm chứng một thiết lập

Đóng băng giao thức trước đánh giá

Ghi thị trường, khung thời gian, nguồn dữ liệu, điều kiện vào–ra, vô hiệu, chi phí, quy tắc bỏ qua và cách xử lý dữ liệu thiếu. Lưu thời điểm quyết định cùng ảnh hoặc giá trị nguồn; dữ liệu hoàn chỉnh sau này không được thay thế thông tin đã có khi đó.

Chia theo thời gian: dùng giai đoạn đầu để khám phá, khóa phiên bản, rồi đánh giá trên giai đoạn sau chưa chạm. Thay đổi quy tắc sau khi nhìn holdout biến nó thành dữ liệu phát triển mới, không phải xác nhận.

Đếm toàn bộ cơ hội phù hợp

Lưu các giao dịch thắng, thua, bị loại và không thể thực hiện theo cùng quy tắc. Chọn chỉ các ví dụ đẹp làm thay đổi tỷ lệ thắng và bỏ qua chi phí, drawdown hay thời điểm không có thanh khoản.

Báo cáo kết quả gộp và ròng, số cơ hội, khoảng thời gian, giả định khớp và phiên bản quy tắc. Một mẫu dương không bảo đảm lợi nhuận tương lai; mục tiêu là phát hiện liệu mô tả có sống sót qua kiểm tra minh bạch hay không.

Phát triển dương, holdout âm

Trong ví dụ theo thời gian với cùng quy ước R, giai đoạn phát triển có 120 cơ hội, 60 thắng/60 thua, kết quả gộp +24R và chi phí 18R, còn +6R. Holdout sau đó có 40 cơ hội, 12 thắng/28 thua, gộp −11.2R và chi phí 6R, còn −17.2R.

Kết quả phát triển dương không ghi đè holdout âm. Cả hai phải ở lại hồ sơ; thay vì dời quy tắc để sửa holdout, hãy coi thay đổi là giả thuyết mới và kiểm tra ở giai đoạn sau khác.

Không được rò rỉ dữ liệu tương lai

Một pivot xác nhận muộn, funding cuối kỳ hay nến hoàn tất không thể biện minh cho quyết định được ghi sớm hơn. Nếu dữ liệu không có lúc đó, nó chỉ thuộc phân tích sau sự kiện.