Giữ cả thử nghiệm thua trong tìm kiếm tham số

Đếm quyết định, không chỉ chiến lược cuối cùng

Năm độ dài cửa sổ, bốn ngưỡng vào và ba cách thoát tạo sáu mươi cấu hình trên cùng lịch sử. Giả sử tổng ròng tốt nhất +18R nhưng trung vị −2R. Phép tính của cấu hình thắng có thể đúng mà vẫn là bằng chứng yếu cho lợi thế bền vững: quá trình được thiết kế để chọn kết quả cực trị.

Lưu tham số, phiên bản dữ liệu, khoảng thời gian, chi phí, phần bị loại, tiêu chí chọn và kết quả của mọi lần thử. Đổi tài sản, xóa tháng xấu, thử khung thời gian hay thước đo khác cũng thay đổi cuộc tìm kiếm. Mã cuối hiếm khi lưu các quyết định bị bỏ; hãy có sổ thí nghiệm riêng.

Không tự đặt giả định độc lập

Chỉ như minh họa toán học, sáu mươi kiểm định độc lập dưới giả thuyết không, mỗi kiểm định có xác suất dương tính giả 5%, có xác suất ít nhất một dương tính giả là 1 − 0,95^60 ≈ 95,39%. Đây không phải xác suất chiến lược được chọn là sai. Các thử nghiệm tham số dùng chung quan sát nên phụ thuộc nhau, và ví dụ +18R chưa định nghĩa kiểm định giả thuyết nào.

Kiểm tra tham số lân cận và những giao dịch ảnh hưởng lớn. Một đỉnh cô lập cần được xem xét nhưng tự nó không chứng minh lỗi phần mềm. Vùng lân cận rộng và ổn định giúp đánh giá độ nhạy, không thay thế kiểm tra trên quan sát chưa ảnh hưởng quá trình tìm kiếm.

Một tham số hấp dẫn nằm giữa hai khoản lỗ

Ba độ dài cửa sổ lân cận tạo −3R, +18R và −2R dưới các giả định còn lại giống nhau. Giữ cả ba kết quả. Trước khi đưa ra câu chuyện nhân quả, kiểm tra liệu vài lần khớp, quy ước xử lý biên hoặc bất thường dữ liệu có giải thích đỉnh này không.

Lưới gốc có 5 × 4 × 3 = 60 cấu hình. Ghi hai kịch bản chi phí định trước tạo 120 dòng cấu hình/kịch bản. Đó không phải 120 kiểm định độc lập. Chọn mô hình chi phí rẻ hơn vì nó làm cấu hình thắng đẹp hơn là quyết định nghiên cứu bổ sung phải công bố.

Đổi tên kiểm tra không xóa việc lựa chọn

Gọi lần đánh giá thứ hai là kiểm tra độ vững không làm nó độc lập nếu kết quả quyết định quy tắc được công bố. Định trước vai trò mỗi kịch bản và giữ lần thử thất bại thay vì âm thầm loại khỏi tổng số lần thử.