İşlem stratejisini geriye bakış yanlılığı olmadan doğrula · 5 / 5
Gelecek sonuçları sızdırmadan kronolojik test verisi ayır
Adı holdout olan dosyanın sonuçları stratejiyi etkilediyse o dosya dokunulmamış değildir. Yalnızca satırın ayını değil, her girdinin ve işlem sonucunun ne zaman bilinebildiğini izle.
Athenum8 dkGüncellendi:
Kuralı ve değerlendirme protokolünü sabitle
Bu varsayımsal takvimde ocak–mart geliştirme, nisan seçim, mayıs–haziran son değerlendirme olsun. Nisan sonunda kuralları, varlık evrenini, parametreleri, maliyetleri, gerçekleşme varsayımlarını ve kabul ölçütlerini sabitle. Hareketli ortalama önceki tarihsel fiyatları kullanabilir; yasak gelecekteki bilgidir, geçmişi unutma zorunluluğu değildir.
31 Mart'ta açılıp 2 Nisan'da kapanan geliştirme işleminin gerçekleşmiş sonucu mart sınırında bilinmez. Modeli bu sonuçla ayarlayıp 1 Nisan'dan itibaren sanki önceden sabitlenmiş gibi değerlendirmek bilgi sızdırır. Sınırı aşan sonuç etiketlerini önceki uyarlamadan çıkarma veya değerlendirmeyi bilinir oldukları zamana erteleme politikasını önceden tanımla. Dışlama, gerçek sonuç ufkuna bağlıdır.
Ön işlemenin de bilgi zamanı vardır
Veriden öğrenilen ölçekleyici, özellik seçimi veya eksik değer modeli yalnızca izin verilen uyarlama gözlemleriyle kurulmalıdır. Bölmeden önce tüm ocak–haziran örneklemiyle parametre hesaplamak gelecekteki dağılım bilgisini önceki kararlara sokabilir. Sabitlenen dönüşümleri sonraki gözlemlere uygula. Bilinen sabit kullanılarak yapılan deterministik birim dönüşümü farklıdır.
Ayrılmış test sonuçlarını gördükten sonra her değişiklik yeni araştırma döngüsü başlatır. Mayıs sonuçları stop değişikliğini etkilediyse mayıs, yenilenen kural için geliştirme veya seçim verisidir. Haziran ancak kararları doğrudan veya dolaylı etkilemediyse yeni ve daha kısa test dönemi olabilir. Aksi durumda gerçekten yeni değerlendirme dönemi gerekir.
Pozitif birleşik toplam, kaybeden son testi kurtarmaz
Belirtilen maliyetlerden sonra geliştirme +12R, seçim +3R ve son test −2R üretsin. Birleşik toplam +13R olsa da ayrılmış test sonucu hâlâ −2R'dir. Bunu işlem sayısı, koşullar ve belirsizlikle ayrı raporla. Bu örneklem planlanan pozitif performans iddiasını desteklemez.
Model 30 Nisan kapanışında sabitleniyorsa geçmiş fiyatlar ve tamamlanmış nisan sonuçları seçimi etkileyebilir. 30 Nisan'da açılıp 2 Mayıs'ta kapanan işlemin gerçekleşmiş sonucu henüz bilinmez. Sonraki sonucu önceki uyarlamaya sessizce katamazsın.
| Aşama | Dönem | Net toplam | Rol |
|---|---|---|---|
| Geliştirme | Ocak–mart | +12R | Aday kuralları kur |
| Seçim | Nisan | +3R | Kuralı seç ve sabitle |
| Ayrılmış test | Mayıs–haziran | −2R | Sabit kuralı değerlendir |
- Geliştirme
- 12 R
- Seçim
- 3 R
- Ayrılmış test
- -2 R
Rastgele bir boşluk sonuç örtüşmesini gidermeyebilir
Bölünme çevresinde bir mum atlamak, sonuç etiketi birkaç gün süren işlemin sızıntısını otomatik kaldırmaz. Uyarlamada gerçekten kullanılan hedef veya sonucun bilgiye erişim zamanını denetle. Dışlama uzunluğunu hangi ayarın son testi kârlı yaptığına baktıktan sonra seçme.
Karar vermeden önce
- Sabitleme zamanını ve kabul ölçütlerini kaydet.
- Her bölünmede sonuç etiketlerinin kullanılabilirliğini denetle.
- Öğrenilen ön işlemeyi yalnızca izinli veriye uyarla.
- Her incelemeyi ve kural değişikliğini kaydet.
- Başarısız son testleri geliştirme toplamlarından ayrı raporla.
Anladıklarını kontrol et
Araştırmacı ölçekleyicinin ortalama ve varyansını ocak–hazirandan hesaplayıp ocak–martta eğitiyor, mayıs–haziranda test ediyor. Ölçeklemeden sonra bölmek test verisini dokunulmamış tutar mı?
Açıklamalı yanıtı göster
Hayır. Gelecekteki dağılım bilgisi ölçekleyiciye zaten girdi. Öğrenilen ön işlemeyi izinli uyarlama verisiyle kur, sabitle ve sonraki gözlemlere uygula. Sonra hangi verilerin incelendiğini kaydeden bir protokolle değerlendirmeyi tekrarla.