İşlem stratejisini geriye bakış yanlılığı olmadan doğrula · 4 / 5
Parametre aramasındaki kaybeden denemeleri de sakla
Bir aramanın en iyi sonucu, veri görülmeden sabitlenen kuralın deneyiyle aynı değildir. Dürüst araştırma kaydı kaybeden alternatifleri de içerir.
Athenum7 dkGüncellendi:
Yalnızca son stratejiyi değil kararları say
Beş geriye bakış uzunluğu, dört giriş eşiği ve üç çıkış aynı geçmiş üzerinde altmış yapılandırma üretir. En iyi net toplam +18R, medyan −2R olsun. Kazananın hesabı doğru olduğu hâlde kalıcı avantaj için zayıf kanıt sunabilir; süreç zaten uç bir sonucu seçmek üzere tasarlanmıştır.
Her denemenin parametrelerini, veri sürümünü, dönemini, maliyetini, dışlamalarını, seçim ölçütünü ve sonucunu sakla. Varlık değiştirmek, kötü bir ayı silmek, başka zaman dilimi veya performans ölçütü denemek de aramayı değiştirir. Son betik, atılan kararları nadiren gösterir; ayrı deney defteri tut.
Bağımsızlık varsayımını uydurma
Yalnızca matematiksel bir oyuncak örnek olarak, sıfır hipotezi altında her birinin yanlış pozitif olasılığı %5 olan altmış bağımsız testte en az bir yanlış pozitif olasılığı 1 − 0,95^60 ≈ %95,39'dur. Bu, seçilen stratejinin yanlış olma olasılığı değildir. Ortak gözlemler parametre denemelerini bağımlı kılar ve +18R örneği için hipotez testi tanımlanmamıştır.
Komşu parametreleri ve özellikle etkili tekil işlemleri incele. Yalıtılmış bir zirve araştırılmalıdır; tek başına yazılım hatası kanıtlamaz. Geniş ve istikrarlı komşuluk duyarlılık hakkında yararlı bilgi verir, fakat aramayı etkilememiş gözlemler üzerindeki değerlendirmenin yerini tutmaz.
Zararlarla çevrili tek çekici parametre
Diğer varsayımsal koşullar aynıyken üç komşu geriye bakış uzunluğu −3R, +18R ve −2R üretir. Üç sonucu da koru. Nedensel açıklama önermeden önce birkaç gerçekleşmenin, sınır kuralının veya veri anomalisinin zirveyi açıklayıp açıklamadığını kontrol et.
İlk ızgara 5 × 4 × 3 = 60 yapılandırma içerir. Önceden belirlenmiş iki maliyet senaryosu 120 yapılandırma/senaryo satırı üretir. Bunlar 120 bağımsız test değildir. Kazanan daha iyi görünsün diye ucuz maliyet modelini seçmek, açıklanması gereken başka bir araştırma kararıdır.
| Geriye bakış | Net toplam |
|---|---|
| 18 | −3R |
| 20 | +18R |
| 22 | −2R |
- Geriye bakış 18
- -3 R
- Geriye bakış 20
- 18 R
- Geriye bakış 22
- -2 R
Testin adını değiştirmek seçimi silmez
İkinci değerlendirmeye sağlamlık testi demek, sonuç hangi kuralı yayımlayacağını belirliyorsa onu bağımsız yapmaz. Her senaryonun rolünü önceden belirt ve başarısız denemeleri toplam sayımdan sessizce çıkarmak yerine sakla.
Karar vermeden önce
- Her yapılandırmayı ve sonucu koru.
- Parametre ızgarası dışındaki değişiklikleri kaydet.
- Stres senaryolarını seçim ölçütlerinden ayır.
- Komşu değerleri ve etkili işlemleri incele.
- Aramadan önce görülmemiş veri ayır.
Anladıklarını kontrol et
İlk beş geriye bakış uzunluğunu ona çıkarıp dört eşiği, üç çıkışı ve iki maliyet senaryosunu koruyorsun. Kaç satır kaydedilir ve bunlar bağımsız mıdır?
Açıklamalı yanıtı göster
10 × 4 × 3 × 2 = 240 yapılandırma/senaryo satırı oluşur. Otomatik olarak bağımsız değildirler; piyasa gözlemlerini ve birçok kural bileşenini paylaşırlar. Satır sayısı aramayı belgeler, etkin bağımsız örneklem büyüklüğünü belirlemez.