Parametre aramasındaki kaybeden denemeleri de saklayın

Parametre optimizasyonu: her denemeyi deney defterine kaydedin

Beş geriye bakış uzunluğu, dört giriş eşiği ve üç çıkış aynı geçmiş üzerinde altmış yapılandırma üretir. En iyi net toplam +18R, medyan −2R olsun. Kazananın hesabı doğru olduğu hâlde kalıcı avantaj için zayıf kanıt sunabilir; süreç zaten uç bir sonucu seçmek üzere tasarlanmıştır.

Her denemenin parametrelerini, veri sürümünü, dönemini, maliyetini, dışlamalarını, seçim ölçütünü ve sonucunu saklayın. Varlık değiştirmek, kötü bir ayı silmek, başka zaman aralığı veya performans ölçütü denemek de aramayı değiştirir. Son betik, atılan kararları nadiren gösterir; ayrı deney defteri tutun.

Çoklu test: ortak verideki denemeler bağımsız değildir

Yalnızca basitleştirilmiş bir matematik örneği olarak, sıfır hipotezi altında her birinin yanlış pozitif olasılığı %5 olan altmış bağımsız testte en az bir yanlış pozitif olasılığı 1 − 0,95^60 ≈ %95,39'dur. Bu, seçilen stratejinin yanlış olma olasılığı değildir. Ortak gözlemler parametre denemelerini bağımlı kılar ve +18R örneği için hipotez testi tanımlanmamıştır.

Komşu parametreleri ve özellikle etkili tekil işlemleri inceleyin. Yalıtılmış bir zirve araştırılmalıdır; tek başına yazılım hatası kanıtlamaz. Geniş ve istikrarlı komşuluk duyarlılık hakkında yararlı bilgi verir, fakat aramayı etkilememiş gözlemler üzerindeki değerlendirmenin yerini tutmaz.

Örnek: −3R ve −2R komşular arasında +18R veren geriye bakış

Diğer varsayımsal koşullar aynıyken üç komşu geriye bakış uzunluğu −3R, +18R ve −2R üretir. Üç sonucu da koruyun. Nedensel açıklama önermeden önce birkaç gerçekleşmenin, sınır kuralının veya veri anomalisinin zirveyi açıklayıp açıklamadığını kontrol edin.

İlk ızgara 5 × 4 × 3 = 60 yapılandırma içerir. Önceden belirlenmiş iki maliyet senaryosu 120 yapılandırma/senaryo satırı üretir. Bunlar 120 bağımsız test değildir. Kazanan daha iyi görünsün diye ucuz maliyet modelini seçmek, açıklanması gereken başka bir araştırma kararıdır.

Hata: sağlamlık testini yayımlanacak kuralı seçmek için kullanmak

İkinci değerlendirmeye sağlamlık testi demek, sonuç hangi kuralı yayımlayacağınızı belirliyorsa onu bağımsız yapmaz. Her senaryonun rolünü önceden belirtin ve başarısız denemeleri toplam sayımdan sessizce çıkarmak yerine saklayın.