Bewahre auch die Verlierer einer Parametersuche auf

Zähle die Entscheidungen, nicht nur die finale Strategie

Fünf Rückblicklängen, vier Einstiegsschwellen und drei Ausstiege ergeben sechzig Konfigurationen auf derselben Historie. Angenommen, das beste Nettoergebnis beträgt +18R und der Median −2R. Die Gewinnerrechnung kann stimmen und dennoch nur schwache Evidenz für einen dauerhaften Vorteil liefern: Das Verfahren sollte gerade ein extremes Ergebnis auswählen.

Speichere für jeden Versuch Parameter, Datenversion, Zeitraum, Kosten, Ausschlüsse, Auswahlkriterium und Ergebnis. Auch ein anderer Vermögenswert, gelöschte Monate, neue Zeiteinheiten und alternative Erfolgskennzahlen verändern die Suche. Das finale Skript enthält diese verworfenen Entscheidungen selten; führe deshalb ein separates Versuchsprotokoll.

Unterstelle keine Unabhängigkeit ohne Begründung

Nur als mathematisches Modellbeispiel: Bei sechzig unabhängigen Tests unter der Nullhypothese mit jeweils 5 % Fehlalarmwahrscheinlichkeit beträgt die Wahrscheinlichkeit mindestens eines Fehlalarms 1 − 0,95^60 ≈ 95,39 %. Das ist nicht die Wahrscheinlichkeit, dass die ausgewählte Strategie falsch ist. Gemeinsame Beobachtungen machen Parameterversuche abhängig, und für das Beispiel mit +18R wurde kein Hypothesentest definiert.

Untersuche benachbarte Parameterwerte und einzelne besonders einflussreiche Trades. Eine isolierte Ergebnisspitze verdient Aufmerksamkeit, beweist aber allein keinen Fehler. Ein breites stabiles Umfeld liefert nützliche Hinweise zur Empfindlichkeit, ersetzt jedoch keine Prüfung an Beobachtungen, die die Suche nicht beeinflusst haben.

Ein attraktiver Parameter zwischen zwei Verlusten

Drei benachbarte Rückblicklängen ergeben unter ansonsten identischen hypothetischen Annahmen −3R, +18R und −2R. Erhalte alle drei Ergebnisse. Prüfe zunächst, ob wenige Ausführungen, eine Grenzfallkonvention oder eine Datenanomalie die Spitze erklären, bevor du eine kausale Geschichte vorschlägst.

Das ursprüngliche Raster enthält 5 × 4 × 3 = 60 Konfigurationen. Zwei vorab festgelegte Kostenszenarien erzeugen 120 Konfigurations-Szenario-Zeilen. Das sind keine 120 unabhängigen Tests. Wird das günstigere Kostenmodell gewählt, weil es den Gewinner besser aussehen lässt, ist dies eine zusätzliche offenzulegende Forschungsentscheidung.

Ein umbenannter Test macht die Auswahl nicht rückgängig

Eine zweite Auswertung wird nicht dadurch unabhängig, dass sie Robustheitsprüfung heißt, wenn ihr Ergebnis bestimmt, welche Regel veröffentlicht wird. Lege die Rolle jedes Szenarios vorab fest und bewahre fehlgeschlagene Versuche auf, statt sie stillschweigend aus der Gesamtzahl zu entfernen.