Trading-Strategien ohne Rückschaufehler prüfen · 5 / 5
Testdaten abtrennen, ohne zukünftige Ergebnisse einzuschleusen
Eine Datei namens Holdout ist nicht unberührt, wenn ihre Ergebnisse die Strategie beeinflusst haben. Verfolge, wann jeder Eingangswert und jedes Trade-Ergebnis verfügbar wurde, statt nur auf den Monat einer Datenzeile zu schauen.
Athenum8 Min.Aktualisiert:
Fixiere Regel und Prüfprotokoll
Verwende in diesem hypothetischen Plan Januar bis März zur Entwicklung, April zur Auswahl und Mai bis Juni zur abschließenden Prüfung. Fixiere Ende April Regeln, Anlageuniversum, Parameter, Kosten, Ausführungsannahmen und Akzeptanzkriterien. Ein gleitender Durchschnitt darf frühere historische Preise verwenden. Verboten ist zukünftige Information, nicht die Erinnerung an die Vergangenheit.
Ein Entwicklungstrade, der am 31. März eröffnet und am 2. April geschlossen wird, hat an der Märzgrenze noch kein verfügbares realisiertes Ergebnis. Wer dieses Ergebnis zur Anpassung verwendet und ab dem 1. April so prüft, als sei das Modell bereits fixiert gewesen, schleust Zukunftswissen ein. Definiere vorab, ob überlappende Ergebniswerte aus der Anpassung entfernt werden oder die Prüfung bis zu ihrer Verfügbarkeit verschoben wird. Der Ausschluss richtet sich nach dem tatsächlichen Ergebnishorizont.
Auch Vorverarbeitung hat einen Informationszeitpunkt
Ein erlernter Skalierer, eine Merkmalsauswahl oder ein Modell zur Ergänzung fehlender Werte darf nur auf den zulässigen Anpassungsdaten geschätzt werden. Wer Parameter vor der Aufteilung aus dem gesamten Zeitraum Januar bis Juni berechnet, kann zukünftige Verteilungsinformationen in frühere Entscheidungen einbringen. Wende fixierte Transformationen auf spätere Beobachtungen an. Eine deterministische Umrechnung mit einer bekannten Konstanten ist etwas anderes.
Nach Betrachtung der Testergebnisse beginnt mit jeder Änderung ein neuer Forschungszyklus. Hat Mai eine Änderung des Stops beeinflusst, ist Mai für diese neue Regel Entwicklungs- oder Auswahldatenbestand. Juni kann nur dann ein neuer, kürzerer Holdout sein, wenn er Entscheidungen weder direkt noch indirekt beeinflusst hat. Andernfalls ist ein wirklich neuer Prüfzeitraum erforderlich.
Ein positives Gesamtergebnis rettet keinen negativen Holdout
Angenommen, die Entwicklung verdient +12R, die Auswahl +3R und die abschließende Prüfung −2R nach den festgelegten Kosten. Zusammen sind das +13R, doch das Holdout-Ergebnis bleibt −2R. Berichte es separat mit Trade-Anzahl, Bedingungen und Unsicherheit. Diese Stichprobe unterstützt die geplante Behauptung positiver Performance nicht.
Wird das Modell zum Schluss des 30. April fixiert, dürfen historische Preise und bereits abgeschlossene April-Ergebnisse die Auswahl beeinflussen. Ein am 30. April eröffneter und am 2. Mai geschlossener Trade hat noch kein bekanntes realisiertes Ergebnis. Sein späteres Resultat darf nicht stillschweigend in die frühere Anpassung eingehen.
| Phase | Zeitraum | Nettoergebnis | Aufgabe |
|---|---|---|---|
| Entwicklung | Januar–März | +12R | Regelkandidaten entwickeln |
| Auswahl | April | +3R | Regel auswählen und fixieren |
| Holdout | Mai–Juni | −2R | Fixierte Regel prüfen |
- Entwicklung
- 12 R
- Auswahl
- 3 R
- Holdout
- -2 R
Ein beliebiger Abstand beseitigt nicht jede Ergebnisüberlappung
Eine ausgelassene Kerze an der Datengrenze entfernt nicht automatisch den Informationsübertrag eines Trades, dessen Ergebnis mehrere Tage umfasst. Prüfe die Verfügbarkeit des tatsächlich zur Anpassung verwendeten Ziel- oder Ergebniswerts. Wähle die Ausschlusslänge nicht nachträglich danach, welche Einstellung den Holdout profitabel macht.
Vor der Entscheidung
- Protokolliere Fixierungszeitpunkt und Akzeptanzkriterien.
- Prüfe an jeder Grenze die Verfügbarkeit der Ergebniswerte.
- Passe erlernte Vorverarbeitung nur auf zulässigen Daten an.
- Protokolliere jede Betrachtung und Regeländerung.
- Berichte gescheiterte Holdouts getrennt von Entwicklungsergebnissen.
Prüfe dein Verständnis
Ein Forscher schätzt Mittelwert und Varianz eines Skalierers aus Januar bis Juni, trainiert dann auf Januar bis März und testet auf Mai bis Juni. Bleibt der Holdout unberührt, wenn die Aufteilung erst nach der Skalierung erfolgt?
Lösung mit Erklärung anzeigen
Nein. Zukünftige Verteilungsinformationen sind bereits in den Skalierer eingeflossen. Passe erlernte Vorverarbeitung auf den zulässigen Anpassungsdaten an, fixiere sie und wende sie auf spätere Beobachtungen an. Wiederhole die Prüfung anschließend mit einem Protokoll, das bereits betrachtete Daten ausdrücklich erfasst.