Backtesting
Beim Backtesting wendet man Regeln auf vergangene Daten an. Der Test ist nur so gut wie die Sorgfalt, mit der typische Fehlerquellen ausgeschlossen wurden.
Die Idee klingt bestechend: Nimm deine Regeln, lass sie über die letzten zehn Jahre laufen und schau, was herausgekommen wäre. In der Praxis ist fast jeder Backtest zu optimistisch.
Die häufigsten Fehler sind immer dieselben. Du verwendest Daten, die es zum Entscheidungszeitpunkt noch nicht gab. Du testest nur mit Firmen, die es heute noch gibt, und übersiehst die pleitegegangenen. Du vergisst Gebühren, Spread und Steuern.
Der subtilste Fehler ist der eigene Kopf. Du kennst die Vergangenheit. Wenn dein erster Test schlecht aussieht und du die Parameter änderst, bis er gut aussieht, hast du nichts getestet, sondern angepasst.
Praktisch: Definiere die Regeln vollständig, bevor du die Daten ansiehst. Teste auf einem Zeitraum und prüfe auf einem anderen, den du vorher nicht angefasst hast. Und rechne die Kosten großzügig, nicht knapp.
Zu den systematischen Fehlerquellen zählen der Vorgriff auf zukünftige Information, wenn Daten mit Zeitverzug verwendet werden, als wären sie sofort verfügbar gewesen, sowie der Überlebensfehler bei Datenbeständen, die ausgeschiedene Titel nicht enthalten. Beide führen zu erheblichen Überschätzungen der Ergebnisse.
Hinzu kommt die Restatement-Problematik bei Fundamentaldaten: Veröffentlichte Kennzahlen werden nachträglich korrigiert, sodass heutige Datenbestände nicht dem entsprechen, was zum damaligen Zeitpunkt bekannt war. Belastbare Untersuchungen erfordern Datenbestände mit Zeitstempel des tatsächlichen Kenntnisstands.
Die Trennung der Daten in Entwicklungs- und Prüfzeitraum ist notwendig, aber nicht hinreichend, da bei wiederholter Prüfung auf demselben Prüfzeitraum dessen Unabhängigkeit verloren geht. Verfahren wie eine fortlaufende Vorwärtsprüfung und die Berücksichtigung der Zahl der geprüften Varianten adressieren das. Ohne Korrektur für die Anzahl der Versuche ist die Aussagekraft eines positiven Ergebnisses gering.
Drei Sätze zum Mitnehmen
- Fast jeder Backtest ist zu optimistisch.
- Regeln vollständig festlegen, bevor du die Daten ansiehst.
- Ein Prüfzeitraum verliert seine Unabhängigkeit, sobald du ihn mehrfach nutzt.
Hast du es verstanden?
Was ist der Überlebensfehler im Backtest?
Der Datenbestand enthält nur heute noch existierende Titel, die gescheiterten fehlen.
Warum sind Fundamentaldaten problematisch?
Weil sie nachträglich korrigiert werden und heutige Bestände nicht dem damaligen Kenntnisstand entsprechen.
Warum reicht ein einmal getrennter Prüfzeitraum nicht?
Weil er bei wiederholter Nutzung seine Unabhängigkeit verliert.
Passt dazu
- Automatisierter HandelStufe 4
- PortfoliotheorieStufe 4
- Absicherung mit OptionenStufe 4