Backtesting
Beim Backtesting wendest du Regeln auf alte Kursdaten an und schaust, was herausgekommen wäre. Der Test ist nur so gut wie die Sorgfalt, mit der du die typischen Fehler vermeidest.
Lernziel: Nach dieser Lektion kannst du ein Backtestergebnis auf typische Fehler prüfen, statt es blind zu glauben.
Die Idee klingt verlockend. Du nimmst deine Regeln, lässt sie über die letzten zehn Jahre laufen und schaust, was herausgekommen wäre. In der Praxis ist fast jeder Backtest zu optimistisch.
Häufige Fehler
Die häufigsten Fehler sind immer dieselben. Du verwendest Daten, die es zum Zeitpunkt der Entscheidung noch gar nicht gab. Du testest nur mit Firmen, die es heute noch gibt, und übersiehst die, die pleitegegangen sind. Oder du vergisst Gebühren, Spread und Steuern.
Der Fehler bei dir selbst
Der heimtückischste Fehler bist du selbst. Du kennst die Vergangenheit ja schon. Sieht dein erster Test schlecht aus und du drehst an den Einstellungen, bis er gut aussieht, hast du nichts getestet. Du hast die Regel an die Vergangenheit angepasst.
So testest du sauberer
Praktisch heißt das: Leg die Regeln vollständig fest, bevor du dir die Daten anschaust. Teste auf einem Zeitraum und prüf das Ergebnis auf einem anderen, den du vorher nicht angefasst hast. Und rechne die Kosten großzügig, nicht knapp.
Zwei Fehler verzerren Backtests besonders stark. Der erste ist der Blick in die Zukunft. Quartalszahlen werden zum Beispiel erst Wochen nach Ende des Quartals veröffentlicht. Rechnet dein Test so, als hättest du sie am letzten Tag des Quartals gekannt, handelt er mit Wissen, das niemand hatte. Der zweite ist der Überlebensfehler: Datenbestände, in denen nur die Firmen stehen, die es heute noch gibt. Wirecard taucht dann nie auf, und deine Strategie hat sie nie gekauft. Beides lässt Ergebnisse deutlich besser aussehen, als sie waren.
Nachträglich korrigierte Zahlen
Bei Zahlen aus Geschäftsberichten kommt noch etwas hinzu. Firmen korrigieren veröffentlichte Zahlen manchmal nachträglich. Heutige Datenbanken enthalten dann die korrigierten Werte und nicht das, was damals bekannt war. Belastbare Tests brauchen Daten, bei denen festgehalten ist, wann welche Zahl bekannt war.
Entwickeln und Prüfen trennen
Den Zeitraum in einen Teil zum Entwickeln und einen zum Prüfen aufzuteilen ist nötig, reicht aber nicht. Prüfst du immer wieder auf demselben Prüfzeitraum und änderst dazwischen deine Regeln, passt du sie irgendwann auch an diesen Zeitraum an. Dagegen helfen eine laufende Prüfung auf immer neuen Daten und eine ehrliche Zählung, wie viele Varianten du ausprobiert hast. Hast du hundert Varianten getestet, ist die beste davon mit großer Wahrscheinlichkeit einfach nur Glück.
Zusammenfassung
- Fast jeder Backtest ist zu optimistisch.
- Leg die Regeln fest, bevor du dir die Daten anschaust.
- Ein Prüfzeitraum ist nicht mehr unabhängig, sobald du ihn mehrmals benutzt.
Hast du es verstanden?
Was ist der Überlebensfehler im Backtest?
Im Datenbestand stehen nur Firmen, die es heute noch gibt. Die gescheiterten fehlen.
Warum sind Zahlen aus Geschäftsberichten ein Problem?
Weil sie nachträglich korrigiert werden und heutige Datenbanken nicht zeigen, was damals bekannt war.
Warum reicht ein einmal abgetrennter Prüfzeitraum nicht?
Weil er seine Unabhängigkeit verliert, sobald du ihn mehrmals benutzt und deine Regeln dazwischen änderst.
Was andere dazu oft fragen
Warum funktioniert meine Strategie im Backtest, aber nicht live?
Meist ist sie zu genau an die alten Daten angepasst. Dazu kommen Kosten, Spread und Slippage, die im Test fehlen, und manchmal ein Fehler, bei dem der Test Informationen nutzt, die es damals noch nicht gab.
Wie teste ich ehrlicher?
Teste auf Daten, die du beim Entwickeln nicht angesehen hast, rechne realistische Kosten ein und misstraue sehr glatten Ergebnissen.
Verstehens-Check
Aufgabe für dich
Rechne aus, wie viel Euro 100 Trades zu je 5.000 € bei 0,2 Prozent Kosten je Trade im Jahr kosten. Lege danach fest, wie viele Jahre deiner Daten du als Prüfzeitraum unberührt lässt, bevor du den Test einmal laufen lässt, und schreibe deine Regeln vollständig auf, bevor du die Daten ansiehst.
Quellen und Weiterlesen
- Die vielzitierte Arbeit zur Wahrscheinlichkeit von Overfitting in Backtests, die zeigt, warum gewöhnliche statistische Verfahren gegen Overfitting bei Handelsstrategien unzuverlässig sind. Quelle ansehen ↗
Passt dazu
- Automatisierter HandelStufe 5
- PortfoliotheorieStufe 5
- Absicherung mit OptionenStufe 5
- Passende Fragen zu dieser StufeFragen