Overfitting
Wer lange genug sucht, findet in jedem Datensatz Muster, die nur Zufall sind. Je mehr Varianten du ausprobierst, desto sicherer findest du eine, die im Rückblick glänzt.
Lernziel: Nach dieser Lektion erkennst du, wann eine scheinbar starke Strategie in Wirklichkeit nur an alte Daten angepasst wurde.
Prüfst du tausend zufällige Regeln an alten Kursdaten, sehen einige davon hervorragend aus. Das liegt nicht daran, dass sie funktionieren. Bei tausend Versuchen ist einfach immer etwas dabei. Rund fünfzig davon sehen sogar statistisch bedeutsam aus, obwohl keine einzige etwas taugt.
Wie Optimieren täuscht
Genau das passiert, wenn man Einstellungen optimiert. Man probiert Zeiträume, Schwellen und Filter durch, bis die Kurve schön aussieht. Das Ergebnis beschreibt die Vergangenheit dann perfekt und die Zukunft gar nicht. Fachleute nennen das Overfitting.
Das Warnzeichen glatte Kurve
Ein Warnzeichen ist eine zu glatte Ergebniskurve. Echte Strategien haben schlechte Phasen. Hat ein Backtest keine, wurde er meistens so lange angepasst, bis sie verschwunden waren.
Schutz durch Sparsamkeit
Am besten schützt dich Sparsamkeit: wenige Regeln, wenige Einstellungen, runde Werte statt genau ausgetüftelter. Eine Strategie mit zwei Einstellungen, die mittelmäßig aussieht, ist meistens mehr wert als eine mit zehn, die glänzt. Ein Durchschnitt über 200 Tage ist glaubwürdiger als einer über 187 Tage, der zufällig am besten abgeschnitten hat.
Mit jedem weiteren Versuch steigt die Wahrscheinlichkeit, mindestens ein Ergebnis zu finden, das bedeutsam aussieht, bis sie fast bei hundert Prozent liegt. Es gibt statistische Verfahren, die die Zahl der Versuche berücksichtigen, etwa strengere Grenzen für die Signifikanz oder eine Sharpe Ratio, die für die Zahl der Versuche bereinigt wird. Nennt jemand nicht, wie viele Varianten er getestet hat, lässt sich sein Ergebnis nicht beurteilen.
Versteckte Varianten
Meistens wurden mehr Varianten ausprobiert, als angegeben wird. Schon die Wahl der Märkte, des Zeitraums und der Datenquelle sind Entscheidungen, die man hätte anders treffen können. Und ob man eine Untersuchung überhaupt weiterführt, hängt oft von den ersten Zwischenergebnissen ab. Auch das ist eine Auswahl, nur eine unsichtbare.
Vier Gegenmittel
Dagegen helfen vier Dinge: wenige Einstellungen, die Prüfung, ob das Ergebnis auch bei leicht veränderten Einstellungen hält, eine laufende Prüfung auf neuen Daten und eine wirtschaftliche Begründung, die du aufschreibst, bevor du die Daten anschaust. Die zweite Prüfung sagt besonders viel. Bricht ein Ergebnis zusammen, wenn du den Durchschnitt von 50 auf 55 Tage änderst, beruht es mit hoher Wahrscheinlichkeit auf Zufall.
Zusammenfassung
- Bei genug Versuchen findet sich fast sicher etwas, das im Rückblick glänzt.
- Eine zu glatte Ergebniskurve ist ein Warnzeichen und kein Gütesiegel.
- Bricht ein Ergebnis bei kleinen Änderungen zusammen, ist es Zufall.
Hast du es verstanden?
Warum ist die Zahl der getesteten Varianten so wichtig?
Weil bei vielen Versuchen allein durch Zufall Ergebnisse auftauchen, die bedeutsam aussehen.
Was sagt eine sehr glatte Ergebniskurve?
Meistens, dass so lange angepasst wurde, bis die schlechten Phasen verschwunden waren.
Was prüfst du, wenn du die Einstellungen leicht veränderst?
Ob das Ergebnis stabil bleibt. Bricht es zusammen, beruht es wahrscheinlich auf Zufall.
Verstehens-Check
Aufgabe für dich
Du testest 400 zufällige Regeln an alten Kursdaten und nennst ein Ergebnis bedeutsam, wenn die Wahrscheinlichkeit für ein Zufallsergebnis unter fünf Prozent liegt. Rechne aus, bei wie vielen Regeln du ungefähr ein bedeutsames Ergebnis siehst, obwohl keine etwas taugt. Schreibe dann drei Merkmale auf, an denen du einen überangepassten Backtest erkennen würdest.
Quellen und Weiterlesen
- Bailey, Borwein, López de Prado und Zhu (2014) zeigen in den Notices of the American Mathematical Society, dass schon das Testen weniger Dutzend Strategievarianten an denselben Daten mit hoher Wahrscheinlichkeit ein scheinbar hervorragendes, aber rein zufälliges Backtest-Ergebnis liefert. Quelle ansehen ↗
Passt dazu
- Dein schriftlicher PlanStufe 5
- Fundamental- und technische AnalyseStufe 4
- PortfoliotheorieStufe 5
- Passende Fragen zu dieser StufeFragen