Das Backtest Problem

Jeder, der sich länger und intensiver mit dem Thema „Trading“ beschäftigt hat, hat schon mal einen Backtest durchgeführt. Oder? Zumindest hat jeder schon, mindestens einmal, eine Backtestauswertung gesehen. Heute befassen wir uns aus diesem Grund mit einem Problem – dem Backtest Problem.

 

So, in etwa, kann eine Backtest-Auswertung aussehen:

 

Es sind alle relevanten Daten ersichtlich. Maximaler Drawdown, durchschnittlicher Gewinn, durchschnittlicher Verlust usw.

Es scheint so auszusehen, als ob ein Backtest eine gute Sache ist. Ist er auch! Wenn man das Signal oder die Handelsstrategie, die dahintersteckt, auch richtig überprüft hat.

Wenn Sie sich für das Thema „Handelsstrategie entwickeln“ interessieren, können wir Ihnen gerne unseren Artikel zu diesem Thema ans Herz legen: Wie entwickle ich eine erfolgreiche, statistische Trading-Strategie? 

Es verbirgt sich nämlich, in den meisten Fällen, ein großer Denkfehler hinter solchen Backtests. Wir reden jetzt nicht davon, dass dieser Backtest falsch ist und dass die Zahlen, die angegeben worden sind, nicht stimmen.

Es handelt sich eher um einen Test-Fehler der Logik! Sie wollen ja eine statistische Auswertung nach wissenschaftlichen Methoden vornehmen und somit beweisen, dass Ihr Backtest tatsächlich seine Richtigkeit besitzt. Sie wollen wissen, ob Ihre Handelssignal für den positiven Backtest gesorgt hat oder nicht.

Ohne die richtige wissenschaftliche Logik hat ein Backtest, auch wenn er Gewinnbringend ist, sehr wenig Aussagekraft!

 

Die Logik hinter dem Backtest verstehen

Was ist wohl der größte Irrglaube bei einem durchgeführten Backtest? Oder überlegen Sie mal, was einer sein könnte. Es ist der Irrglaube, dass man glaubt die richtige Schlussfolgerung aus seinem Backtest zu ziehen, obwohl diese falsch sind. Verdeutlichen wir das am besten an einem Beispiel.

Sie haben sich hingesetzt und sich Gedanken über ein Handelssystem gemacht. Soweit so gut. Sie sind auf die Idee gekommen und wollen nun Ihre Handelsidee mit einem Backtest bestätigen. Voilá, Sie haben einen positiven Backtest erhalten und gehen nun davon aus, dass Ihre Handelsidee oder Ihr Handelssignal eine Aussagekraft für die Zukunft besitzt. Und hier greifen wir ein. Dies ist ein Trugschluss. Sie haben zwar durch diesen Backtest ein positives Resultat erhalten, Sie haben aber noch lange nicht bewiesen, dass dieses positive Resultat auch durch Ihr Handelssignal zustande gekommen ist.

Hier nochmal der Vorgang als logische Reihenfolge dargestellt:

1. Prämisse: Wenn mein Handelssignal eintritt, steigt/sinkt der Markt in meine gewünschte Richtung und führt zu einem positiven Backtest.
2. Prämisse: Wir erhalten einen positiven Backtest.
3. FALSCHE SCHLUSSFOLGERUNG: Unser Handelssignal hat eine Aussagekraft und sorgt für den positiven Backtest.

Verdeutlichen wir die falsche Schlussfolgerung an einem anderen Beispiel:

1. Prämisse: Wenn es ein Kugelschreiber ist, dann kann man damit auch schreiben.
2. Prämisse: Man kann damit schreiben.
3. FALSCHE SCHLUSSFOLGERUNG: Es ist ein Kugelschreiber.

Nur weil man damit schreiben kann, muss es nicht automatisch ein Kugelschreiber sein. Es kann sich auch um einen Bleistift, einen Tintenfüller etc. handeln.

Richtig ist aber auch wiederum, wenn ich damit nicht schreiben kann, dann ist es auch definitiv kein Kugelschreiber. Rückwirkend funktioniert diese Logik.

Genauso ergeht es der Logik im oberen Backtest-Beispiel. Sie haben zwar einen positiven Backtest erhalten, dies heißt aber noch lange nicht, dass auch tatsächlich Ihr Handelssignal oder Ihre Tradingstrategie für den positiven Backtest verantwortlich ist. Es können zig andere Gründe sein.

Diese „zig anderen Gründe“ müssen wir ausschließen können, um uns so sicher wie nur möglich mit unserem Handelssystem zu sein.

Jetzt kommen wir zum spannenden Teil. Wie überprüfen Sie denn jetzt die richtige Schlussfolgerung.

 

Der H0-Hypothesentest

Wir wollen jetzt nicht versuchen unsere Prämissen zu beweisen, sondern wir wollen diese widerlegen.

Als Anmerkung, wir werden versuchen es nicht zu trocken zu erklären, da Statistik für die meisten Trader eher ein langweiliges, als ein spannendes Thema ist. Wir versuchen Ihnen ein kompaktes und brauchbares Modell an die Hand zu geben, mit denen Sie dann, hoffentlich, in Zukunft Ihr Schlussfolgerungen richtig analysieren können.

Kommen wir erstmal auf unser Beispiel mit dem Kugelschreiber. Um die These zu beweisen, dass es sich, in diesem Fall, tatsächlich um einen Kugelschreiber handelt, müssen wir 2 Thesen aufstellen: die H0- und die H1-These.

Die H0-These ist immer die These, die wir versuchen zu widerlegen. Die H1-These ist dann logischerweise die These, die wir versuchen zu bestätigen.

Die H1-These wird auch als Alternativhypothese bezeichnet und stellt die Gegenwahrscheinlichkeit zur H0-These dar.

Auf unser Beispiel mit dem Kugelschreiben angewandt haben wir nun diese beiden Thesen:

• H0: Es ist ein Radiergummi.
• H1: Es ist ein Kugelschreiber.

Wir werden jetzt versuchen, die H0-These zu verwerfen und somit die H1-These zu bestätigen.

In diesem Beispiel existiert keine Zwischenebene, es ist entweder H1 oder H0 richtig und nichts dazwischen. In der Realität ist es wohl eher so, dass man mehrere H0-Thesen verwerfen muss, um auf die richtige Schlussfolgerung zu kommen. Es geht hier aber auch nur um eine bildhaftere und einfachere Darstellung.

Unsere logische Schlussfolgerung sieht jetzt nun so aus:

1. Prämisse: H0 ist richtig (Es ist ein Radiergummi) und ich kann damit nicht schreiben.
2. Prämisse: Ich kann damit nicht, nicht schreiben. (Ergo: Man kann damit schreiben)
3. RICHTIGE SCHLUSSFOLGERUNG: H0 ist falsch und H1 ist richtig. Es handelt sich tatsächlich um einen Kugelschreiber.

Es ist am Anfang ein wenig verwirrend, das wissen wir. Deswegen lesen Sie sich diese Passage nochmal in aller Ruhe durch und versuchen Sie diese zu verstehen und zu verinnerlichen. Wenden Sie vielleicht diese Systematik auch mal an einem eigenen Bespiel an. Es hetzt Sie niemand.

Kommen wir nun dann zu unserem Backtest-Beispiel.

Stellen wir nun unsere H0- und H1-Hypothese auf:

• H0-These: Wenn mein Handelssignal eintritt, dann steigt/sinkt der Markt in die entgegengesetzte Richtung.
• H1-These: Wenn mein Handelssignal eintritt, dann steigt/sinkt der Markt in die gewünschte Richtung.

Nun stellen wir unsere richtige logische Schlussfolgerung auf:

1. Prämisse: Wenn H0-Richtig, dann erhalten wir einen unprofitablen Backtest.
2. Prämisse: Wir erhalten einen nicht, unprofitablen Backtest (Ergo: einen profitablen Backtest)
3. RICHTIGE SCHLUSSFOLGERUNG: Wir können die H0-These verwerfen und können sagen, dass der positive Backtest tatsächlich etwas mit unserem Handelssignal zu tun hat und dieser Aussagekraft besitzt.

Es ist natürlich klar, dass die Realität deutlich komplexer ist, als dass man sie in 2 Thesen packen könnte. Es ist dennoch wichtig, sich dieser richtigen Systematik bewusst zu sein und nicht jedem Backtest zu glauben.

Wir prüfen, bevor wir eine Handelsstrategie entwickeln, immer mit Hilfe einer Teststatistik und dem H0-Hypothesentest, ob es sich lohnt mehr Energie in eine Handelsstrategie hinein zu investieren.

Auch unsere Trading-Strategie aus dem Shop wurde mit dem H0-Hypothesentest verfiziert.

 

Die Fehler die bei einem H0-Hypothesentest eintreten können

Sie müssen natürlich auch wissen, dass Sie auch mit einem H0-Hypothesentest nie die 100%-ige Sicherheit haben, dass der positive Backtest tatsächlich auch an Ihrem Handelssignal liegt.

Solch ein mögliches Szenario wird durch ein Signifikanzniveau gekennzeichnet. Im Normalfall beträgt solch ein Signifikanzniveau 5%. Das heißt, dass in 5% der Fälle ein Fehler im Hypothesentest vorliegen kann.

Es existieren zwei Arten von Fehlern die eintreten können. Der Fehler 1. Art und der Fehler 2. Art.

Ein Fehler 1. Art liegt vor, wenn Sie bei einem H0-Hypothesentest die H0-Hypothese zu Unrecht verworfen haben.

Ein Fehler 2. Art liegt vor, wenn Sie bei einem H0-Hypothesentest die H0-Hypothese zu Unrecht beibehalten haben,

Diese Fehler können Sie mit Hilfe eines „p-Value-Test“ minimieren. Komplett ausschließen können Sie diese aber nie.

 

Backtest Problem – Fazit

Wir hoffen, dass wir Ihnen mit diesem Artikel zeigen konnten, wo sich einer der größten Denkfehler im Bereich Backtesting verbirgt.

Es ist von unglaublicher Wichtigkeit, dass Sie Ihren Backtest mit der richtigen Logik überprüfen. Natürlich ist der H0-Hypothesentest kein Wundermittel für Strategien mit einer unglaublichen Performance. Solch ein Wundermittel existiert leider auch nicht.

Was der H0-Hypothesentest aber definitiv kann, ist Sie vor Strategien zu schützen, die Ihnen Geld kosten würden, bis Sie bemerken würden, dass die Handelsstrategie irgendwie nicht so funktioniert wie geplant.

Seien Sie ehrlich zu sich selbst und prüfen Sie Ihre eigene Handelsstrategie mit dem H0-Hypothesentest. Sie werden staunen!