Backtesting und Forward Testing: Die Bedeutung der Korrelation

Trader, die eine Trading-Idee in einem Live-Markt ausprobieren möchten, machen oft den Fehler, sich ausschließlich auf Backtesting Ergebnisse zu verlassen, um festzustellen, ob das System profitabel ist. Obwohl Backtesting Händlern wertvolle Informationen liefern kann, ist es oft irreführend und nur ein Teil des Bewertungsprozesses.

Out-of-Sample-Tests und Forward-Performance-Tests liefern weitere Bestätigungen bezüglich der Effektivität eines Systems und können das wahre Gesicht eines Systems zeigen, bevor echtes Geld auf dem Spiel steht. Eine gute Korrelation zwischen Backtesting, Out-of-Sample- und Forward-Performance-Testergebnissen ist entscheidend für die Bestimmung der Lebensfähigkeit eines Handelssystems.

Backtesting-Grundlagen

Backtesting bezieht sich auf die Anwendung eines Handelssystems auf historische Daten, um zu überprüfen, wie ein System während des angegebenen Zeitraums abgeschnitten hätte. Viele der heutigen Handelsplattformen unterstützen Backtesting. Trader können Ideen mit wenigen Tastendrücken testen und einen Einblick in die Effektivität einer Idee gewinnen, ohne Geld auf einem Handelskonto zu riskieren. Backtesting kann einfache Ideen bewerten, z. B. wie sich ein gleitender Durchschnitt- Crossover bei historischen Daten oder komplexeren Systemen mit einer Vielzahl von Eingaben und Triggern verhalten würde.

Solange eine Idee quantifiziert werden kann, kann sie rückgetestet werden. Einige Händler und Investoren suchen möglicherweise die Expertise eines qualifizierten Programmierers, um die Idee in eine testbare Form zu bringen. Typischerweise beinhaltet dies einen Programmierer, der die Idee in die proprietäre Sprache der Handelsplattform codiert. Der Programmierer kann benutzerdefinierte Eingabevariablen einbeziehen, die es dem Händler ermöglichen, das System zu „zwicken“.

Ein Beispiel hierfür wäre das oben erwähnte einfache Crossover-System mit gleitenden Durchschnitten : Der Händler könnte die Längen der beiden im System verwendeten gleitenden Durchschnitte eingeben (oder ändern). Der Händler könnte einen Backtest durchführen, um festzustellen, welche Längen gleitender Durchschnitte bei den historischen Daten am besten abgeschnitten hätten.

Optimierungsstudien

Viele Handelsplattformen ermöglichen auch Optimierungsstudien. Dies beinhaltet die Eingabe eines Bereichs für die angegebene Eingabe und das „Rechnen“ des Computers, um herauszufinden, welche Eingabe die beste Leistung erbracht hätte. Eine Optimierung mit mehreren Variablen kann die Berechnung für zwei oder mehr Variablen durchführen, um zu bestimmen, welche Kombinationen das beste Ergebnis erzielt hätten.

Zum Beispiel können Händler dem Programm mitteilen, welche Eingaben sie in ihre Strategie aufnehmen möchten; diese würden dann anhand der getesteten historischen Daten auf ihre idealen Gewichte optimiert.

Backtesting kann insofern spannend sein, als ein unrentables System mit ein paar Optimierungen oft auf magische Weise in eine Geldmaschine verwandelt werden kann. Leider führt die Optimierung eines Systems zur Erzielung der höchsten Rentabilität in der Vergangenheit oft zu einem System, das im echten Handel schlecht abschneidet. Diese Überoptimierung schafft Systeme, die nur auf dem Papier gut aussehen.

Die Kurvenanpassung ist die Verwendung von Optimierungsanalysen, um die höchste Anzahl von Gewinn-Trades mit dem größten Gewinn aus den im Testzeitraum verwendeten historischen Daten zu erzielen. Obwohl es in Backtesting-Ergebnissen beeindruckend aussieht, führt die Kurvenanpassung zu unzuverlässigen Systemen, da die Ergebnisse im Wesentlichen für diesen bestimmten Daten- und Zeitraum maßgeschneidert sind.

Backtesting und Optimierung bieten einem Trader viele Vorteile, aber dies ist nur ein Teil des Prozesses bei der Bewertung eines potenziellen Handelssystems. Der nächste Schritt eines Händlers besteht darin, das System auf historische Daten anzuwenden, die in der anfänglichen Backtesting-Phase nicht verwendet wurden.

In-Sample versus Out-of-Sample-Daten

Beim Testen einer Idee mit historischen Daten ist es von Vorteil, einen Zeitraum mit historischen Daten für Testzwecke zu reservieren. Die anfänglichen historischen Daten, an denen die Idee getestet und optimiert wird, werden als In-Sample-Daten bezeichnet. Der reservierte Datensatz wird als Out-of-Sample-Daten bezeichnet. Dieses Setup ist ein wichtiger Teil des Evaluierungsprozesses, da es eine Möglichkeit bietet, die Idee an Daten zu testen, die keine Komponente im Optimierungsmodell waren.

Infolgedessen wird die Idee in keiner Weise von den Out-of-Sample-Daten beeinflusst und Händler können bestimmen, wie gut das System bei neuen Daten, dh im realen Handel, abschneiden könnte.

Bevor ein Backtesting oder eine Optimierung eingeleitet wird, können Händler einen Prozentsatz der historischen Daten für Out-of-Sample-Tests reservieren. Eine Methode besteht darin, die historischen Daten in Drittel zu unterteilen und ein Drittel für die Verwendung bei Out-of-Sample-Tests zu trennen. Für die ersten Tests und Optimierungen sollten nur die In-Sample-Daten verwendet werden.

Die folgende Abbildung zeigt eine Zeitleiste, in der ein Drittel der historischen Daten für Out-of-Sample-Tests reserviert und zwei Drittel für In-Sample-Tests verwendet werden. Obwohl die folgende Abbildung die Out-of-Sample-Daten zu Beginn des Tests darstellt, würde bei typischen Verfahren der Out-of-Sample-Anteil unmittelbar der Vorwärtsleistung vorausgehen.

Korrelation bezieht sich auf Ähnlichkeiten zwischen den Leistungen und den Gesamttrends der beiden Datensätze. Korrelationsmetriken können bei der Bewertung von Strategieleistungsberichten verwendet werden, die während des Testzeitraums erstellt wurden (eine Funktion, die die meisten Handelsplattformen bieten). Je stärker die Korrelation zwischen den beiden ist, desto höher ist die Wahrscheinlichkeit, dass ein System bei Forward-Performance-Tests und Live-Trading gut abschneidet.

Die folgende Abbildung zeigt zwei verschiedene Systeme, die anhand von Daten innerhalb der Stichprobe getestet und optimiert und dann auf Daten außerhalb der Stichprobe angewendet wurden. Das Diagramm auf der linken Seite zeigt ein System, das eindeutig kurvenangepasst war, um bei den Daten innerhalb der Stichprobe gut zu funktionieren und bei den Daten außerhalb der Stichprobe vollständig versagte. Die Grafik auf der rechten Seite zeigt ein System, das sowohl bei In- als auch bei Out-of-Sample-Daten eine gute Leistung erbracht hat.

Sobald ein Handelssystem mit In-Sample-Daten entwickelt wurde, kann es auf die Out-of-Sample-Daten angewendet werden. Händler können die Leistungsergebnisse zwischen den In-Sample- und Out-of-Sample-Daten bewerten und vergleichen.

Wenn es eine geringe Korrelation zwischen den In-Sample- und Out-of-Sample-Tests gibt, wie im linken Diagramm in der obigen Abbildung, ist es wahrscheinlich, dass das System überoptimiert wurde und im Live-Handel nicht gut abschneidet. Wenn eine starke Korrelation zwischen der Leistung besteht, wie in der rechten Grafik zu sehen ist, umfasst die nächste Bewertungsphase eine zusätzliche Art von Out-of-Sample-Tests, die als Forward-Performance-Tests bezeichnet werden.

Grundlagen des Forward-Performance-Tests

Forward Performance Tests, auch als Papierhandel bezeichnet, bieten Händlern einen weiteren Satz von Out-of-Sample-Daten, anhand derer sie ein System bewerten können. Forward-Performance-Tests sind eine Simulation des tatsächlichen Handels und beinhalten das Befolgen der Systemlogik in einem Live-Markt. Es wird auch Papierhandel genannt, da alle Geschäfte nur auf Papier ausgeführt werden; dh Handelsein- und -ausgänge werden zusammen mit Gewinn oder Verlust für das System dokumentiert, es werden jedoch keine echten Handelsgeschäfte ausgeführt.

Ein wichtiger Aspekt beim Forward Performance Testing besteht darin, der Logik des Systems genau zu folgen; andernfalls wird es schwierig, wenn nicht unmöglich, diesen Schritt des Prozesses genau zu bewerten. Trader sollten bei Handelsein- und -ausgängen ehrlich sein und Verhaltensweisen wie Rosinenpicking Trades vermeiden oder einen Trade nicht auf dem Papier einschließen, indem sie argumentieren, dass „ich diesen Trade nie gemacht hätte“. Wenn der Handel nach der Logik des Systems erfolgt wäre, sollte er dokumentiert und ausgewertet werden.

Viele Broker bieten ein simuliertes Handelskonto an, auf dem Trades platziert und der entsprechende Gewinn und Verlust berechnet werden können. Die Verwendung eines simulierten Handelskontos kann eine semi-realistische Atmosphäre schaffen, in der der Handel geübt und das System weiter bewertet werden kann.

Die obige Abbildung zeigt auch die Ergebnisse für Vorwärtsleistungstests an zwei Systemen. Auch hier versagt das im linken Diagramm dargestellte System weit über die anfänglichen Tests mit Daten in der Stichprobe hinaus. Das in der rechten Grafik dargestellte System schneidet jedoch in allen Phasen, einschließlich des Forward-Performance-Tests, weiterhin gut ab. Ein System, das positive Ergebnisse mit guter Korrelation zwischen In-Sample, Out-of-Sample- und Forward-Performance-Tests zeigt, ist bereit für die Implementierung in einem Live-Markt.

Die Quintessenz

Backtesting ist ein wertvolles Werkzeug, das auf den meisten Handelsplattformen verfügbar ist. Die Aufteilung historischer Daten in mehrere Sätze, um In-Sample- und Out-of-Sample-Tests zu ermöglichen, kann Händlern ein praktisches und effizientes Mittel zur Bewertung einer Handelsidee und eines Handelssystems bieten. Da die meisten Trader beim Backtesting Optimierungstechniken anwenden, ist es wichtig, das System anschließend anhand sauberer Daten zu bewerten, um seine Funktionsfähigkeit zu bestimmen.

Die Fortsetzung des Out-of-Sample-Tests mit Forward-Performance-Tests bietet eine weitere Sicherheitsebene, bevor ein System auf den Markt gebracht wird, das echtes Geld riskiert. Positive Ergebnisse und eine gute Korrelation zwischen In-Sample und Out-of-Sample Backtesting und Forward Performance Testing erhöhen die Wahrscheinlichkeit, dass ein System im tatsächlichen Handel gut abschneidet.