Backtesting

Die zentralen Thesen

• Backtesting bewertet die Realisierbarkeit einer Handelsstrategie oder eines Preismodells, indem es anhand historischer Daten ermittelt, wie es sich rückwirkend entwickelt hätte.
• Die zugrunde liegende Theorie ist, dass jede Strategie, die in der Vergangenheit gut funktioniert hat, wahrscheinlich auch in Zukunft gut funktionieren wird, und umgekehrt wird jede Strategie, die in der Vergangenheit schlecht funktioniert hat, wahrscheinlich in Zukunft schlecht funktionieren.
• Beim Testen einer Idee mit historischen Daten ist es von Vorteil, einen Zeitraum mit historischen Daten für Testzwecke zu reservieren. Wenn dies erfolgreich ist, kann das Testen in alternativen Zeiträumen oder bei Daten außerhalb der Stichprobe dazu beitragen, die potenzielle Lebensfähigkeit zu bestätigen.

---

Besonders komplizierte Handelsstrategien, wie beispielsweise Strategien, die von automatisierten Handelssystemen implementiert werden, verlassen sich stark auf Backtesting, um ihren Wert zu beweisen, da sie zu geheimnisvoll sind, um sie anders zu bewerten.

Solange eine Handelsidee quantifiziert werden kann, kann sie rückgetestet werden. Einige Händler und Investoren suchen möglicherweise die Expertise eines qualifizierten Programmierers, um die Idee in eine testbare Form zu bringen. Typischerweise beinhaltet dies einen Programmierer, der die Idee in die von der Handelsplattform gehostete proprietäre Sprache codiert .

Der Programmierer kann benutzerdefinierte Eingabevariablen einbeziehen, die es dem Händler ermöglichen, das System zu „zwicken“. Ein Beispiel hierfür wäre das  einfache Crossover-System mit gleitendem Durchschnitt (SMA). Der Händler könnte die Längen der beiden im System verwendeten gleitenden Durchschnitte eingeben (oder ändern). Der Händler könnte dann einen Backtest durchführen, um zu bestimmen, welche Längen der gleitenden Durchschnitte bei den historischen Daten am besten abgeschnitten hätten.

Das ideale Backtesting-Szenario

Der ideale Backtest wählt Stichprobendaten aus einem relevanten Zeitraum mit einer Dauer, die eine Vielzahl von Marktbedingungen widerspiegelt. Auf diese Weise kann man besser beurteilen, ob die Ergebnisse des Backtests einen Zufall oder ein solides Trading darstellen.

Der historische Datensatz muss eine wirklich repräsentative Stichprobe von Aktien enthalten, einschließlich der Aktien von Unternehmen, die schließlich in Konkurs gingen oder verkauft oder liquidiert wurden. Die Alternative, die nur Daten von historischen Aktien enthält, die heute noch im Umlauf sind, wird im Backtesting künstlich hohe Renditen erzielen.

Bei einem Backtest sollten alle noch so geringen Handelskosten berücksichtigt werden, da sich diese im Laufe der Backtesting-Periode summieren und das Erscheinungsbild der Profitabilität einer Strategie drastisch beeinflussen können. Händler sollten sicherstellen, dass ihre Backtesting-Software diese Kosten berücksichtigt.

Out-of-Sample-Tests und Forward-Performance-Tests liefern weitere Bestätigungen bezüglich der Effektivität eines Systems und können das wahre Gesicht eines Systems zeigen, bevor echtes Geld auf dem Spiel steht. Eine starke Korrelation  zwischen Backtesting, Out-of-Sample- und Forward-Performance-Testergebnissen ist entscheidend für die Bestimmung der Lebensfähigkeit eines Handelssystems.

Backtesting vs. Forward Performance Testing

Forward-Performance-Tests, auch als  Papierhandel bekannt, bieten Händlern einen weiteren Satz von Out-of-Sample-Daten, anhand derer ein System bewertet werden kann. Forward-Performance-Tests sind eine Simulation des tatsächlichen Handels und beinhalten das Befolgen der Systemlogik in einem Live-Markt. Es wird auch Papierhandel genannt, da alle Geschäfte nur auf Papier ausgeführt werden; dh Handelsein- und -ausgänge werden zusammen mit Gewinn oder Verlust für das System dokumentiert, es werden jedoch keine echten Handelsgeschäfte ausgeführt.

Ein wichtiger Aspekt beim Forward Performance Testing besteht darin, der Logik des Systems genau zu folgen; andernfalls wird es schwierig, wenn nicht unmöglich, diesen Schritt des Prozesses genau zu bewerten. Trader sollten bei Handelsein- und -ausgängen ehrlich sein und Verhaltensweisen wie Rosinenpicking  Trades oder das Nichteinschließen eines Handels auf dem Papier vermeiden,  indem sie argumentieren, dass „ich diesen Handel nie gemacht hätte“. Wenn der Handel nach der Logik des Systems erfolgt wäre, sollte er dokumentiert und ausgewertet werden.

Backtesting vs. Szenarioanalyse

Während beim Backtesting tatsächliche historische Daten verwendet werden, um die Übereinstimmung oder den Erfolg zu testen, werden bei der Szenarioanalyse hypothetische Daten verwendet, die verschiedene mögliche Ergebnisse simulieren. So simuliert die Szenarioanalyse beispielsweise bestimmte Wertänderungen der Wertpapiere des Portfolios oder eintretende Schlüsselfaktoren, wie beispielsweise eine Änderung des Zinssatzes.

Die Szenarioanalyse wird häufig verwendet, um Wertänderungen eines Portfolios als Reaktion auf ein ungünstiges Ereignis zu schätzen und kann verwendet werden, um ein theoretisches Worst-Case-Szenario zu untersuchen.

Einige Fallstricke beim Backtesting

Damit Backtesting aussagekräftige Ergebnisse liefert, müssen Händler ihre Strategien entwickeln und nach Treu und Glauben testen, um Verzerrungen so weit wie möglich zu vermeiden. Das bedeutet, dass die Strategie entwickelt werden sollte, ohne sich auf die beim Backtesting verwendeten Daten zu verlassen.

Das ist schwieriger als es scheint. Trader erstellen im Allgemeinen Strategien basierend auf historischen Daten. Sie müssen beim Testen mit anderen Datensätzen streng sein als denen, mit denen sie ihre Modelle trainieren. Andernfalls liefert der Backtest leuchtende Ergebnisse, die nichts bedeuten.

In ähnlicher Weise müssen Händler Datenbaggerungen vermeiden, bei denen sie eine breite Palette hypothetischer Strategien gegen den gleichen Datensatz testen, was ebenfalls zu Erfolgen führt, die auf Echtzeitmärkten scheitern, da es viele ungültige Strategien gibt, die den Markt um mehr als ein Jahr schlagen würden bestimmten Zeitraum zufällig.

Eine Möglichkeit, die Tendenz zum Data Dredge oder Cherry Pick zu kompensieren, besteht darin, eine Strategie zu verwenden, die im relevanten Zeitraum oder in der Stichprobe erfolgreich ist, und sie mit Daten aus einem anderen oder nicht in der Stichprobe enthaltenen Zeitraum zu testen. Wenn In-Sample- und Out-of-Sample-Backtests ähnliche Ergebnisse liefern, ist es wahrscheinlicher, dass sie sich als valide erweisen.