INVESTOX-Forum

Hallo OptiT,


ich arbeite mit verschiedener Backtesting-Software – allerdings nur mit Investox wirklich intensiv. Außerdem habe ich hier noch ältere Versionen von Wealth Lab, Metastock und von der Tradestation.
Grundsätzlich ist es meiner Erfahrung nach richtig, was Dir Herr Däubner gesagt hat.
Nimm 4 verschiedene Softwarelösungen mit den gleichen Kursdaten, versuche die gleiche Strategie backzutesten und Du wirst oft 4 verschiedene Ergebnisse erhalten. Du wirst gleichzeitig feststellen, dass Du bei allen 4 Softwarelösungen wahrscheinlich keine Kongruenz in den Trades bekommst.
Bei der einen Software kannst Du vielleicht nur 500 Perioden backtesten.
Die andere Software erlaubt Backtesting über mehrere Perioden, verwendet aber ein Datenformat, das maximal x-Kurse abspeichert.
Alle Softwarelösungen enthalten möglicherweise Standard-Indikatoren mit gleichen Namen.
Die absoluten Indikatorwerte unterscheiden sich aber u.U. auch wieder zwischen der Software – manchmal marginal – manchmal erheblich.
Nimm nur mal Indikatoren, die sich z.B. in ihrer Berechnung auf einen früheren Wert von sich selbst beziehen (i.e. „Prev“ enthalten). Hier kann es entscheidend sein, über wie viele historische Perioden zurück Du den Indikator berechnen läßt / lassen kannst.
Der Funktionsumfang und die Einstellmöglichkeiten der Software sind auch oft verschieden. Gibt es bei einer Software eine bestimmte Einstellmöglichkeit der Backtesting-Bedingungen nicht, so ist auch oft nicht dokumentiert, welche Einstellung für die interne Berechnung verwendet wird.
Da kann man dann nur hoffen, dass man die Einstellung in dem Programm, welches sie zuläßt, identisch vornimmt.
Ursachen für Abweichungen zwischen den Programmen kann es viele geben.
Ich habe aufgegeben, mich näher damit zu beschäftigen, warum etwas in einem Programm intern so berechnet wird, im anderen Programm anders.
Was mir zwischen den Programmen gelungen ist, ist für bestimmte einfache Strategien (z.b. nur 1 Candlestick-Muster, sonst nichts weiter) weitgehende Ergebnisgleichheit in den Backtesting-Ergebnissen zwischen der verschiedenen Software zu bekommen, wenn ich auch das Candlestick-Muster selbst programmiert habe und die Datenquelle gleich war. Je komplexer aber die Handelsregeln werden – desto größer waren bei meinen Tests die Abweichungen zwischen den Trades die in jeder Software gemacht wurden oder auch nicht gemacht wurden und folglich auch die Abweichungen zwischen den Backtesting-Ergebnissen.
Was war meine Konsequenz aus diesen Tests (…die bei mir allerdings schon etliche Jahre her sind) ? Nicht das Backtesting insgesammt sinnlos ist, sondern das ich die Backtests immer nur in der Software durchführen würde, mit der das System später auch getradet werden soll, um eine Konsistenz in der Signalgebung zwischen Backtest und späterem Realhandel sicherzustellen.

Hallo OptiT,

nimm 1 HS, kopiere es auf 3 PC's und lasse es einmal laufen im virtuellen Broker und auf den anderen beiden PC jeweils über ein IBpaper.

Ergebnis:
Erwarten würde man, dass am Tageende der gleiche Gewinn/Verlust bei allen drei HS herauskommt. In der Realität kommt bei jedem HS was anderes heraus, obwohl der gleiche Internetanschluß verwendet wird.

Warum?
Schon bei der Tickdatenaufzeichnung mit dem RTT-Tool werden pro Tag unterschiedlich viele Ticks pro PC aufgezeichnet. Manchmal liefert der Real-TWS-Zugang mehr Ticks, mal die IBpaper TWS.

Das macht die Entwicklung von HS nicht gerade einfacher, wenn schon hierbei zum Teil ganz erhebliche Unterschiede auftreten. Ich hoffe sehr, dass durch die HS-Entwicklung und traden auf/mit Tenfore-Daten die Ergebnisse reproduzierbarer werden.

Viele Grüße
Torsten

Hallo OptiT,

Zitat

Herr Däubner sprach allerdings von Backtests mit identischem Datenmaterial,

...hatte ich auch so gemacht ....

Zitat

und dann mit diesen Daten den Backtest fährt, würde man auch praktisch keine Übereinstimmung feststellen.

Ja, er wird sicherlich auch keine exakte Übereinstimmung der Trades zwischen der unterschiedlichen Software erreicht haben....vermute ich einfach mal.
Dann ergäbe ja auch Sinn, dass die Backtesting-Ergebnisse bei den Vergleichen unterschiedlich sind.

Oder hat er gesagt, dass er die Tradelisten in jeder Software exakt identisch hinbekommen hat ?
Das wäre dann etwas anderes - aber das habe ich wie gesagt selbst mit einer absolut simplen Strategie seinerzeit nur näherungsweise geschafft....

Hallo OptiT,

damit keine Mißverständnisse auftreten, ja es gibt Abweichungen zwischen Backtest und realem Handel, aber trotzdem würde ich um nichts in der Welt auf das Backtesting verzichten wollen.

Viele Grüße
Torsten