INVESTOX-Forum

Hallo Torsten,

hättest Du das gedacht? :)
(Walk Forward-Test)

Hallo Udo und Alle,

die KK ist sehr schick aber die wurde doch so hingetrimmt oder? Irgendwie verstehe ich da was nicht. Es kommt mir so vor als wenn ich eine Optimierung laufen lasse bei einem normalen Handelssystem und die Opti auf das letzte Datum setze und mich dann freue. Ich nehme mal an die Variablen wurden so hingetrimmt bis die KK auf den Gesamtzeitraum stimmte. Oder wurde der Test so durch geführt als ob man das letzte Jahr nicht hätte? Ändern sich eigentlich die Variablen beim WF automatisch nach einem neuen Training?

Hallo Torsten,

Du kannst einsetzen was Dir beliebt-und natürlich was auch Sinn macht! Soll der Ouput linear aufgezeichnet werden-z.B. der FIR-Filter oder ein GD, lass ROC weg und lege den Output in das Chartfenster um beispielsweise den linearen Verlauf visuell zu vergleichen! ROC zwingt den Output in eine stationäre Zone so das der Fixpunkt in der Regel 0 ist,was dann für die Berechnung im HS wichtig ist. Lineare,nicht stationäre Outputs können auch GDs oder weitere Ouputs crossen, was eine andere Variante erschließt! Später mehr zu den anderen Posts...

Hallo

@Torsten
Bei Renko,P&F und Spanne muss man auf Intradaybasis acht geben, wenn das Overnigght Gap offen bleibt.Das heißt die Berechnung startet mit dem neuen Handelstag. Hier muss unbedingt die erste Spalte/Brick/Kerze des Tages ausklammert werden,da sie nicht handelbar ist und im Backtest nicht berücksichtigt werden darf! Das gilt für mit Ticks aufgebaute und vorkomprimierte Spalten gleichermaßen! Bei EOD Komprimierungen sieht es anders aus, da es pro Tick keine Neuberechnung der Spalten gibt,sondern der Verlauf der Zeitreihe wir am Anfang der Zeitreihe einmalig ausgewertet und alle folgenden Spalten werden automatisch auf die initiale Justierung aufgerechnet. Daher ist die Funktion für das OvernightGap nur relevant, wenn Intradaydaten vorliegen!

@Arend

Zitat

die KK ist sehr schick aber die wurde doch so hingetrimmt oder? Irgendwie verstehe ich da was nicht. ?(
Es kommt mir so vor als wenn ich eine Optimierung laufen lasse bei
einem normalen Handelssystem und die Opti auf das letzte Datum setze
und mich dann freue. Ich nehme mal an die Variablen wurden so
hingetrimmt bis die KK auf den Gesamtzeitraum stimmte.

Zunächst einmal handelt es sich bei dem Test um eine Feed Forward Test. Das heißt,die komplette KK ist Out of Sample. Die Historie wurde justiert und das Ergebnis ist die KK und die Kennzahlen! Meine Gegenfrage: Wenn man Systeme entwickelt optimiert man da nicht immer? Versucht man nicht immer die Variablen so zu stellen, das sie gleichermassen Top-Performance und vermeindliche Stabilität liefern? Ich denke doch denn niemand wird ein mittelmäßiges HS aus der Entwicklung verabschieden und live handeln,sondern immer versuchen das Maximale zu erzielen. N+ optimiert nicht gleichzeitig die Variablen. Der Algorithmus und die Variablen-Justierung, deren Optimierung über GA erfolgt arbeiten unabhängig. Ein komplett durchoptimiertes System passt sich ständig optimal an und wenn man Glück hat liegt es beim nächsten Tick richtig oder eben auch falsch.Ich lege die Chancen auf 50:50 ein mehr nicht! Erweiterte Varianten,die das zusätzliche komplette durchoptimieren ermöglichen, sind in der aktuellen Integration leider nicht möglich weil man mit der aktuellen GA-Variante keinen FW-Test ausführen kann! Das liegt an der Bildung von GA-Generationen die nicht getoppt werden! Ob die Komplettoptimierung überhaupt einen erheblichen Vorteil brächte, müsste sich in weiteren Tests erst herausstellen. Ich möchte daher noch keine voreiligen Resümees ziehen zumal die Vergleichsmöglichkeit nicht zur Verfügung steht,und für den FW-Test eine Opt. and Hold Variante nicht vorgesehen ist

Handelssystem,egal welche,unterliegen m.A ständigen Optimierungsprozessen wobei Optimierung nicht mit Überoptimierung gleichzustellen ist und die Eingriffe des Entwicklers zeitlich völlig unterschiedlich ausfallen können, was Strategie und Komprimierungs abhängig ist. Auch über das MM/RM kann optimiert werden indem man Stopps,Targets,Pos-Size incl. Pyramiden anpasst.Ohne diese Anpassung würde ein System möglicherweise völlig versagen oder underperformen!Hier muss man aber einräumen das MM/RM ein Kapitel für sich ist das in dem Zusammenhang am Rande erwähnt wurde!

Was bei N+ im Vordergrund steht ist einfach das einsortieren und anpassen des Gegebene. Der Algorithmus erkennt automatisch Muster,sie müssen also nicht erst mit Formelcodes gesucht werden. Nun gilt es die Cluster aufzubereiten(Inputs),anzupassen und einzuordnen (Feinjustierung). Dazu ist aber keinerlei Programmierkenntnis notwendig,obwohl es sich mehr um ein mathematisches Konstrukt handelt. Dennoch können auch Börsenhintergründe mühelos integriert werden-beispielsweise als übergeordnete Ebene für die Clustersuche.

Hi Udo,

Zitat von »Udo«

Zunächst einmal handelt es sich bei dem Test um eine Feed Forward Test. Das heißt,die komplette KK ist Out of Sample.

Das stimmt schon aber Du ja ja die komplette KK siehst, wurden doch die Variablen bestimmt so lange getrimmt bis die KK zum letzten Datumspunkt so hoch geht. Das meinte ich mit hingetrimmt.

Zitat von »Udo«

Die Historie wurde justiert und das Ergebnis ist die KK und die Kennzahlen! Meine Gegenfrage: Wenn man Systeme entwickelt optimiert man da nicht immer? Versucht man nicht immer die Variablen so zu stellen, das sie gleichermassen Top-Performance und vermeindliche Stabilität liefern?

Ja aber beim Testen optimiert man nie bis zum letzten Datum. Mann muss ja wissen ob das System einigermassen stabil ist und bleibt. Das Beispielsystem geht von 1998-2009. Reel wäre es jetzt wenn man den Zeitraum von z.B. 2007-2009 nicht im Chart hätte und somit nicht sehen würde. Man trimmt die Variablen bis die KK zum Ende von 2006 stimmt. Wenn man jetzt mit diesen Einstellungen die restlichen 3 Jahre in den Chart legt und die KK so weiter geht, dann "Hut ab". Aber ich glaube nicht das so getestet wurde, oder? Das ist der Punkt den ich meine. Es ist doch nicht schwer eine KK nach oben zu bekommen wenn man bis zum letzten Punkt optimiert und die KK sieht. Man optimiert dann so lange bis die KK Super aussieht, aber so kann man doch nicht testen Und ich habe halt das Gefühl das JEDE KK die hier in Verbindung mit N+ gemacht wurde, genau so zustande kam. Ich hoffe ich täusche mich.

Hallo Arend,

Zitat

Das stimmt schon aber Du ja ja die komplette KK siehst, wurden doch die
Variablen bestimmt so lange getrimmt bis die KK zum letzten Datumspunkt
so hoch geht. Das meinte ich mit hingetrimmt.

Zuerst einmal ein Unterschied zu trimmen und trimmen! :) Man kann Variable in den Inputs trimmen, das heist einen meinetwegen GD rauf und runter klicken!Das ist das eine. Man kann aber auch Cluster zusammenfassen und an der Feinjustierung, das N+ mit anbietet, experimentieren ohne die Inputs großartig zu verändern,das ist das andere! Man könnte meinen, das eine schließt das andere ein, aber das ist nicht ganz so-obwohl es ein "ganzheitlicher" Prozess ist der unterm Strich zusammenspielen muss. Confused oder?,aber es ist relativ schwer es in Worte zu fassen! Wenn man die Modelle schlank gestaltet, das heisst wenige Inputs integriert und die Zeitreihe so nach profitablen Mustern absucht wird sich nach m letzten Testergebnissen mehr Stabilität einstellen! Die Kapitalkurve wird dabei meist nicht mehr ganz so "glatt". Allerdings sind sehr glatte Kapitalkurven in den meisten Fällen überoptimiert! Überoptimierung bewirkt bei N+,das der Ouput im OoS-Zeitraum stark oszilliert und zu Ausreißern neigt was eine Folge von Klassifizierungsfehlern ist! Die genannten Fehler sind kein Bug in der Software sondern werden von verrauschten Daten provoziert,was übrigens jedem Algorithmus zu schaffen macht. Deshalb legen NN-Entwickler auch so viel Wert die Daten dementsprechend vorzuverarbeiten .Ständig starke Frequenzausschläge im Output zeigt die ersten Anzeichen von Instabilität im Outputs! N+ hat einige Features integriert um dem entgegenzuwirken. Diese Features sind m.A. wichtiger als alles drum herum!

Ein Feed Forward Test ist IMMER! Out of Sample. Die Kapitalkurve die Du hier siehst ist komplett Out of Sample! Wenn man das von Dir angesprochene Testverfahren einsetzt arbeitet man mit einem Stationären Zeitraum und einem OoS-Zeitraum-eben das üblichen Lern-und Testzeitraumverfahren aufgeteilt beispielsweise in 70:30! 70% sind der Lernzeitraum und an 30% der Gesamten Zeitreihe wird das gelernte bz. justierte getestet. In der Grafik unten habe ich das Schema kopiert nach dessen verfahren die KK entstanden ist!

Systementwickler oder Systemtrader werden keine Systeme anbieten oder handeln,dessen OoS-Zeitraum als liegende SA-Form weiter läuft! was kann man tun? Optimieren und anpassen,auch seitens des MM/RM! Wenn Du ein System entwickelst wirst Du immer versuchen im OoS-Zeitraum das Maximum zu erreichen in dem Du im Testzeitraum die variablen anpasst damit sie auch im OoS-Zeitraum nachwirken...und bestmöglich darüber hinaus! Nichts anders macht man mit N+ nur auf andere Art und weise. Man kommt relativ schnell zum Optimum ohne ellenlange Formelketten schreiben zu müssen und das ist der Unterschied..neben der schnellen Berechnung des Algorithmus und die schon erwähnten Punkte in einem anderen Beitrag!

Zitat

Und ich habe halt das Gefühl das JEDE KK die hier in Verbindung mit N+
gemacht wurde, genau so zustande kam. Ich hoffe ich täusche mich.

Ich kann mir beim besten Willen nicht vorstellen das irgend ein vollautomatisches System auf anderen Weg zustande kommt-egal wie man es anpackt es wird immer optimiert sein! Optmierung,ich schrieb es schon hat nichts mit Überoptimierung zu tun. CurveFitting ist natürlich sinnlos und total unbrauchbar...aber auch nicht in allen Fällen, denn der Backprop-Algorithmus wie er in den Investox-NNs zur Verfügung steht, ist sehr "großzügig" und kommt auch mal mit fehlenden Daten und Ausreißern zurecht- und kann auch eine Überoptimierung in bestimmten Fällen eine zeitlang projizieren.Damit kann man ja auch Geld machen...so oder so...;)


Walk Forward Test Schematik ( (c)Investox Hilfe- PDF)

In dem nachfolgenden Modell wurde einen sehr kurzer Zeitraum getestet (Komp 60 Minuten-Fdax incl. Slippage&Kosten). Mit Hilfe der Feinjustierung wurde versucht den Output zu entzerren und die vormals Frequenz abzuschwächen. Die KK ist OoS bzw. Walk Forward. Mit Hilfe des RM wurde eine weitere Optimierung durchgeführt! Im Normalfall sollte das System so funktionieren das der persönliche Schmerzgrenze/Trade nicht überschritten-das heißt zu viel Vertrauen in das Enter und den Signalwechsel von N+gelegt wird! Es ist auch möglich hier mit kleinen Risiken Systeme zu entwickeln und das ist m.A. das erste was man in einem mit N+ entwickelten System einstellen sollte! Phantasie-Risiken, die man nachher nicht bezahlen kann oder einem die Schweißperlen nur so runterlaufen sollte man tunlichst vermeiden, wenngleich auch die KK noch so nach oben schießt! Man hat es bei diesen Algorithmen mit mathematischen Konstrukten zu tun und nicht mit Börsenweisheiten,die man visuell -oder ein erfahrener Trader aus dem "Handeglenk"- kontrollieren kann! Es wurden sehr wenige Variable genutzt. Aufgrund des sehr kurzen Zeitraums ist das RM doppelt wichtig und sollte sehr straff gehalten werden! Kurze zeiträume haben den Vorteil, das der Klassifizierung weniger Möglichkeiten beim "sortieren" angeboten werden und so ein klarere Trennung provoziert wird. Das entspricht im weitesten Sinn dem Preprocessing eben auf einem anderen Weg. Man sollte,um mit diesen kurzen Zeitreihen handeln zu können auf jeden Fall eine zeitlang Paper getestet haben, denn es ist nicht ganz ohne!!

@Anke
Habe vielen Dank für Deinen tollen Service und Deine Mühen zu den kostenlosen Indikatoren und diese selbstlos öffentlich bereit zu stellen!

Bei diesem Modell wurde versucht, die Mindestmuster zu bündeln,was sich in N+ variieren lässt. Ziel war ,signifikante Muster zu filtern-ohne mögliche interessante Einzelmuster zu berücksichtigen. N+ sollte nicht die Nischen auswerten sondern die übergeordneten Fraktale-das geht auch ohne Multi-Time-Frame. In der anschließenden Grafik,die einen WF-Test beinhaltet liegt alles offen! Das System wurde lediglich mit einem Overnight-Stopp getestet und beinhaltet keinerlei MM/RM (Kosten und Slippage incl.). Bei WF-Test ist stest darauf zu achten, das der Prognoseabstand eine Zeitperiode hinter dem Output-Horizont liegt. Der Prognoseabstand kann über dem Output-Horizont liegen liegen aber NIE weiter, als eine Zeitperiode hinter der Output-Prognose sonst blickt euer System in die Zukunft!

...und noch einmal der Vergleich wie sich mit RM (ohne MM) Kennzahlen manipulieren lassen. Das ist exakt der Punkt, den ich weiter oben zum Optimieren mit MM/RM schrieb!Am System wurde nichts verändert,lediglich ein Sofort-Stopp und ein Intradaygewinnstopp eingefügt. Das System läuft auf 10 Minuten-zeitkomprimiert. Bei den Basiseinstellungen solcher Systeme sollte man keinerlei Stopps verwenden und erst nach erfolgreicher Basiseinstellung sein persönliches MM/RM hinzufügen!

Und nun noch viel Spaß beim "klicken"...;)

Hallo Torsten,

der Hurst ist nur visuell im Teilchart. Er liefert u.a. auch Informationen im Rahmen des visuellen chartens! Bei den Parametern kommt es darauf an was man handeln möchte und welche Strategie man sucht! Ich hoffe,wenn es zeitlich klappt,in den kommenden Wochen noch ein paar spezielle Beispiele präsentieren zu können. Man kann keine festen Rahmenbedingungen vorschlagen, weil die Bandbreite der Feinjustierung-Parameter/Inputs-Output untereinander abhängig ist! Auf jeden Fall kann man festlegen, das ein stark oszillierender Output (viele Trades in Folge,ausgelöst von Output-Signalwechsel) zwar zur Performance-Höchstform auflaufen kann, aber auch anfällig ist! Daher muss das Zusammenspiel der Parameter verifiziert werden und eventuell gelingt es, sie "allgemeingültig" grob zu klassifizieren. Aber dafür ist mein aktuelles Teststadium noch zu früh!