Dienstag, 15. Januar 2008, 23:21
Robustheitstestergebnisse unvollständig
Hallo,
wenn ich den Robustheitstest mit den Generationen von 2 NN (je 200 Generationen) laufen lasse, also 40'000 HS durchrechne fehlen mir bei dieser Berechnung so um die 5000 Ergebnisse. Wenn ich die fehlenden Generationen manuell auswähle, so erhalte ich ein valides Ergebnis. D. h. es wird z. B. ein Trade im ausgewählten Zeitraum ausgeführt. In untenstehender Grafik kann man an den grauen Färbungen erkennen, wo nichts berechnet wurde.
Leider habe ich das Verhalten mit mehreren Netzkombinationen erhalten. Woran liegt das
und: kennt ihr das? Oder ist das etwas für Herrn Knöpfel?
Herzlichen Dank und gute Nacht
-dubi
wenn ich den Robustheitstest mit den Generationen von 2 NN (je 200 Generationen) laufen lasse, also 40'000 HS durchrechne fehlen mir bei dieser Berechnung so um die 5000 Ergebnisse. Wenn ich die fehlenden Generationen manuell auswähle, so erhalte ich ein valides Ergebnis. D. h. es wird z. B. ein Trade im ausgewählten Zeitraum ausgeführt. In untenstehender Grafik kann man an den grauen Färbungen erkennen, wo nichts berechnet wurde.
Leider habe ich das Verhalten mit mehreren Netzkombinationen erhalten. Woran liegt das
und: kennt ihr das? Oder ist das etwas für Herrn Knöpfel?Herzlichen Dank und gute Nacht
-dubi
Dienstag, 22. Januar 2008, 08:34
Hallo Mattias,
danke für Deine Antwort. Es sind aber keine von Reiners Indikatoren enthalten. Meine Definitionen sehen folgendermassen aus:
Mehr ist da nicht. Das besonders Eigenartige ist eben auch, dass die manuell im HS eingestellte Kombinationen ein Ergebnis liefern - im Rob-Test jedoch nicht.
Was kann das sein - hilfe bitte
-dubi
danke für Deine Antwort. Es sind aber keine von Reiners Indikatoren enthalten. Meine Definitionen sehen folgendermassen aus:
|
Quellcode |
1 2 3 4 |
Global Calc X: NN01_SP2(O1); Global Calc Y: NN01_SP3(O1); #_SetGen NN01_SP2,[100,1,200,1,200,1,3,I]# #_SetGen NN01_SP3,[100,1,200,1,200,1,3,I]# |
Mehr ist da nicht. Das besonders Eigenartige ist eben auch, dass die manuell im HS eingestellte Kombinationen ein Ergebnis liefern - im Rob-Test jedoch nicht.
Was kann das sein - hilfe bitte
-dubi
Dienstag, 22. Januar 2008, 15:30
Hallo dubi
Naja, etwas muss noch da sein, der Input nämlich
Wie sieht denn der aus?
Falls der Input nämlich von Fall zu Fall (Stichwort variable Inputschablone) mehr Historie voraussetzt, als Du im Robtest hast, aber im HS genug Daten da sind - könnte ich mir dieses "Phänomen" erklären. Wie stark ist denn der Zeitraum im Robtest gegüber dem HS eingeschränkt? Kommen während des Robtests Meldungen im INV Log an? Welche?
Mehr ist da nicht.
Naja, etwas muss noch da sein, der Input nämlich
Wie sieht denn der aus?Eigenartige ist eben auch, dass die manuell im HS eingestellte Kombinationen ein Ergebnis liefern - im Rob-Test jedoch nicht
Falls der Input nämlich von Fall zu Fall (Stichwort variable Inputschablone) mehr Historie voraussetzt, als Du im Robtest hast, aber im HS genug Daten da sind - könnte ich mir dieses "Phänomen" erklären. Wie stark ist denn der Zeitraum im Robtest gegüber dem HS eingeschränkt? Kommen während des Robtests Meldungen im INV Log an? Welche?
Gruss
Bernd
Bernd
Dienstag, 22. Januar 2008, 17:33
Hallo Bernd,
in den Regeln steht z.B. folgendes:
Die Netze sind in diesem Fall OriginalNetze von Reiner aber auf den SP500 Future trainiert.
Ich habe auch einmal einen Ausschritt mit weniger als 200 mal 200 Kombinationen trainiert (5x5). Die Ergebnisse sind die gleichen: von den 25 Kombinationen sind hier gleich 3 nicht berechnet worden. Ich habe diese Kombinationen von Hand im HS eingetragen und alle haben genau einen Trade (kann Zufall sein - ist aber auffällig). Der Testzeitraum für's Robusten ist schon sehr kurz: 2 Wochen bei EOD. Das sollte aber kein KO-Kriterium sein. Eine der drei Kombinationen hatte auch inmitten des Zeitraums einen Trade angefangen und auch wieder abgeschlossen.
Im Bild ist zu sehen, wie die Ergebnisse im Excel aussehen.
Any ideas?
Grüsse
-dubi
in den Regeln steht z.B. folgendes:
|
|
Quellcode |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
***** Regeln ****** Enter Long: X > 0 AND Y > 0 Exit Long: X < 0 OR Y < 0 Enter Short: X < 0 AND Y < 0 Exit Short: X > 0 OR Y > 0 Übergreifende Definitionen: Global Calc X: NN02_SP1(O1); Global Calc Y: NN02_SP2(O1); #_SetGen NN02_SP1,51# #_SetGen NN02_SP2,161# |
Die Netze sind in diesem Fall OriginalNetze von Reiner aber auf den SP500 Future trainiert.
Ich habe auch einmal einen Ausschritt mit weniger als 200 mal 200 Kombinationen trainiert (5x5). Die Ergebnisse sind die gleichen: von den 25 Kombinationen sind hier gleich 3 nicht berechnet worden. Ich habe diese Kombinationen von Hand im HS eingetragen und alle haben genau einen Trade (kann Zufall sein - ist aber auffällig). Der Testzeitraum für's Robusten ist schon sehr kurz: 2 Wochen bei EOD. Das sollte aber kein KO-Kriterium sein. Eine der drei Kombinationen hatte auch inmitten des Zeitraums einen Trade angefangen und auch wieder abgeschlossen.
Im Bild ist zu sehen, wie die Ergebnisse im Excel aussehen.
Any ideas?
Grüsse
-dubi
Dienstag, 22. Januar 2008, 19:03
Hallo dubi
Na, was denn nun? Sind da nun Teile von Reiners HS drin oder nicht? Wohl schon, NNs sind bei der Verwendung am Ende des Tages eben doch Indikatoren
Also, Reiner's HS habe ich in den Anfangstagen mal angesehen; aber ohne das Coding ansehen zu dürfen ist das Ganze für mich schnell uninteressant geworden. Ich erinnere mich, dass Reiner geschützte Input-Schablonen verwendet hat. Da Du auf meine Frage nach den Inputs des NN nicht eingetreten bis, vermute ich, Du weisst nicht, welche Inputs Du für dieses NN verwendest. Und genau hier ist das Problem
Also, schreibe Dir selber Inputs für die NNs, dann wird Dein Problem gelöst sein - oder im Fehlerfall weisst Du wenigstens, welche Daten da angesaugt werden sollen
damit Du sie auch bereitstellen kannst 
Die Netze sind in diesem Fall OriginalNetze von Reiner aber auf den SP500 Future
danke für Deine Antwort. Es sind aber keine von Reiners Indikatoren enthalten.
Na, was denn nun? Sind da nun Teile von Reiners HS drin oder nicht? Wohl schon, NNs sind bei der Verwendung am Ende des Tages eben doch Indikatoren
Also, Reiner's HS habe ich in den Anfangstagen mal angesehen; aber ohne das Coding ansehen zu dürfen ist das Ganze für mich schnell uninteressant geworden. Ich erinnere mich, dass Reiner geschützte Input-Schablonen verwendet hat. Da Du auf meine Frage nach den Inputs des NN nicht eingetreten bis, vermute ich, Du weisst nicht, welche Inputs Du für dieses NN verwendest. Und genau hier ist das Problem
Also, schreibe Dir selber Inputs für die NNs, dann wird Dein Problem gelöst sein - oder im Fehlerfall weisst Du wenigstens, welche Daten da angesaugt werden sollen
damit Du sie auch bereitstellen kannst
Gruss
Bernd
Bernd
Dienstag, 22. Januar 2008, 22:11
Zitat
Ich erinnere mich, dass Reiner geschützte Input-Schablonen verwendet hat.
Reiners NN's sind inzwischen transparent für alle verfügbar. Die Inputs sehen wie unten dargestellt aus. Hier ist nichts mehr verschlüsselt und nichts mehr welches über irgenwelche vermeintliche Hintertüren etwas ausblendet. Mit Indikatoren meinte ich die statistischen Tests, die er in seinen Handelssystemen einsetzt - sorry for confusion
Aber du bringst mich tatsächlich auf eine gute Idee zur Verifizierung: Ich werde einmal einen Rob-Test mit zwei gaaaanz einfachen Netzen machen. So könnte man evtl. der Sache auf die Spur kommen.
Merci und Grüsse
-dubi
Dienstag, 22. Januar 2008, 23:56
Hallo dubi
Sieht transparenter aus als was ich in Erinnerung habe.
Naja, Deine Bilder zeigen mal die Schablone. Nun schau Dir zu einer geladenen Generation, welche im Robtest kein Ergebnis gebracht hat, die tatsächlichen Inputs an (Menu Werkzeuge / Neuronale Netze und Indikatoren / der blaue i-Punkt / Beschreibung). Unter "Training" sollte die Generation stehen, welche Du im HS gewählt hast und welche Probleme macht.
Und in dieser Anzeige siehst Du dann auch, was die Generation tatsächlich an Inputs ansaugt. Sind diese Daten wirklich im Robtest-Trainingszeitraum verfügbar?
Sieht transparenter aus als was ich in Erinnerung habe.
Die Inputs sehen wie unten dargestellt aus.
Naja, Deine Bilder zeigen mal die Schablone. Nun schau Dir zu einer geladenen Generation, welche im Robtest kein Ergebnis gebracht hat, die tatsächlichen Inputs an (Menu Werkzeuge / Neuronale Netze und Indikatoren / der blaue i-Punkt / Beschreibung). Unter "Training" sollte die Generation stehen, welche Du im HS gewählt hast und welche Probleme macht.
Und in dieser Anzeige siehst Du dann auch, was die Generation tatsächlich an Inputs ansaugt. Sind diese Daten wirklich im Robtest-Trainingszeitraum verfügbar?
Gruss
Bernd
Bernd
Mittwoch, 23. Januar 2008, 23:09
Hallo nochmals,
es ist zum verzweifeln . Ich habe nun ein zwei simple Netze mit Mom und ROC auf den Basistitel zusammengeklickt. Wenn ich auf diese beiden Netze einen Rob-Test für 14 Tage mit 5x5 Generationen durchführe erhalte ich untenstehendes Ergebnis!!! - Es fehlen 16 von 25 Ergebnissen 
Der Basistitel ist nur und ausschliesslich der SP500 auf täglicher Komprimierung (pinnacle Daten). Wie man an untenstehendem Bild erkennen kann, hat eine Beispielkombination die im Rob-Test kein Ergebnis produziert ein Ergebnis, wenn ich die Generationen einzeln einstelle!
Ich habe folgende Vermutung: wenn der Rob-Zeitraum zu kurz wird, werden einzelne Ergebnisse nicht angezeigt. Könnte das mal jemand bitte verifizieren? Wenn ich nämlich die Ergebnisse auf 4 Wochen ausdehne, erhalte ich vollständige Ergebnisse.
Danke für Euer kritisches Mitdenken
-dubi
Edit: Bei Bedarf kann ich auch gerne noch die NN-Definitionen einstellen.
es ist zum verzweifeln
. Ich habe nun ein zwei simple Netze mit Mom und ROC auf den Basistitel zusammengeklickt. Wenn ich auf diese beiden Netze einen Rob-Test für 14 Tage mit 5x5 Generationen durchführe erhalte ich untenstehendes Ergebnis!!! - Es fehlen 16 von 25 Ergebnissen Der Basistitel ist nur und ausschliesslich der SP500 auf täglicher Komprimierung (pinnacle Daten). Wie man an untenstehendem Bild erkennen kann, hat eine Beispielkombination die im Rob-Test kein Ergebnis produziert ein Ergebnis, wenn ich die Generationen einzeln einstelle!
Ich habe folgende Vermutung: wenn der Rob-Zeitraum zu kurz wird, werden einzelne Ergebnisse nicht angezeigt. Könnte das mal jemand bitte verifizieren? Wenn ich nämlich die Ergebnisse auf 4 Wochen ausdehne, erhalte ich vollständige Ergebnisse.
Danke für Euer kritisches Mitdenken
-dubi
Edit: Bei Bedarf kann ich auch gerne noch die NN-Definitionen einstellen.
Mittwoch, 23. Januar 2008, 23:44
Hallo dubi
Ja, klar. Desswegen schrieb ich:
Also, Du musst schon einen genügend langen Zeitraum für den Robtest aufsetzen. Wenn die GA-optimierte Input-Schablone z.B. 20 Perioden (also bei Dir 20 Arbeits-Tage = 4 Wochen) für einen der Inputs voraussetzt, Du dem Robtest aber nur 10 Tage "spediert" hast, wird dieses Netz kein Ergebnis bringen. Das nächste Netz aber, welches nur Daten aus dem zur Verfügung gestellten Zeitraum verarbeitet, liefert natürlich ein Ergebnis. Die Folge ist der Fleckenteppich, den Du da gepostet hast
Wenn Du dann noch für die Netze ohne Ergebnis die tatsächlich verwendeten Input-Werte (die Du ermittelst wie schon beschrieben) mit dem Robtest Zeitraum vergleichst, sollte dann endlich alles klar sein.
Ich habe folgende Vermutung: wenn der Rob-Zeitraum zu kurz wird, werden einzelne Ergebnisse nicht angezeigt.
Ja, klar. Desswegen schrieb ich:
Falls der Input nämlich von Fall zu Fall (Stichwort variable Inputschablone) mehr Historie voraussetzt, als Du im Robtest hast,
Also, Du musst schon einen genügend langen Zeitraum für den Robtest aufsetzen. Wenn die GA-optimierte Input-Schablone z.B. 20 Perioden (also bei Dir 20 Arbeits-Tage = 4 Wochen) für einen der Inputs voraussetzt, Du dem Robtest aber nur 10 Tage "spediert" hast, wird dieses Netz kein Ergebnis bringen. Das nächste Netz aber, welches nur Daten aus dem zur Verfügung gestellten Zeitraum verarbeitet, liefert natürlich ein Ergebnis. Die Folge ist der Fleckenteppich, den Du da gepostet hast
Wenn Du dann noch für die Netze ohne Ergebnis die tatsächlich verwendeten Input-Werte (die Du ermittelst wie schon beschrieben) mit dem Robtest Zeitraum vergleichst, sollte dann endlich alles klar sein.
Gruss
Bernd
Bernd
Donnerstag, 24. Januar 2008, 00:13
Hallo Bernd,
danke für Deine schnelle Antwort. Trotzdem: das kann ich nicht ganz nachvollziehen: wenn im Zeitraum vom 1.1. bis zum 15.1. ein Trade erfolgt, dann will ich den doch im Rob-Test abgebildet haben. Warum wird der nicht gezeigt? In meinem angehängten Bild ist genau dieser Fall genannt.
Die Historie der Daten ist in meinem Fall ab 1982 vorhanden. Nur weil der Rob-Test am 1.1. beginnt heisst das m. E. nicht, dass das Netz nicht auf Daten vor dem 1.1. zugreifen kann, sondern dass das HS ab dem 1.1. mit allfälligen früheren Daten berechnet werden soll und Signale ab dem 1.1. generieren kann/soll. Weiter verstehe ich dich so (hoffentlich richtig
), dass jeder Rob-Test erst soviel Perioden Signale später generieren würde, wie eventuelle Indikatoren (z. B. NN) in die Vergangenheit schauen. Das ist gerade in meinem Beispiel nicht plausibel. Denn es wird beispielsweise auch eine Kombination mit folgenden Inputs korrekt dargestellt:
Grüsse
-dubi
danke für Deine schnelle Antwort. Trotzdem: das kann ich nicht ganz nachvollziehen: wenn im Zeitraum vom 1.1. bis zum 15.1. ein Trade erfolgt, dann will ich den doch im Rob-Test abgebildet haben. Warum wird der nicht gezeigt? In meinem angehängten Bild ist genau dieser Fall genannt.
Die Historie der Daten ist in meinem Fall ab 1982 vorhanden. Nur weil der Rob-Test am 1.1. beginnt heisst das m. E. nicht, dass das Netz nicht auf Daten vor dem 1.1. zugreifen kann, sondern dass das HS ab dem 1.1. mit allfälligen früheren Daten berechnet werden soll und Signale ab dem 1.1. generieren kann/soll. Weiter verstehe ich dich so (hoffentlich richtig
), dass jeder Rob-Test erst soviel Perioden Signale später generieren würde, wie eventuelle Indikatoren (z. B. NN) in die Vergangenheit schauen. Das ist gerade in meinem Beispiel nicht plausibel. Denn es wird beispielsweise auch eine Kombination mit folgenden Inputs korrekt dargestellt: |
|
Quellcode |
1 2 3 4 5 6 7 8 9 |
2.) Stichproben Fibo/21, Parameter: MOM(Close, 24): Calc Daten: MOM(Close, 24); Ref(Daten,0); Ref(Daten,-1); Ref(Daten,-2); Ref(Daten,-3); Ref(Daten,-8); Ref(Daten,-13); Ref(Daten,-21); |
Grüsse
-dubi
Montag, 28. Januar 2008, 10:59
Hallo Herr Knöpfel,
Danke für Ihre Antwort
.
Ja - das ist so. Hier liegt meine Irritation.
Das mit der Mindestanzahl schaue ich heute Abend nach.
Viele Grüsse
-dubi
Danke für Ihre Antwort
.wenn Sie mit manueller Einstellung, also im Chart, das HS mit diesem Zeitraum testen: erfolgt dann ein Ergebnis?
Ja - das ist so. Hier liegt meine Irritation.
Das mit der Mindestanzahl schaue ich heute Abend nach.
Viele Grüsse
-dubi
Montag, 28. Januar 2008, 20:49
Prüfen Sie die Einstellung "Mindestanzahl Tades pro Titel". unter "HS einstellen / Optimierung" - "Genetische Algorithmen einstellen". Wenn hier ein Wert >1 steht
Das war's - hier stand 2. Das ist - wie in der Doku nachzulesen - der Standardwert. Muss man halt wissen
Vielen herzlichen Dank
-dubi
Sonntag, 23. März 2008, 22:49
Hallo nochmals,
ich habe nach längeren Untersuchungen erneut/unverändert Schwierigkeiten mit nicht angezeigten Ergebnissen bei kurzen Rob-Test-Zeiträumen.
Mein HS sieht folgendermassen aus:
Die Generationskombination von 134 und 390 (wie oben angegeben) zeigt bei manueller Einstellung einen Trade mit einem Netto-Verlust von -954 an (siehe Bildschirmkopie).
Im Rob-Test wird diese Kombination jedoch nicht angegeben (ebenfalls siehe Bildschirmkopie). Da ich die Mindestanzahl der Trades im HS mit 0 angebe sollte das doch eigentlich nicht sein? Oder was mache ich da falsch?
Da ich viel mit diesen kurzen Zeiträumen arbeite ist das nicht ein zufälliges Ergebnis sondern bei etwa 50% der Rob-Tests der Fall.
Danke schon einmal für (nochmaliges) ansehen und viele Grüsse
-dubi
PS.: Beim Umschalten von einer Darstellung im Rob-Test (Säulen auf Farbfläche) erhalte ich auch plötzlich andere Kombinationen angegeben - höchst eigenartig. In der Farbflächendarstellung werden mir dann in der Informationsleiste beim drüberfahren auch noch Werte im grauen Bereich angegeben ??? Ich habe zur Info noch einen Bildschirmabdruck beigefügt...
ich habe nach längeren Untersuchungen erneut/unverändert Schwierigkeiten mit nicht angezeigten Ergebnissen bei kurzen Rob-Test-Zeiträumen.
Mein HS sieht folgendermassen aus:
|
|
Quellcode |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 |
Beschreibung für System 'Kopie von SP1_SP2_Z' Uhrzeit: 23.03.2008 22:13:26 Angelegt am: 15.01.2008 21:10:20 Zuletzt bearbeitet: 23.03.2008 22:12:37 Komprimierung: Täglich ***** Regeln ****** Enter Long: X > 0 AND Y > 0 Exit Long: X < 0 OR Y < 0 Enter Short: X < 0 AND Y < 0 Exit Short: X > 0 OR Y > 0 Übergreifende Definitionen: Global Calc X: NN08_03_1_A(O1); Global Calc Y: NN08_03_2_A(O1); #_SetGen NN08_03_1_A,134# #_SetGen NN08_03_2_A,390# ***** Optimierung ***** Start: 01.08.2005 Ende: 01.01.2006 Optimierte Titel: S&P500, DAY-% Optimierungskriterien: Maximiere 'Profit-Ratio zu Buy/Hold', Gewichtung: 1 GA-Einstellung: Optimiere maximal 50 Generationen mit 15 Eltern und 100 Nachkommen. ***** Test-Einstellungen ***** Positionen: Long+Short Enter-Basis: Close Delay: 0 Exit-Basis: Close Delay: 0 Buy/Hold-Basis: Close Trade-Mindestdauer: 0 Out-Mindestdauer: 0 Punkte testen Initial Margin: 10000 Wert pro Punkt: 50 Entry-Gebühren: 2 Exit-Gebühren: 2 Slippage: 50 Portfolio Zinssatz: 5 Risikotoleranz: 24 Money-Manag. Fester Kontrakt Anzahl 1 Delta 50000 Max. Kontrakte 100 ***** Optimierungs-Report ***** Kein Optimierungsergebnis vorhanden ***** Aktualisierungs-Einstellungen ***** Aktualisierung alle 30 Sekunden, nur zwischen 07:54 und 07:56 Uhr, Sa. und So. keine Aktualisierung Signale nur bei vollendeten Perioden |
Die Generationskombination von 134 und 390 (wie oben angegeben) zeigt bei manueller Einstellung einen Trade mit einem Netto-Verlust von -954 an (siehe Bildschirmkopie).
Im Rob-Test wird diese Kombination jedoch nicht angegeben (ebenfalls siehe Bildschirmkopie). Da ich die Mindestanzahl der Trades im HS mit 0 angebe sollte das doch eigentlich nicht sein? Oder was mache ich da falsch?
Da ich viel mit diesen kurzen Zeiträumen arbeite ist das nicht ein zufälliges Ergebnis sondern bei etwa 50% der Rob-Tests der Fall.
Danke schon einmal für (nochmaliges) ansehen und viele Grüsse
-dubi
PS.: Beim Umschalten von einer Darstellung im Rob-Test (Säulen auf Farbfläche) erhalte ich auch plötzlich andere Kombinationen angegeben - höchst eigenartig. In der Farbflächendarstellung werden mir dann in der Informationsleiste beim drüberfahren auch noch Werte im grauen Bereich angegeben ??? Ich habe zur Info noch einen Bildschirmabdruck beigefügt...