Freitag, 1. August 2008, 11:28
Hallo zentrader,
Die Theorie ist mir soweit bekannt. Danke für Deinen Artikel. Den Artikel hatte ich damals schon bei der Veröffentlichung im Traders verschlungen und überlegt, ob sich damit folgendes Problem eventuell lösen läßt.
Ziel:
Überprüfung
Man ermittelt nach einer Methode X eine Rangfolge:
1.HS, 2.HS, 3.HS, usw. Die HS sind so angeordent, dass das wahrscheinlich zuverlässigste HS das 1. ist. Das letzte HS ist dass voraussichtlich schlechteste (=abschmierende) HS.
Nun wartet man einfach 100 Perioden und füttert die HS mit den täglichen Kursen und kann am Ende feststellen, ob sich die Hypothese bestätigt hat oder nicht.
Nach welcher Methode X mit DC die Reihenfolge ermitteln?
Methode 1)
- man generiert 100 synthetische, ähnliche Kursreihen (synKR) auf Basis des Tradingwertes
- ermittelt pro HS-Testkandidaten für alle 100 synKR die Gesamt-Kapitalkurve (GKK)
- das Ergebnis ist leider eine heftig fallende GKK
- das beste HS wäre dann das, wo die GKK nicht so stark gefallen ist, z.B.
1.HS=-20.000€, 2.HS=-30.000€, 3.HS=-33.000€, usw.
ABER was ist, wenn man die nächsten 100 synKR generiert und sich die Reihenfolge der HS jedesmal ändert? Entweder müsste man dann den Vorgang mehrmals wiederholen und hoffen, dass sich eine Gruppe von Favoriten herausbildet. Und/Oder man müsste die Anzahl der synKR trastisch erhöhen, z.B. auf 10.000 oder 100.000. Aber ich kann unmöglich 100.000 mal für jeden synKR-Titel die minimale Preisänderung eintippen, siehe diesen Thread minimale Preisänderung (z.B. 0.005) beim txt-Import von mehreren Kursdateien bitte nur einmal eingeben und sollte dann für alle Titel übernommen werden
, d.h. im Moment bin ich mit der Anzahl synKR noch stark limitiert. Hoffe aber, das Herr Knöpfel den ersten Eingabewert der minimale Preisänderung demnächst für alle zu importierende Kursreihen übernimmt.
Merthode 2)
Man testet nicht auf eine willkürliche Testmenge von synKR, sondern auf eine selektierte Anzahl von synKR.
Wie könnte nun eine solche Testmenge von synKR ermittelt werden, die eine faire Beurteilung aller HS ermöglich, ohne ein einzelnes HS zu begünstigen?
z.B. könnte man die 10 besten synKR für jedes der 10 Testkandidaten-HS ermitteln und daraus einen "Best-Testsatz" mit 100 synKR zusammenbauen.
Dann wird mit diesem "Best-Testsatz" alle Testkandidaten-HS getestet und das HS mit der besten KK ist der Gewinner, d.h. das 1.HS, usw.
Man könnte sich noch weiter Gedanken machen, wie man einen möglichst optimalen "Best-Testsatz" ermitteln könnte. Es gibt sehr viele Möglichkeiten, die ich unmöglich alle
ausprobieren kann.
Deshalb auch meine Frage hier im Forum, ob sich vielleicht schon mal jemand damit beschäftigt hat und konkrete praktische Erfahrungen hat, um die Vielzahl von Möglichkeiten einzugrenzen. Zentrader, wie würdest Du die synKR für den "Best-Testsatz" am geschicktesten auswählen?
Danke.
Viele Grüße
Torsten
PS:
Mir geht es also nicht darum das 100% sicher HS zu entwickeln/selektieren, sondern nur ein paar %-Punkte Wahrscheinlichkeit auf meine Seite zu holen, also statt 50:50 auf 52:48 oder so zu kommen
Die Theorie ist mir soweit bekannt. Danke für Deinen Artikel. Den Artikel hatte ich damals schon bei der Veröffentlichung im Traders verschlungen und überlegt, ob sich damit folgendes Problem eventuell lösen läßt.
Ziel:
Zitat
Man hat 10 HS, die z.B. auf NN basieren und auf Kursmuster trainiert wurden (d.h. keine Intermarketbeziehungen enthalten) und zum aktuellen Zeitpunkt alle sehr schöne KK aufweisen.
Aber welches nun handeln? Mit Sicherheit wird bei einigen HS die KK "abschmieren". Kann man über DC, indem man z.B. 100 ähnliche, synthetische Kursreihen generiert und dann auf die HS anwendet ermitteln, welches HS höchstwahrscheinlich das robusteste sein wird und wo die KK am ehesten weiter steigen wird?
Überprüfung
Man ermittelt nach einer Methode X eine Rangfolge:
1.HS, 2.HS, 3.HS, usw. Die HS sind so angeordent, dass das wahrscheinlich zuverlässigste HS das 1. ist. Das letzte HS ist dass voraussichtlich schlechteste (=abschmierende) HS.
Nun wartet man einfach 100 Perioden und füttert die HS mit den täglichen Kursen und kann am Ende feststellen, ob sich die Hypothese bestätigt hat oder nicht.
Nach welcher Methode X mit DC die Reihenfolge ermitteln?
Methode 1)
- man generiert 100 synthetische, ähnliche Kursreihen (synKR) auf Basis des Tradingwertes
- ermittelt pro HS-Testkandidaten für alle 100 synKR die Gesamt-Kapitalkurve (GKK)
- das Ergebnis ist leider eine heftig fallende GKK
- das beste HS wäre dann das, wo die GKK nicht so stark gefallen ist, z.B.
1.HS=-20.000€, 2.HS=-30.000€, 3.HS=-33.000€, usw.
ABER was ist, wenn man die nächsten 100 synKR generiert und sich die Reihenfolge der HS jedesmal ändert? Entweder müsste man dann den Vorgang mehrmals wiederholen und hoffen, dass sich eine Gruppe von Favoriten herausbildet. Und/Oder man müsste die Anzahl der synKR trastisch erhöhen, z.B. auf 10.000 oder 100.000. Aber ich kann unmöglich 100.000 mal für jeden synKR-Titel die minimale Preisänderung eintippen, siehe diesen Thread minimale Preisänderung (z.B. 0.005) beim txt-Import von mehreren Kursdateien bitte nur einmal eingeben und sollte dann für alle Titel übernommen werden
, d.h. im Moment bin ich mit der Anzahl synKR noch stark limitiert. Hoffe aber, das Herr Knöpfel den ersten Eingabewert der minimale Preisänderung demnächst für alle zu importierende Kursreihen übernimmt.
Merthode 2)
Man testet nicht auf eine willkürliche Testmenge von synKR, sondern auf eine selektierte Anzahl von synKR.
Wie könnte nun eine solche Testmenge von synKR ermittelt werden, die eine faire Beurteilung aller HS ermöglich, ohne ein einzelnes HS zu begünstigen?
z.B. könnte man die 10 besten synKR für jedes der 10 Testkandidaten-HS ermitteln und daraus einen "Best-Testsatz" mit 100 synKR zusammenbauen.
Dann wird mit diesem "Best-Testsatz" alle Testkandidaten-HS getestet und das HS mit der besten KK ist der Gewinner, d.h. das 1.HS, usw.
Man könnte sich noch weiter Gedanken machen, wie man einen möglichst optimalen "Best-Testsatz" ermitteln könnte. Es gibt sehr viele Möglichkeiten, die ich unmöglich alle
ausprobieren kann.
Deshalb auch meine Frage hier im Forum, ob sich vielleicht schon mal jemand damit beschäftigt hat und konkrete praktische Erfahrungen hat, um die Vielzahl von Möglichkeiten einzugrenzen. Zentrader, wie würdest Du die synKR für den "Best-Testsatz" am geschicktesten auswählen?
Danke.
Viele Grüße
Torsten
PS:
Mir geht es also nicht darum das 100% sicher HS zu entwickeln/selektieren, sondern nur ein paar %-Punkte Wahrscheinlichkeit auf meine Seite zu holen, also statt 50:50 auf 52:48 oder so zu kommen
Dieser Beitrag wurde bereits 3 mal editiert, zuletzt von »sten« (1. August 2008, 11:54)
Freitag, 1. August 2008, 11:39
Hallo Volker,
ich bin mit Dir einer Meinung das man mit DS Robustheit von Systemen testen kann,keine Frage! Torsten meinte ,so wie ich es verstanden habe,das man mit DS eine Ableitung auf die Bewegung der Kapitalkurve erstellen kann! Das heißt im Fall der NNs, das man mit Hilfe von Data Scrampling darauf schließen kann, wann die Kapitalkurve des entsprechenden selektierten Generation abschmieren wird.
Dazu seine Frage:Aber welches nun handeln? Mit Sicherheit wird bei einigen HS die KK "abschmieren". Kann man über DC, indem man z.B. 100 ähnliche, synthetische Kursreihen generiert und dann auf die HS anwendet ermitteln, welches HS höchstwahrscheinlich das robusteste sein wird und wo die KK am ehesten weiter steigen wird?
Bei stat. Messverfahren ist es m.A.aber auch so,das sie stark von der Historie abhängig sind. Das zukünftig robusteste Generation muss aber in der Vergangenheit nicht die Beste gewesen sein! Mit dieser Annahme würde die Selektion der "besten" Generation kippen und die Chancen auf 50:50 schmelzen. Daher war meine Meinung das im Fall der Selektionsverfahren DS nicht unbedingt zum ersehnten Ziel führt! Eventuell könnte man die Daten noch in Frequenzen zerlegen und rücktransformieren wie man das beispielsweise mit High-Lowpassfiltern anwenden kann. Leider sind diese Filter verschiebbar und passen die Frequenzen über die gesamte Historie gesehen mit dem zufügen neuer Datenpunkte immer wieder an! Gesucht wird ein Verfahren,das Bewegungen in Frequenzen zerlegt,die Ausreißer findet und aufgrund der anwachsenden Frequenzamplituden die Bewegungsrichtung frühzeitig ändert so das man abschätzen kann, wann die KK einbricht-bzw. einbrechen könnte.Dieser so berechnete "Indikator läuft parallel zur KK und kann beispielsweise via Spreadergebnis eingesetzt werden!Wenn der Indikator weiterhin mit der KK parallel läuft, besteht für die selektierte NN-Generation noch keine Gefahr das sie in Kürze abschmiert.Man würde aus den vielen Generationen die auswählen,welche durch den Indikator als Robust bestätigt werden-oder besser gesagt für die nächsten N-Perioden als Robust deklariert sind...
@Torsten
Der Nachteil jeder statist. Zeitreihenanalyse ist das plötzliche Einbrechen lieneraer Berwegung kaum erfasst und prognostiziert werden können. In 90% der Fälle liegt man mit den Verfahren falsch und die Prognose geht danaben! Bei Bewegungen um den Zero-Punkt (Schwingungen), sind einige Verfahren wiederum sehr gut und man bekommt eine überaus gute Prognose-wie zum Beispiel mit SSA (Spectral-Analysen)...
Und überhaupt Torsten,schau doch mal auf einen Sprung bei NRCM vorbei-hier leigt die Lösung Deines Problems...
ich bin mit Dir einer Meinung das man mit DS Robustheit von Systemen testen kann,keine Frage! Torsten meinte ,so wie ich es verstanden habe,das man mit DS eine Ableitung auf die Bewegung der Kapitalkurve erstellen kann! Das heißt im Fall der NNs, das man mit Hilfe von Data Scrampling darauf schließen kann, wann die Kapitalkurve des entsprechenden selektierten Generation abschmieren wird.
Dazu seine Frage:Aber welches nun handeln? Mit Sicherheit wird bei einigen HS die KK "abschmieren". Kann man über DC, indem man z.B. 100 ähnliche, synthetische Kursreihen generiert und dann auf die HS anwendet ermitteln, welches HS höchstwahrscheinlich das robusteste sein wird und wo die KK am ehesten weiter steigen wird?
Bei stat. Messverfahren ist es m.A.aber auch so,das sie stark von der Historie abhängig sind. Das zukünftig robusteste Generation muss aber in der Vergangenheit nicht die Beste gewesen sein! Mit dieser Annahme würde die Selektion der "besten" Generation kippen und die Chancen auf 50:50 schmelzen. Daher war meine Meinung das im Fall der Selektionsverfahren DS nicht unbedingt zum ersehnten Ziel führt! Eventuell könnte man die Daten noch in Frequenzen zerlegen und rücktransformieren wie man das beispielsweise mit High-Lowpassfiltern anwenden kann. Leider sind diese Filter verschiebbar und passen die Frequenzen über die gesamte Historie gesehen mit dem zufügen neuer Datenpunkte immer wieder an! Gesucht wird ein Verfahren,das Bewegungen in Frequenzen zerlegt,die Ausreißer findet und aufgrund der anwachsenden Frequenzamplituden die Bewegungsrichtung frühzeitig ändert so das man abschätzen kann, wann die KK einbricht-bzw. einbrechen könnte.Dieser so berechnete "Indikator läuft parallel zur KK und kann beispielsweise via Spreadergebnis eingesetzt werden!Wenn der Indikator weiterhin mit der KK parallel läuft, besteht für die selektierte NN-Generation noch keine Gefahr das sie in Kürze abschmiert.Man würde aus den vielen Generationen die auswählen,welche durch den Indikator als Robust bestätigt werden-oder besser gesagt für die nächsten N-Perioden als Robust deklariert sind...
@Torsten
Der Nachteil jeder statist. Zeitreihenanalyse ist das plötzliche Einbrechen lieneraer Berwegung kaum erfasst und prognostiziert werden können. In 90% der Fälle liegt man mit den Verfahren falsch und die Prognose geht danaben! Bei Bewegungen um den Zero-Punkt (Schwingungen), sind einige Verfahren wiederum sehr gut und man bekommt eine überaus gute Prognose-wie zum Beispiel mit SSA (Spectral-Analysen)...
Und überhaupt Torsten,schau doch mal auf einen Sprung bei NRCM vorbei-hier leigt die Lösung Deines Problems...
Happy Trading
Samstag, 2. August 2008, 12:27
@Frank
Sehe ich ähnlich deshalb müsste das Rauschen so gut wie möglich unterdrückt werden. Allerdings kann man keine rauschfreien Daten erzeugen und bestimmen-es sei denn man ist "Insider" und kennt den nächsten "linearen Hype"! Letztendlich geht man davon aus, das bei erfolgreichen DatatScrampling Test das HS eine gewisse Stabilität zeigt-aber man kann es nie garantieren! Zumindest poliert man damit die Statistik des Modells auf und beruhigt die Nerven! Der Statistik ist es egal ob der Hirsch braun oder weiß ist,aber es ist nicht egal ob es ein Hirsch oder ein Bär ist und genau das weiss man auch nicht so genau... 
Da alle Daten nachweislich mehr oder mnder verrauscht sind kann man die Bedeutung des Ris- und Money Management eines vollmech. Modells vielleicht besser ableiten und verstehen! Handelt man wirklich den oder die verrauschten Samples bricht das NN oder konventionelle HS fürher oder später rigoros ein. Das ist nur eine Frage der Zeit und der Zyklik!
Sehe ich ähnlich deshalb müsste das Rauschen so gut wie möglich unterdrückt werden. Allerdings kann man keine rauschfreien Daten erzeugen und bestimmen-es sei denn man ist "Insider" und kennt den nächsten "linearen Hype"! Letztendlich geht man davon aus, das bei erfolgreichen DatatScrampling Test das HS eine gewisse Stabilität zeigt-aber man kann es nie garantieren! Zumindest poliert man damit die Statistik des Modells auf und beruhigt die Nerven! Der Statistik ist es egal ob der Hirsch braun oder weiß ist,aber es ist nicht egal ob es ein Hirsch oder ein Bär ist und genau das weiss man auch nicht so genau...
Da alle Daten nachweislich mehr oder mnder verrauscht sind kann man die Bedeutung des Ris- und Money Management eines vollmech. Modells vielleicht besser ableiten und verstehen! Handelt man wirklich den oder die verrauschten Samples bricht das NN oder konventionelle HS fürher oder später rigoros ein. Das ist nur eine Frage der Zeit und der Zyklik!
Happy Trading
Samstag, 2. August 2008, 13:02
Dieses Modell zeigt zu was ein NN im Stande wäre (eine einzige Inputschablone) wenn die Daten optimal entrauscht und aufbereitet sind. Leider habe ich es mit der mir zur Verfügung stehenden Software noch nicht geschafft,zeitlich synchrone und stabile Signale zu erzeugen.... sonst säße ich jetzt bestimmt nicht mehr hier...
Happy Trading
Samstag, 2. August 2008, 23:59
Hallo Frank,
ich schreibe die Einzelheiten in den Thread,den Roger (chied) eröffnet hat weil das genau das Thema ist! Ich verwende dazu Origin 8Pro! Die Wavelets habe ich mit Origin ermittelt! Das ist ein mächtiges Programm und beinhaltet neben Wavelets auch FFT;ROC-Kurve,ANOVA,Lebensdauer,Hypothesentests,Datenmanipulation;Deskriptive Statistik;Hilpert Transformation;Mann-Whitney Test,Curve Fitting,Integration; uvm...das volle Programm eben! Natürlich benötigt man nicht alles, und mein Ziel ist, Daten hinsichtlich des rauschens zu untersuchen und eventuell zu transformieren-z.B. auch mit High-Low-Bandpass Filtern!
Anhand der Histogramme in Markt Plus kann man erkennen das Charts über weite Strecken normalverteilt sind,teils mit Links- oder Rechtsgefälle! Was die Charts und Prognosen aus der Bahn wirft sind News welche überhaupt erst die Bewegungen entstehen lassen. Ohne News würde die Börse abends ähnlich schließen wie sie morgens eröffnet und wahrscheinlich könnte man die Gausskurve darüber legen.. Wenn man Intradaymodelle entwirft sind die Daten enorm verrauscht weil sich bei News extreme Peaks bilden können (Überreaktion) und somit den eigentlichen Kursverlauf verrauschen! Diese kurzfristigen Peaks dürfen,nimmt man es genau,nicht in eine Modellbewertung einfließen,um die regelrechten Daten nicht zu überlagern! Wenn relativ rauschfreie Daten überlagert werden kann ein NN diese immer ungenauer erkennen und zieht folglich falsche Schlüsse-bzw.die Datenfehlerminimierung baut auf verrauschten Daten auf! Somit ist das Modell von Beginn an angeschlagen weil es auf falschen Annahmen aufbaut! Eine Glättung bringt nicht immer den gewünschten Erfolg,da man wichtige Segmente,die wichtige Informationen liefern können "wegfiltern" könnte! FFT ist auch nicht das NonPlus Ultra da sie teils heftige Über-und Unterschwinger liefern! Also bin ich bei den Wavelets gelandet! Einzelheiten dann im anderen Thread...
Einem Backprop- NN genügt lt. meinen Tests eine einzige Periode "Vorsprung" aus um überproportionale Ergebnisse zu erzielen.Diesen Vorsprung erhofft man sich eben durch transformieren oder Intermarkets zu bekommen! Aber gerade bei Intermarkets ist es nicht einfach da sich die Korrelationen der Weltmärkte ständig etwas ändern und somit das Modell phasenlang scheitern lassen können! Mit Data-Scrampling,um auf das Eingangsthema zurückzukommen könnte man einen Filter testen um zu prüfen wie gut der Filter unbekannte Zufallszeitreihen entrauschen kann! Schneidet er hier gut ab,ist es vermutlich ein optimaler und stabiler Input! Dieser Filter sollte aber nicht nur mit GA optimiert funktionieren da man damit wieder ganz am Anfang steht und Deine Bedenken hinsichtlich Data Scrampling wieder zum tragen kommen. Man passt das NN den verrauschten Daten an..
ich schreibe die Einzelheiten in den Thread,den Roger (chied) eröffnet hat weil das genau das Thema ist! Ich verwende dazu Origin 8Pro! Die Wavelets habe ich mit Origin ermittelt! Das ist ein mächtiges Programm und beinhaltet neben Wavelets auch FFT;ROC-Kurve,ANOVA,Lebensdauer,Hypothesentests,Datenmanipulation;Deskriptive Statistik;Hilpert Transformation;Mann-Whitney Test,Curve Fitting,Integration; uvm...das volle Programm eben! Natürlich benötigt man nicht alles, und mein Ziel ist, Daten hinsichtlich des rauschens zu untersuchen und eventuell zu transformieren-z.B. auch mit High-Low-Bandpass Filtern!
Anhand der Histogramme in Markt Plus kann man erkennen das Charts über weite Strecken normalverteilt sind,teils mit Links- oder Rechtsgefälle! Was die Charts und Prognosen aus der Bahn wirft sind News welche überhaupt erst die Bewegungen entstehen lassen. Ohne News würde die Börse abends ähnlich schließen wie sie morgens eröffnet und wahrscheinlich könnte man die Gausskurve darüber legen..
Wenn man Intradaymodelle entwirft sind die Daten enorm verrauscht weil sich bei News extreme Peaks bilden können (Überreaktion) und somit den eigentlichen Kursverlauf verrauschen! Diese kurzfristigen Peaks dürfen,nimmt man es genau,nicht in eine Modellbewertung einfließen,um die regelrechten Daten nicht zu überlagern! Wenn relativ rauschfreie Daten überlagert werden kann ein NN diese immer ungenauer erkennen und zieht folglich falsche Schlüsse-bzw.die Datenfehlerminimierung baut auf verrauschten Daten auf! Somit ist das Modell von Beginn an angeschlagen weil es auf falschen Annahmen aufbaut! Eine Glättung bringt nicht immer den gewünschten Erfolg,da man wichtige Segmente,die wichtige Informationen liefern können "wegfiltern" könnte! FFT ist auch nicht das NonPlus Ultra da sie teils heftige Über-und Unterschwinger liefern! Also bin ich bei den Wavelets gelandet! Einzelheiten dann im anderen Thread... Einem Backprop- NN genügt lt. meinen Tests eine einzige Periode "Vorsprung" aus um überproportionale Ergebnisse zu erzielen.Diesen Vorsprung erhofft man sich eben durch transformieren oder Intermarkets zu bekommen! Aber gerade bei Intermarkets ist es nicht einfach da sich die Korrelationen der Weltmärkte ständig etwas ändern und somit das Modell phasenlang scheitern lassen können! Mit Data-Scrampling,um auf das Eingangsthema zurückzukommen könnte man einen Filter testen um zu prüfen wie gut der Filter unbekannte Zufallszeitreihen entrauschen kann! Schneidet er hier gut ab,ist es vermutlich ein optimaler und stabiler Input! Dieser Filter sollte aber nicht nur mit GA optimiert funktionieren da man damit wieder ganz am Anfang steht und Deine Bedenken hinsichtlich Data Scrampling wieder zum tragen kommen. Man passt das NN den verrauschten Daten an..
Happy Trading
Sonntag, 3. August 2008, 10:52
Verschiedene Märkte vs. Data-Scrambling
Der Vorteil dieser Methode ggü. anderen konkurrierenden Ansätzen wie der Verwendung von klassischen "out-of-sample"-Ansätzen oder der Verwendung unterschiedlicher historischer Märkte liegt einfach darin, dass eben noch wesentlich mehr (potentielle) Marktszenarien getestet werden können, als alleine mit existierenden historischen Daten.
Hallo,
Anfängerfrage, kann ich dies nicht auch durch Verwendung vieler verschiedener Märkte und langen Historien auch erreichen? Ich weiss jeder Markt hat so sein eigenes Charakteristika, nur so als Gedanke. des weiteren, jeder mech. Handelssystem stirbt irgendwann, auch wenn das Testen noch so erfolgreich war, hier müssen zusätzlich Kontrollparameter eingebaut werden um rechtzeitig auszusteigen, zumindest sollte dies beachtet werden.
Ähnliche Themen
-
Neuronale Netze »-
Inputschablone Divergenz - Correl
(5. September 2002, 12:18)
-
- Neuronale Netze »
-
Dipl. Arbeit zum Thema NN
(16. September 2002, 08:09)
-
- Allgemeine Fragen zu Investox »
-
Automatisches Handeln!
(17. September 2002, 10:15)
-
- Datenbeschaffung »
-
Historische Intermarket-Daten
(10. September 2002, 11:47)