Freitag, 26. April 2024, 20:25 UTC+2

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

Lieber Besucher, herzlich willkommen bei: INVESTOX-Forum. Falls dies Ihr erster Besuch auf dieser Seite ist, lesen Sie sich bitte die Hilfe durch. Dort wird Ihnen die Bedienung dieser Seite näher erläutert. Darüber hinaus sollten Sie sich registrieren, um alle Funktionen dieser Seite nutzen zu können. Benutzen Sie das Registrierungsformular, um sich zu registrieren oder informieren Sie sich ausführlich über den Registrierungsvorgang. Falls Sie sich bereits zu einem früheren Zeitpunkt registriert haben, können Sie sich hier anmelden.

Registrierungsdatum: 29. Dezember 2007

Beiträge: 297

Wohnort: Bad Homburg

1

Mittwoch, 25. Juni 2008, 14:06

Normalverteilung der Trades in einem NN-HS

Hallo,

ich habe mir gerade ein Paar Beiträge zum Thema Messung der Stabilität eines NNs durchgelesen.

So wurde z.B. in dem Beiträgen zu Rainers HS - welches er vor ca 6 Monaten hier verschenkte - der Mann-Whitney-Test verwendet um die Stabilität zu messen.

Ich habe mal ein wenig im Internet gegoogelt und mir den Mann-Whitney-Test mal angesehen.

Dabei bin ich auf ein paar Fragen gestossen, die für die Verwendung solcher Verfahren - aus meiner Sicht - sehr wichtig sind!

1.) Der Mann-Whitney-Test geht von einer Normalverteilung der Testmenge/Kontrollmenge aus.

Bezogen auf die Messung der Stabilität eines NNs würde man die Trades eines Kontrollbereichs mit den Trades eines Ursprungsbereichs - in der Regel der Trainingsbereich - mit einander statistisch verglechen.

Die Frage, die sich bei diesem Ansatz allerdings sofort stellt ist:

Sind die Trades denn überhaupt normalverteilt?

Wer einmal in "Handelssysteme die wirklich funktionieren" von Thomas Stridsman gelesen hat wird sich sicher erinnern, dass zumindest die Trades der dort vorgestellten HSse NICHT normalverteilt sind!

Ist dies tatsächlich auch bei NN-basierten-Systemn der Fall, so würde z.B. die Verwendung des Mann-Whitney-Test zur Messung der Stabilität eins NNs zumindest aus statistischer Sicht ziemlicher Humbug sein !!!!

Mich würde mal Eure Erfahrungen/Wissen/Meinungen zu diesem Thema interessieren....
Grüße,

Christian

Chemie262

unregistriert

2

Freitag, 27. Juni 2008, 09:40

Hallo Christian,
ich verwende den Mann-Whitney-Test als Schalter in meinen HS auf NN-Basis. Zumindest bei reinen HS auf NNs ohne weitere Indikatoren, Stops usw. besteht ein sehr enger zsammenhang zwischen der Steigung des Indis und den Ergebnissen der NNs. Leider wird hier aber auch die KK schon relativ zeitgleich mit dem Abknicken des MWT einbrechen. Wenn man aber das HS um weitere Indis aufbaut, können diese die Performance des HS noch einige Zeit retten. Da hilft er dann, daß das HS frühzeitig genug abschaltet, um größeren Verlust zu verhindern. Wenn der MWT abknickt, ist das für mich auch eine Indikation für ein Neutraining des NNs.
Schön wäre es, wenn man die Ergebnisses von Robustheitstests als Paramater des MWT anzeigen könnte.
Tschüß,
Herbert

Registrierungsdatum: 29. Dezember 2007

Beiträge: 297

Wohnort: Bad Homburg

3

Freitag, 27. Juni 2008, 14:36

Hallo Herbert,

naja, rein Mathematisch inst der Mann-Whitney-Test ein Äquivalentstest.

Somit kannst Du statistisch messen, wie sehr das Verhalten deines NNs im Kontroll oder späteren Produktivbereich dem Verhalten im Trainings/Optimierungsbereich ähnelt.

Wie schon im ersten Thread erwähnt, ist die Vorraussetzung der Anwendung des Mann-Whitney-Test eine Normalverteilung der zu untersuchenden Größen - in unserem Falle die einzelnen Treffer.

Ich wollte über dieses Thema eine Diskussion starten,

Weil mich interessiert, ob die Voraussetzung für die Anwendung des Mann-Whitney-Test (Normalverteilung der Treffer) denn überhaupt gegeben ist.

Um es klarer zu sagen:

Produzieren HSse unter verwendung von NNs keine Normalverteilten Treffer, so dürfte man den Mann-Whitney-Test

überhaupt nicht anwenden bzw bekommt eine falsche Aussage über den Zustand des Netzes.

Es würde mich interessieren, ob jemand in der Community sich schon mal die Mühe gemacht hat, dies nachzuprüfen z.B. mit dem Chi-Quadrat-test.
Grüße,

Christian

sven

unregistriert

4

Freitag, 27. Juni 2008, 15:18

Hallo Chris,

ich hab mir damals die Mühe mit dem Chi-Quadrat-Test gemacht. Habe bei einer vielzahl von Netzen geprüft ob es einen Zusammenhang aus dem Ergebniss des Chi-Quadrat-Tests und der weiteren KK gibt.
Meiner Ansicht gibt es das nicht, jedenfalls nicht eindeutig genung, um daran abzuleiten ob ein Netz noch funktioniert oder nicht.
Im Gegensatz ist aber wohl der vergangene KK-Verlauf halbwegs pasabel für eine Beurteilung.

Gruß
Sven

Registrierungsdatum: 29. Dezember 2007

Beiträge: 297

Wohnort: Bad Homburg

5

Freitag, 27. Juni 2008, 15:24

Hallo Sven,

Danke für deinen Beitrag!

Ich habe soetwas befürchtet + werde selber noch einige Tests hierzu machen.

Wenn es tatsächlich keinen eindeutigen Zusammenhang zwischen Mann-Whitney-Test und KK gibt,

So bleibt in der Tat "nur" die KK übrig, oder kennst du noch andere hinreichen gute Metriken um vorzeitig das "Versagen" eines NN vorherzusehen?

Eigentlich schade, denn Rainers Projekt fand ich bisher recht vielversprechend....
Grüße,

Christian

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

6

Freitag, 27. Juni 2008, 17:30

@Christian

vorzeitig das "Versagen" eines NN vorherzusehen?


Ich glaube dafür würden einige Leute Millionen bezahlen! Man könnte so gut wie jedes überoptimierte NN handeln denn wenn man eine Methode hat, die das Versagen der KK zuverlässig "voraussieht",kann man mit Systemen wie mit der Axt im Walde umgehen, denn dann gewinnt man immer...;)
Happy Trading

Registrierungsdatum: 29. Dezember 2007

Beiträge: 297

Wohnort: Bad Homburg

7

Freitag, 27. Juni 2008, 17:34

Hi Udo,
da hast Du sicherlich recht....
Jetzt verstehe ich auch, warum Rainer sein Projekt verschenkt hat ;)

.. Aber vielleicht ist ja doch was dran ...
Grüße,

Christian

Chemie262

unregistriert

8

Freitag, 27. Juni 2008, 17:36

Hallo Christian,
ich gehe da wohl eher pragmatisch vor. Hier ist ein HS das pur auf zwei NNs basiert ohne irgendwelche weitern Indis oder Stops. Es wurde bis Ende August 2007 trainiert. Wie man an der MWT (rote Kurve) sieht, sah er bie Mitte Oktober gut aus, um dann einzubrechen. Die KK dieses Systems zeigte auch kurz danach eine ordentlichen Drawdown. Erst im Februar/März dieses Jahres gingen KK und MWT wieder gen Norden, um erneut im April einzubrechen. und merkwürdigerweise steigt seit Mai die KK wieder ordentlich, während der MWT stagniert.

Aber grundsätzlich halte ich den Indi für wertvoll, um frühzeitig gewarnt zu werden.
Dies ist sind die gleichen NNs eingebettet in einige weitere Indis und Stops, das ich real gehandelt habe. Wie man sieht, läuft die KK auch nach dem Einbruch des MWT azeptabel weiter nach oben. Ich habe aber das HS im Dezember abgestellt und die NNs neu trainiert. Und vielfach habe ich erlebt, daß ein HS nicht so gelassen wie dieses auf nachlassende Performance der NNs reagiert und schneller abschmieren. man könnte natürlich als Indikator genauso die KK des oben gezeigten puren NN-Systems als Indikator nehmen.


Tschüß,
Herbert

Registrierungsdatum: 29. Dezember 2007

Beiträge: 297

Wohnort: Bad Homburg

9

Freitag, 27. Juni 2008, 21:12

Hallo Herbert,
Vielen Dank für deine Antwort.
Sag mal, verwendest Du den MWT aus rainers Projekt?
Oder woher hast Du den Indi.

... Und welche Einstellungen hast Du verwendet.
Grüße,

Christian

Chemie262

unregistriert

10

Samstag, 28. Juni 2008, 22:13

Hallo Christian,
den MWT hat Reiner seinerzeit ebenso wie den KK-Indi zur Verfügung gestellt. Da muß man ja nur seine beiden NNs angeben und die Kosten und Wert pro Punkt übernehem ich aus dem HS.
Übrigens hatte ich das oben gezeigte HS schon in der Mottenkiste und jetzt beim Durchsehen nach einem Beispiel gesehen, daß es wieder gut funktioniert. Das zeigt, daß man von Zeit zu Zeit seine Archive auf eventuelle Schätze durchsuchen sollte.
Tschüß,
Herbert

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

11

Sonntag, 29. Juni 2008, 00:32

Hallo zusammen,

ich kann aus den beiden Linien,KK und Indikator leider keinerlei Zusammenhang erkennen! Ich habe bislangls mit FFT und SPS experimentiert aber festgestellt, das die Prognosen auch nicht über die Aussagekraft herkömmlicher, linearer Modelle hinausgehen! Daher habe ich das at Akta gelegt! Meiner Ansicht werden hier zu viele Datenpunkte berechnet was das Ergebnis verrauschen könnte. Man müsste zuerst die KK harmonisieren so, das man den übergeordneten Trend beibehält aber die kleineren Frequenzen glättet!

Vielleicht hat Dipl.Ing. Volker Butzlaff,im Forum als Zentrader bekannt, eine Lösung mit seinem neuen Tool! Eine Demo steht bereit in der man sich das ganze mal ansehen kann. Eine Dokumentation sucht man leider vergebens, aber vielleicht bekommt man mehr Infos wenn man ihn kontaktiert!



Hier der FDAX! Leider weiß ich nicht genau wie das Ergebnis zu interpretieren ist aber ich gehe davon aus dass das Signal für Montag Short wäre-also Close< Close Freitag! Auch weiß ich nicht ob Input Value die Perioden anspricht! Dazu benötigt man genaue Angaben vom Entwickler!

Happy Trading

Chemie262

unregistriert

12

Sonntag, 29. Juni 2008, 18:57

Hallo Udo,
ich habe hier mal noch 2 Beispiele gebracht, bei denen der MWT eine prima frühwarnung gegeben hat und könnte noch reihenweise solche Grafiken nachschieben. Daher ist wohl was dran an Reiners Indi.

Hier hätte der Einbruch des roten MWT im November verhindert, die einbrechende KK ab Weihnachten mitzuerleben.

Auch hier war die Warnung im November und der erste größere Drawdown im Januar.
Das sind übrigens HS auf 3-h Kompression, die nur wenige Stunden bis einige Tage pro Trade im Markt sind. Man hat also reichlich Zeit die Dinger abzuschalten, bevor der Exekuter kommt.
Tschüß,
Herbert

Lenzelott Männlich

Experte

Registrierungsdatum: 30. Dezember 2002

Beiträge: 3 051

Wohnort: Giessen

13

Sonntag, 29. Juni 2008, 19:02

Gleich kommt der Exekutor, wenn Ihr nicht ordentlich schwarz rot gold geschminkt seit und die dritte Strophe am Anfang mitsingt.

Mein Bruder lebt in Spanien (Valencia) , hat mir aber versprochen selbiges heute zu vollführen.
Also macht Ihr mir auch keine Schande, gelle ! ;)

Und immer an die Wade denken, die Wade !!!!
Ok bei mir ist´s die Achillessehne, aber fast halt.
If you think it´s expensive to hire a professional, wait until you hire an amateur.

Registrierungsdatum: 29. Dezember 2007

Beiträge: 297

Wohnort: Bad Homburg

14

Sonntag, 29. Juni 2008, 21:46

Hallo Herbert, hallo Udo, hallo Lenzelott,

@Herbert
das werde ich auch mal ausprobieren...
Mal schauen, welche Ergebnisse Rainers Indis bei mir bringen...

Ich hatte auch schon einmal festgestellt, dass NNs die nich mehr gut funktionieren nach einiger Zeit sich wieder "bekrabbelt" haben...
Mann könnte ja mal versuchen einen MWT-Indi zum an/ausschalten für NNs zu verwenden ....

Kann man Raines MWT-Indi auch allein mit eigenen NN betreiben oder muss man immer auch den Kapitalkurven-Indi verwenden.

Ich hatte mal versucht nur Rainers MWT-Indi mit einem meiner NNs zu verwenden und bekam leider kein Ergebnis ;(

@Udo
hmmm, das sieht interessant aus...
Wenn das was Du gezeigt hast eine FFT ist, dann stellen die Balken die spektrale Zerlegung dar.
Allerdings ist mir noch nicht der Zusammenhang zwischen Spektrum und Stabilität klar...
Kennst Du den denn?

@Lenzelott
Ole ole...
Ich drücke uns die Daumen und wünsche Dir eine gute Besserung....
Nicht vor lauter Siegesjubel gleich in der Gegend rumhüpfen :D
Grüße,

Christian

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

15

Sonntag, 29. Juni 2008, 23:44

Nun liebe Fußballfreunde...das war's... aber ganz überraschend kam es,zumindest für mich eigentlich nicht! Man kann auch nicht sagen das die Deutschen stark gespielt hätten und mit Pech verloren haben. Sie hätten auch 5:0 verlieren können... Wie auch immer,jetzt ist es gelaufen...dumm gelaufen :wacko:



@Herbert

Ich habe bei meinen Tests festgestellt,das Statistiken über längeren oder kürzeren Zeitraum passen und funktionieren. Es kommt darauf an, mit welchen und wie vielen Datenpunkten die Berechnungen gefüttert werden! Auch FFT oder SPS konnte über weite Strecken überzeugen aber dann gab es wieder Phasen, da hätte man eine Fehlprognose nach der anderen und letztendlich war das ganze nicht besser als simple lineare Konstrukte-z.B. der Raff-Channel! Meiner Ansicht kann man das nachtrainieren am besten und effektivsten mit einem Feed Forward Test und einem dafür geeigneten Algorithmus timen! In Deinen zweiten gezeigten Charts,vor allen beim zweiten, stellt sich mir wiederum die Frage, wann hätte man mit dem nachtrainieren angefangen? Zum Zeitpunkt als sich der Spread zwischen Indikator und Zeitreihe erweitert hat war es eigentlich zu früh,da die KK danach noch eine gewisse zeit weiter nach oben gelaufen ist! Ich persönlich würde hier lieber versuchen die Zeitreihe selbst zu verbessern als zu ermitteln,wann die KK einbrechen kann denn außer das man vielleicht weiß das sie einbrechen wird, hat man keinerlei weitere mathematische Anhaltspunkte! Beim Feed Forward Test bekommt man als Timing-Informationen, den kompletten Ablauf wie,wo,wann man nachtrainieren sollte!

@Christian

Die Grafik stammt nicht von meinen Tests sondern wurde mit dem Testprogramm von Volker Butzlaff durchgeführt. Welche nicht linearen Berechnungen er eingesetzt hat, weiß ich leider nicht und wie man sie genau einsetzt und interpretiert bekommt man wahrscheinlich erst beim Kauf des Paketes mitgeteilt! Ich könnte mir vorstellen ,das man die Outputs des Tools als Inputs für NN nutzen kann!

Was ich mir mit den binären Kennzahlenketten vorstellte ist quasi eine Benchmark zur KK indem man letztendlich den Spread bewertet. Auch das Abfallen der Trade Effizienz könnte Hinweise auf ein abschwächen des System geben! Andere Entwickler trainieren das HS/NN neu wenn der größte historische Drawdown des systems unterschritten wird-die vielleicht einfachste Methode, aber durchaus logisch! Die Frage ist auch, wie man das ganze nachtrainiert? Halbiert man die Trainingszeit,verändert man die Gewichte im NN usw. Man hat bei Algorithmen die Generationen bilden und das Training immer wieder von vorne starten, absolut keine Kontrolle oder einen Plan! Nachtraining heißt für mich, dass nur die Teile erneuert werden die beim Training ein besseres Ergebnis liefern als das bislang erzielte! Ist das nicht der Fall, sollte das System in dem Trainingszustand bleiben,in dem es vor dem erneuten Training war! Das ist kein Wunschdenken,solche Algorithmen und Verfahrensweisen gibt es tatsächlich...
Happy Trading

Chemie262

unregistriert

16

Sonntag, 29. Juni 2008, 23:46

Tja Kollegen,
das war ja wohl nichts mit dem Jubeln. Aber ehrlicherweise heute die bessere Mannschaft gewonnen. Aber nach dem Spiel ist vor dem Spiel.
Tschüß,
Herbert

Chemie262

unregistriert

17

Montag, 30. Juni 2008, 22:51

Hallo Udo,
es ist schon richtig, daß das 2. HS in der KK noch aufwärts ging. Aber wenn ich alle anderen Regeln und die Stops herausnehme und nur die reinen NNs als HS verwende, sieht die Kurve so aus. Da schmiert ziemlich zeitgleich mit dem MWT die KK ab. Also hat mein HS nur durch die anderen Parameter noch für einige Zeit funktioniert. Damit steht aber ein HS, daß als zentrale Signalgeber NNs verwendet auf tönernen Füßen und sollte daher unbedingt nachtrainiert werden.

Da stellt sich natürlich die Frage, wie man das machen sollte. Ich verfolge da die Logik, daß sich die Marktbedingungen seit dem letzten Training geändert haben und verlege daher den Trainigszeitraum weiter nach vorn, so daß die jüngsten Daten verwendet werden. Wenn ich jetzt Pech habe, ändert sich aber in der nächsten Woche der Markt wieder in Richtung der alten Bedingungen. Dann schmiert mein HS sofort ab. Und es liegt in der Natur der Trainings, daß ich zehnmal den gleichen Zeitraum als Training mit den gleichen Parametern trainieren kann und bekomme zehn verschieden NNs, von denen vielleicht nur eins auch in der Zukunft ein tolles Ergebnis bringt. Vielleicht könnten hier die Feedforward tests helfen, so etwas zu identifizieren. Augenblicklich haben wir das nicht und gehen damit jedesmal ein Risiko ein, wenn wir neu trainieren und in der nächsten Woche damit live gehen.
So träumen wir weitern von dem FFT, der uns zum heiligen Gral führt...
Tschüß,
Herbert

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

18

Montag, 30. Juni 2008, 23:32

Hallo Herbert,

es kommt sehr darauf an wie viele Datenpunkte ein statistischer Test verarbeitet und auswertet. Ich habe Tests hinsichtlich des K-Ratios durchgeführt,eine Kennzahl die mit der lineare Regression gemessen wird! Umso breiter die Streuung wird desto größer werden die Schwingungen der Frequenzen und daran erkennt man das etwas aus dem Ruder läuft! Aber wie eben schon beschrieben: Wenn ich x-Datenpunkte verwende und den gleichen Test harmonisiere bekomme ich zwei unterschiedliche Aussagen was die zukünftige Richtung anbelangt. Schon allein das entfernen von n-Datenpunkten in der nicht harmonisierten Zeitreihe genügt,um völlig unterschiedliche Aussagen zu bekommen! Die Investox-Kapitalkurve zeigt nicht die Bewegung von Trade zu Trade indem diese mit einer Linie verbunden werden,so wie das bei Depotkapitalkurven der Fall ist (siehe ORM), und gerade bei dieser Methode entstehen jeder Menge Datenpunkte die das ganze,meiner Ansicht, verrauschen können. Ich bin skeptisch ob man mit Statistik wirklich einen Vorsprung in dem Bezug herausarbeiten kann und vor allen das die Aussage über langen Zeitraum stabil ist-oder eher zufällig die Richtung "voraussieht"! Wenn es so ein Teil denn wirklich gibt, dann fitten wir jedes HS und NN,handeln es einfach bis uns der Test (weit vorher) sagt das es einbricht! Die "kritische Phase" ist nach dem Neutraining! Man weiß ja nicht,ob sich der statistische Test vom Curve Fitting hat blenden lassen und die Richtung falsch interpretiert. Der Test beruht schließlich auch auf historischen Daten und ist davon abhängig! Also müsste man nicht nur das NN Paper testen- sondern auch gleich den WM-Test mit! Läuft er eine Woche linear in die gewünschte Richtung,kann man davon ausgehen das die Einlaufphase positiv ist..oder auch nicht..;)

FW-Test: Da kann ich Dir leider nur zustimmen: Was wir nicht haben,mit dem können wir leider nicht testen! Allerdings darf man dann auch nicht von "Nachtrainieren" ausgehen sondern man trainiert-wie Du schon geschrieben hast-alles immer wieder neu! Der FW-Test ist die einzige mir bekannte Methode,um beim nachtrainieren eine aussagekräftige,stabile KK incl. dem dazugehörigen Trainigsalogorithmus zu bekommen. Natürlich benötigt man auch einen dementsprechenden Algorithmus den man weder mit NN noch mit GA hat (selektive Generationenauswahl muss manuell durchgeführt werden)!
Happy Trading

Ähnliche Themen