Lieber Besucher, herzlich willkommen bei: INVESTOX-Forum. Falls dies Ihr erster Besuch auf dieser Seite ist, lesen Sie sich bitte die Hilfe durch. Dort wird Ihnen die Bedienung dieser Seite näher erläutert. Darüber hinaus sollten Sie sich registrieren, um alle Funktionen dieser Seite nutzen zu können. Benutzen Sie das Registrierungsformular, um sich zu registrieren oder informieren Sie sich ausführlich über den Registrierungsvorgang. Falls Sie sich bereits zu einem früheren Zeitpunkt registriert haben, können Sie sich hier anmelden.
- 1
- 2
Sonntag, 17. August 2003, 22:30
Hallo zusammen,
erstmal finde ich es sehr schön, das aufgrund meines Artikels eine solche Diskussion zu diesem Thema am entstehen ist, ich beteilige mich sehr gern daran.
Doch nun zum vorherigen Posting:
Natürlich kann der FF alleine keine Überoptimierung verhindern . Dafür ist er auch gar nicht gedacht. Ob ich ein Ergebnis eines Backtests habe welches überoptimiert ist oder nicht, hängt doch in erster Linie von der Methodik des vorgenommenen Backtests ab und nicht von der Güte des Reportings zu diesem Backtest, also auch nicht von der Höhe des FF.
Ob ein System nachdem ich es notgedrungener Massen mit Werten aus der Vergangenheit getestet habe auch in der Zukunft stabil ist, das ist letztlich von keiner Kennzahl und keinem Computer der Welt möglich. Auch hier wird nur, wenn überhaupt, mit Wahrscheinlichkeiten operiert.(siehe auch Artikel von J.Wolffram)
Also nochmal: Sinn und Zweck des FF ist in erster Linie mit Hilfe einer Kennzahl eine Vergleichbarkeit von Tradehistorien anhand der Equity von verschiedenen Systemen oder Backtests herzustellen. Quasi als Abfallprodukt kann der FF natürlich auch, wie schon im Artikel angedeutet, als Optimierungsziel oder zum Risk-Management eingesetzt werden.
Und dies vor allem mit einer für möglichst alle Trader dieser Welt einfachen Formel, die keine Sharp-Ratio mit einem e hoch irgendwas braucht
@Torsten
ein interessanter Ansatz die Tradeanzahl erst ab einem bestimmten Level mit in die Formel zu integrieren, nur wer sagt mir wie hoch diese Anzahl ist. Ich tendiere eher zu einem zeitmässigen Vergleich in der Art:
FF* Tradegelgenheiten pro Jahr/Tag/Stunde etc.
Gruß
Der Entwickler des Fröhlich-Faktor
Stefan Fröhlich
erstmal finde ich es sehr schön, das aufgrund meines Artikels eine solche Diskussion zu diesem Thema am entstehen ist, ich beteilige mich sehr gern daran.
Doch nun zum vorherigen Posting:
Zitat
Original von NRCM
Hier muss ich Deine Euphorie leider etwas bremsen, Torsten, und zwar durch einfache theoretische Überlegungen: Du weisst ja aus Deiner Praxis, dass es für geübte Investox- User relativ einfach ist, ein HS quer durch den TZR und den KZR zu optimieren und damit eine Super- KK zu bekommen, die einer aufsteigenden Geraden ähnelt; typisches curve- fitting also. Im realen Einsatz stürzt dieses HS natürlich sofort ab. Aber der FF war vorher erstklassig. Was brachte Dir also der FF? Er brachte Dir lediglich die Bestätigung, dass Du ganz toll optimiert hast. Die Aussage für die Zukunft ist gleich Null.
Natürlich kann der FF alleine keine Überoptimierung verhindern . Dafür ist er auch gar nicht gedacht. Ob ich ein Ergebnis eines Backtests habe welches überoptimiert ist oder nicht, hängt doch in erster Linie von der Methodik des vorgenommenen Backtests ab und nicht von der Güte des Reportings zu diesem Backtest, also auch nicht von der Höhe des FF.
Ob ein System nachdem ich es notgedrungener Massen mit Werten aus der Vergangenheit getestet habe auch in der Zukunft stabil ist, das ist letztlich von keiner Kennzahl und keinem Computer der Welt möglich. Auch hier wird nur, wenn überhaupt, mit Wahrscheinlichkeiten operiert.(siehe auch Artikel von J.Wolffram)
Also nochmal: Sinn und Zweck des FF ist in erster Linie mit Hilfe einer Kennzahl eine Vergleichbarkeit von Tradehistorien anhand der Equity von verschiedenen Systemen oder Backtests herzustellen. Quasi als Abfallprodukt kann der FF natürlich auch, wie schon im Artikel angedeutet, als Optimierungsziel oder zum Risk-Management eingesetzt werden.
Und dies vor allem mit einer für möglichst alle Trader dieser Welt einfachen Formel, die keine Sharp-Ratio mit einem e hoch irgendwas braucht
@Torsten
ein interessanter Ansatz die Tradeanzahl erst ab einem bestimmten Level mit in die Formel zu integrieren, nur wer sagt mir wie hoch diese Anzahl ist. Ich tendiere eher zu einem zeitmässigen Vergleich in der Art:
FF* Tradegelgenheiten pro Jahr/Tag/Stunde etc.
Gruß
Der Entwickler des Fröhlich-Faktor
Stefan Fröhlich
Montag, 18. August 2003, 07:08
Hallo zusammen,
Herr Fröhlich hat ja inzwischen die Aussagekraft seines FF relativiert.
Dennoch ist m.E. die Formulierung im Traders- Artikel "Der Fröhlich- Faktor ... erlaubt damit eine schnelle und unkomplizierte Aussage über die Güte und Qualität des untersuchten Handelssystems" irreführend. Denn mit den Begriffen "Güte" und "Qualität" verbindet man bei einem Produkt zwangsläufig auch dessen gesicherte Eigenschaften in der Zukunft, auf die man sich verlassen kann. Wenn z.B. ein Automobilhersteller bei seiner Werbung mit "Qualität" argumentiert, geht der kaufinteressierte Kunde natürlich davon aus, dass das Auto auch in naher Zukunft, also in der Praxis, diese versprochene Qualität aufweist und nicht gleich nach dem Kauf mit einem Achsbruch auf dem Acker landet.
Dies führt - wie früher schon erwähnt - natürlich zur Überoptimierung. Ist dies so beabsichtigt?
Inzwischen habe ich den FF in Excel programmiert und kann ihn - gefüttert mit Werten aus der Liste aller Trades - als Zeitreihe im Excel- Diagramm darstellen. Dabei fiel mir auf, dass der FF eventuell doch als Investox AddOn in Visual Basic mit den vorhandenen Möglichkeiten des Entwicklerkits zu programmieren und damit als Indikator im Investox- Chart darzustellen wäre. Diese Programmierung würde aber einigen Zeitaufwand bedeuten. Jedoch wären dann sinnvolle Modifikationen möglich, die dem Indikator eine wirklich praxisnahe Aussagekraft verleihen würden, ähnlich der von uns verwendeten Fourier- Transformation der KK.
Noch eine Bemerkung zur F-Formel (Kasten in Traders' 08/03, S. 56 unten): Die Trefferquote ist definiert als Summe der Gewinntrades geteilt durch die Anzahl aller Trades. Dies ergibt einen Wert kleiner als eins. Die im Artikel empfohlene, nachträgliche Teilung durch 100 ist also mathematisch nicht korrekt.
@ Anke: Ihrer Einschätzung stimme ich zu.
Viele Grüße
Ulrich Paasche
Herr Fröhlich hat ja inzwischen die Aussagekraft seines FF relativiert.
Dennoch ist m.E. die Formulierung im Traders- Artikel "Der Fröhlich- Faktor ... erlaubt damit eine schnelle und unkomplizierte Aussage über die Güte und Qualität des untersuchten Handelssystems" irreführend. Denn mit den Begriffen "Güte" und "Qualität" verbindet man bei einem Produkt zwangsläufig auch dessen gesicherte Eigenschaften in der Zukunft, auf die man sich verlassen kann. Wenn z.B. ein Automobilhersteller bei seiner Werbung mit "Qualität" argumentiert, geht der kaufinteressierte Kunde natürlich davon aus, dass das Auto auch in naher Zukunft, also in der Praxis, diese versprochene Qualität aufweist und nicht gleich nach dem Kauf mit einem Achsbruch auf dem Acker landet.
Zitat von Stefan Fröhlich
Quasi als Abfallprodukt kann der FF natürlich auch, wie schon im Artikel angedeutet, als Optimierungsziel oder zum Risk-Management eingesetzt werden.
Dies führt - wie früher schon erwähnt - natürlich zur Überoptimierung. Ist dies so beabsichtigt?
Inzwischen habe ich den FF in Excel programmiert und kann ihn - gefüttert mit Werten aus der Liste aller Trades - als Zeitreihe im Excel- Diagramm darstellen. Dabei fiel mir auf, dass der FF eventuell doch als Investox AddOn in Visual Basic mit den vorhandenen Möglichkeiten des Entwicklerkits zu programmieren und damit als Indikator im Investox- Chart darzustellen wäre. Diese Programmierung würde aber einigen Zeitaufwand bedeuten. Jedoch wären dann sinnvolle Modifikationen möglich, die dem Indikator eine wirklich praxisnahe Aussagekraft verleihen würden, ähnlich der von uns verwendeten Fourier- Transformation der KK.
Noch eine Bemerkung zur F-Formel (Kasten in Traders' 08/03, S. 56 unten): Die Trefferquote ist definiert als Summe der Gewinntrades geteilt durch die Anzahl aller Trades. Dies ergibt einen Wert kleiner als eins. Die im Artikel empfohlene, nachträgliche Teilung durch 100 ist also mathematisch nicht korrekt.
@ Anke: Ihrer Einschätzung stimme ich zu.
Viele Grüße
Ulrich Paasche
Montag, 18. August 2003, 08:23
Guten morgen zusammen!
Mich würde eine Meinung der Experten zu S. Fröhlich's Aussage:
interessieren! Stimmen alle dieser Aussage zu oder kann jemand das Gegenteil beweisen?
Mich würde eine Meinung der Experten zu S. Fröhlich's Aussage:
Ob ein System nachdem ich es notgedrungener Massen mit Werten aus der Vergangenheit getestet habe auch in der Zukunft stabil ist, das ist letztlich von keiner Kennzahl und keinem Computer der Welt möglich. Auch hier wird nur, wenn überhaupt, mit Wahrscheinlichkeiten operiert.(siehe auch Artikel von J.Wolffram)
interessieren! Stimmen alle dieser Aussage zu oder kann jemand das Gegenteil beweisen?
Happy Trading
Montag, 18. August 2003, 12:24
Ff
Hallo,
ich nutze Investox jetzt schon mehrere Jahre und bin jetzt an einen Punkt angekomme, wo ich nicht weiter komme.
Ja, ich kann auf den ersten Blick Handelssystem entwickeln, die eine steigende Kapitalkurve (KK) aufweisen, aber
entweder sofort oder nach ein paar Trades im freien Zeitraum abstürzen. Was mir aber Hoffnung macht, ist der
Umstand, daß z.B. von 100 dieser Handelssystemen, 1 bis 2% auch nach längere Zeit eine steigende KK aufweisen und
bei etwa 10% zumindestens die KK seitwärts tendiert.
Eigentlich müßte man "nur noch" das Problem lösen, wie man die 1 bis 2% der erfolgreichen Handelssystem im
Vorfeld ausfindig machen kann.
Soviel zur Vorgeschichte bzw. zu meiner Motivation.
Um das Problem zu lösen, sehe ich 2 Wege:
1)
Ich habe noch nicht die optimalen Inputs für die NN's gefunden und/oder die NN-Struktur ist magelhaft, usw.
Man muß also noch mehr Varianten ausprobieren, um die Ausbeute zu erhöhen bzw. auch die Stabilität in den
Griff zu bekommen.
Zwar ist das Trainieren von NN in Investox sehr gut automatisiert, aber die Selektion und Auswahl der "guten" NN's
trotz Robustheitstest sehr zeitaufwendig und ist leider reine "Handarbeit". Gerne würde ich diesen Selektionsprozeß
vollständig automatisieren, habe dazu schon mal einen Beitrag geschieben (Forums-Beitrag: 'Wunsch 3: automatische NN-Selektion' ... leider ist der Beitrag irgendwie unter gegangen.)
Als Selektionskriterium würde ich hierfür gerne den FF (ein Kriterium, welches 8 Parameter erschlägt) nutzen.
Die Automatisierung könnte ich selber programmieren, wenn man alle Funktionen auch über
Tastenkommandos aufrufen könnten. Leider fehlen mir dazu die Kommandos für den Robustheitstest.
Z.B. wie kann man ganz gezielt eine NN-Generation selektieren, ohne Maustaste? Standardmäßig ist es ALT+rechteMaustaste,
ich benötige aber eine Kommadossequenz mit einer konkretten Zahlenangabe (z.B. Ctrl+S+121 ... für die 121te Generation).
Vielleicht gibt es diese Kommandos bereits und ich habe sie nur noch nicht gefunden?
2)
Den andere Weg sehe ich darin die Kapitalkurve auszuwerten.
Ich gehe da sehr pragmatisch ran. Leider habe ich keine "Fast Fourier Tranformation"-Analyse parat und mir fehlt
auch das Verständnis, wie eine Zeit-Frequenz-Transforamtion hier eine Aussage ermöglichen kann
(ich kann es also auch nicht selber programmieren, weil mir das Grundverständnis fehlt).
Ich befürchte auch, daß das Tool wohl in absehbarer Zeit nicht als Zusatzkomponente für Investox angeboten wird.
Schlußendlich kann ich also nur das nehmen, was da ist.
Mir ist klar, daß der FF noch nicht perfekt ist, aber es ist aus meiner Sicht ein guter Ansatz und für mich
nachvollziehbar. Aus meiner Sicht könnte man die Aussagekraft des FF dadurch verstärken, wenn man neben
Trainigszeitraum und Kontrollzeitraum noch einen ausreichend großen Testzeitraum hinzufügt.
Eine andere Idee wäre, den FF als Überwachungsparameter zu verwenden, d.h. wenn der FF im realen
Tradingbetrieb einen bestimmten Wert unterschreitet (<10), dann werden die ENTER-Regeln blockiert,
deshalb auch mein Wunsch den FF als Investox-Indikator zur Verfügung zu haben.
sonstiges:
>>>>schön wäre es auch, wenn man den FF als Indikator zur Verfügung hätte,
>>>>um den FF in der "Enter Long", usw.
>>>>bei den Handelssystemregeln nutzen zu können.
>>Dies ergäbe m.M. nach einen unzulässigen Zirkelschluss.
Stimmt, man könnte das Problem aber ähnlich lösen, wie bei den Berechnungen auf der Kapitalkurve, indem man
noch ein zweites Handelssystem benötigt und von dort auf die Werte des erste Handelssystem zugreift
>>>>ein interessanter Ansatz die Tradeanzahl erst ab einem bestimmten
>>>>Level mit in die Formel zu integrieren, nur wer sagt mir wie hoch
>>>>diese Anzahl ist. Ich tendiere eher zu einem zeitmässigen Vergleich in der Art:
>>FF* Tradegelgenheiten pro Jahr/Tag/Stunde etc.
Sorry, so wollte ich die Anzahl nicht mit in den FF einbeziehen, damit die Vergleichbarkeit von den
unterschiedlichen Systemen (Intraday, EoD, wöchentliche, hohe bzw. niedrige Tradefrequenz) nicht beeinträchtigt wird.
Bei meiner Variante bin ich auch wieder ganz pragmatisch herangegangen, der Wert=100 ist willkürlich gewählt.
Man könnte statt einen fixen Zahlenwert auch eine Variable in den FF einsetzen oder auch so
z.B. "Wert = MA
10% von der Anzahl der Handelssystemperioden OR 100)".
Die Entscheidung würde ich Hr. Knöpfel überlassen, je nachdem was leichter umsetzbar ist.
Bis dann.
Gruss
Torsten
ich nutze Investox jetzt schon mehrere Jahre und bin jetzt an einen Punkt angekomme, wo ich nicht weiter komme.
Ja, ich kann auf den ersten Blick Handelssystem entwickeln, die eine steigende Kapitalkurve (KK) aufweisen, aber
entweder sofort oder nach ein paar Trades im freien Zeitraum abstürzen. Was mir aber Hoffnung macht, ist der
Umstand, daß z.B. von 100 dieser Handelssystemen, 1 bis 2% auch nach längere Zeit eine steigende KK aufweisen und
bei etwa 10% zumindestens die KK seitwärts tendiert.
Eigentlich müßte man "nur noch" das Problem lösen, wie man die 1 bis 2% der erfolgreichen Handelssystem im
Vorfeld ausfindig machen kann.
Soviel zur Vorgeschichte bzw. zu meiner Motivation.
Um das Problem zu lösen, sehe ich 2 Wege:
1)
Ich habe noch nicht die optimalen Inputs für die NN's gefunden und/oder die NN-Struktur ist magelhaft, usw.
Man muß also noch mehr Varianten ausprobieren, um die Ausbeute zu erhöhen bzw. auch die Stabilität in den
Griff zu bekommen.
Zwar ist das Trainieren von NN in Investox sehr gut automatisiert, aber die Selektion und Auswahl der "guten" NN's
trotz Robustheitstest sehr zeitaufwendig und ist leider reine "Handarbeit". Gerne würde ich diesen Selektionsprozeß
vollständig automatisieren, habe dazu schon mal einen Beitrag geschieben (Forums-Beitrag: 'Wunsch 3: automatische NN-Selektion' ... leider ist der Beitrag irgendwie unter gegangen.)
Als Selektionskriterium würde ich hierfür gerne den FF (ein Kriterium, welches 8 Parameter erschlägt) nutzen.
Die Automatisierung könnte ich selber programmieren, wenn man alle Funktionen auch über
Tastenkommandos aufrufen könnten. Leider fehlen mir dazu die Kommandos für den Robustheitstest.
Z.B. wie kann man ganz gezielt eine NN-Generation selektieren, ohne Maustaste? Standardmäßig ist es ALT+rechteMaustaste,
ich benötige aber eine Kommadossequenz mit einer konkretten Zahlenangabe (z.B. Ctrl+S+121 ... für die 121te Generation).
Vielleicht gibt es diese Kommandos bereits und ich habe sie nur noch nicht gefunden?
2)
Den andere Weg sehe ich darin die Kapitalkurve auszuwerten.
Ich gehe da sehr pragmatisch ran. Leider habe ich keine "Fast Fourier Tranformation"-Analyse parat und mir fehlt
auch das Verständnis, wie eine Zeit-Frequenz-Transforamtion hier eine Aussage ermöglichen kann
(ich kann es also auch nicht selber programmieren, weil mir das Grundverständnis fehlt).
Ich befürchte auch, daß das Tool wohl in absehbarer Zeit nicht als Zusatzkomponente für Investox angeboten wird.
Schlußendlich kann ich also nur das nehmen, was da ist.
Mir ist klar, daß der FF noch nicht perfekt ist, aber es ist aus meiner Sicht ein guter Ansatz und für mich
nachvollziehbar. Aus meiner Sicht könnte man die Aussagekraft des FF dadurch verstärken, wenn man neben
Trainigszeitraum und Kontrollzeitraum noch einen ausreichend großen Testzeitraum hinzufügt.
Eine andere Idee wäre, den FF als Überwachungsparameter zu verwenden, d.h. wenn der FF im realen
Tradingbetrieb einen bestimmten Wert unterschreitet (<10), dann werden die ENTER-Regeln blockiert,
deshalb auch mein Wunsch den FF als Investox-Indikator zur Verfügung zu haben.
sonstiges:
>>>>schön wäre es auch, wenn man den FF als Indikator zur Verfügung hätte,
>>>>um den FF in der "Enter Long", usw.
>>>>bei den Handelssystemregeln nutzen zu können.
>>Dies ergäbe m.M. nach einen unzulässigen Zirkelschluss.
Stimmt, man könnte das Problem aber ähnlich lösen, wie bei den Berechnungen auf der Kapitalkurve, indem man
noch ein zweites Handelssystem benötigt und von dort auf die Werte des erste Handelssystem zugreift
>>>>ein interessanter Ansatz die Tradeanzahl erst ab einem bestimmten
>>>>Level mit in die Formel zu integrieren, nur wer sagt mir wie hoch
>>>>diese Anzahl ist. Ich tendiere eher zu einem zeitmässigen Vergleich in der Art:
>>FF* Tradegelgenheiten pro Jahr/Tag/Stunde etc.
Sorry, so wollte ich die Anzahl nicht mit in den FF einbeziehen, damit die Vergleichbarkeit von den
unterschiedlichen Systemen (Intraday, EoD, wöchentliche, hohe bzw. niedrige Tradefrequenz) nicht beeinträchtigt wird.
Bei meiner Variante bin ich auch wieder ganz pragmatisch herangegangen, der Wert=100 ist willkürlich gewählt.
Man könnte statt einen fixen Zahlenwert auch eine Variable in den FF einsetzen oder auch so
z.B. "Wert = MA
10% von der Anzahl der Handelssystemperioden OR 100)". Die Entscheidung würde ich Hr. Knöpfel überlassen, je nachdem was leichter umsetzbar ist.
Bis dann.
Gruss
Torsten
Dieser Beitrag wurde bereits 7 mal editiert, zuletzt von »sten« (18. August 2003, 12:43)
Montag, 18. August 2003, 13:22
@U.Paasche
Ja testen..hmmm eine feine Sache aber was steht denn unter dem Strich? Vom testen kann man als professioneller Händler ja leider nicht Leben und vor allen: Wann sind die Tests abgeschlossen bis man sagen kann es läuft alles-mathematisch nach Ihren Stabilitätskriterien so, das man nicht das Schlimmste befürchten muss.
Ich stelle mich einfach mal gegen diese Aussage und behaupte das die Länge der Funktionalität der ZUKÜNFTIGE Performance eines NN oder HS mit keiner mathematischen Grösse erfassbar ist sondern ein Desaster sich ev. abwenden lässt indem man durch spezielle Verfahren feststellt das die KK langsam an Gewinnzuwachs verliert und dies misst. Aber ist denn hiermit bestätigt das die KK nächste Woche auch noch an dieser Performanceschwäche leidet? Genauso gut könnte sich die KK wieder fangen wenn Fraktaleinheiten der Intermarkerts wieder ind Lot kommen und das NN wieder richtig liegt.
Hier wurde ja schon oft bestätigt das alte NN die an Performance verloren haben nach einiger Zeit wieder Performancezuwachs hatten. Dies ist doch mehr oder weniger der Beweis das ein HS genauso zklischen Marktkräften unterliegt wie der Markt selbst..
Vielleicht noch eine Frage:
Wenn die Performance durch mathematische Verfahren vorhersehbar ist warum verwenden die NNs auf Ihrer Website so viele Stopps? Wenn zukünftige Performance eine messbare Grösse darstellt dann bräuchte man doch letztendlich keinen oder nur die Hälfte an Stopps weil ja bekannt ist wie das NN in der nächsten Zeit performt..
Ich glaube nach wie vor das zukünftige Performance nicht messbar ist...ausser das Gegenteil liegt mit überzeugenden Fakten auf dem Tisch..
Ich habe kürzlich einige HS getestet, die von Redakteuren der Zeitschrift "Futures Truth" laufend auf ihre Performance hin überprüft werden.
Ja testen..hmmm eine feine Sache aber was steht denn unter dem Strich? Vom testen kann man als professioneller Händler ja leider nicht Leben und vor allen: Wann sind die Tests abgeschlossen bis man sagen kann es läuft alles-mathematisch nach Ihren Stabilitätskriterien so, das man nicht das Schlimmste befürchten muss.
Anhand des jüngsten Verlaufs der KK (im realen Tradezeitraum) kann man mit diversen mathematischen Methoden sehr wohl das Stabilitätsverhalten eines HS im Vergleich zum Trainings- bzw. Kontrollzeitraum erkennen und messbar erfassen.
Ich stelle mich einfach mal gegen diese Aussage und behaupte das die Länge der Funktionalität der ZUKÜNFTIGE Performance eines NN oder HS mit keiner mathematischen Grösse erfassbar ist sondern ein Desaster sich ev. abwenden lässt indem man durch spezielle Verfahren feststellt das die KK langsam an Gewinnzuwachs verliert und dies misst. Aber ist denn hiermit bestätigt das die KK nächste Woche auch noch an dieser Performanceschwäche leidet? Genauso gut könnte sich die KK wieder fangen wenn Fraktaleinheiten der Intermarkerts wieder ind Lot kommen und das NN wieder richtig liegt.
Hier wurde ja schon oft bestätigt das alte NN die an Performance verloren haben nach einiger Zeit wieder Performancezuwachs hatten. Dies ist doch mehr oder weniger der Beweis das ein HS genauso zklischen Marktkräften unterliegt wie der Markt selbst..
Vielleicht noch eine Frage:
Wenn die Performance durch mathematische Verfahren vorhersehbar ist warum verwenden die NNs auf Ihrer Website so viele Stopps? Wenn zukünftige Performance eine messbare Grösse darstellt dann bräuchte man doch letztendlich keinen oder nur die Hälfte an Stopps weil ja bekannt ist wie das NN in der nächsten Zeit performt..
Ich glaube nach wie vor das zukünftige Performance nicht messbar ist...ausser das Gegenteil liegt mit überzeugenden Fakten auf dem Tisch..
Happy Trading
Montag, 18. August 2003, 14:25
Dafür, dass Handelssysteme mit guten Backtesting-Ergebnissen in der Praxis abstürzen gibt es 2 Ursachen:
1. Curve-Fitting bei den Systemtests.
2. Die Märkte haben sich geändert.
Herr Fröhlich hat Recht, wenn er darauf hinweist, dass Curve Fitting schon während der Systementwicklung vermieden werden sollte.
An ein rationales Bewertungskriterium für Handelssysteme sollte man aber den Anspruch stellen können, dass nicht allein der Systementwickler (der weiß, wo er vielleicht überoptimiert hat) objektive Aussagen über die Systemqualität treffen kann.
Dritten ist ohne genaue Kenntnis aller Systemtest aber nur über statistische Kennzahlen möglich, den Anteil des Curve-Fittings bei einem zu bewertenden System zu bestimmen.
Gerade weil Curve Fitting eine Hauptfehlerquelle beim Praxistransfer von Systemen ist würde ich es für wichtig halten, das ein Bewertungssystem auch auf den möglichen Anteil der Überoptimierung abstellt.
Die Änderung der Märkte als zweite große Fehlerquelle für den Absturz von Systemen in der Praxis kann auf unterschiedliche Art und Weise angegangen werden.
Märkte verändern sich meist nicht abrupt, sondern über einen längeren Zeitraum. Deshalb kommt es bei unangepassten Systemen oft schon bevor ein System abstürzt zu Veränderungen im Verlauf der KK, die über KK-Analysen frühzeitig mess- und quantifizierbar sind (z.B. mittels Fast Fourier Transform von NRCM ).
Eine andere Möglichkeit diese Fehlerquelle zu erkennen und zu eliminieren sind z.B. Random Walk Systemtests. In Abhängigkeit von der Länge des Optimierungs- und Kontrollzeitraumes beim Backtests oder in Übereinstimmung mit Marktzyklen wird dabei die Dauer der Random-Walk Periode definiert. Ist sie abgelaufen, wird sie Bestandteil des Optimierungszeitraumes und das Handelssystem wird neu adjustiert.
Mit dieser Methode können sich wahrscheinlich diejenigen eher anfreunden, die nicht allzu tief in mathematische Zusammenhänge einsteigen können oder wollen.
Die größte Schwierigkeit besteht dann darin, den optimalen Random Walk Zeitraum zu bestimmen – was natürlich auch wieder nicht so leicht ist.
Unabhängig davon für welche Analyseart man sich hier entscheidet (es gibt viel mehr Varianten als die o.g.)- wichtig ist dass mögliche Marktveränderungen seit der Systementwicklung in die Systembewertung einbezogen werden.
Wenn diese Basics beachtet werden, steigt die Wahrscheinlichkeit dafür, dass die Systeme in der Praxis nicht abstürzen auf knapp über 90 % ( der Rest sind die Crash-Szenarien).
Den Nutzen von Bewertungskennzahlen , die beide Hauptursachen für System-Underperformance in der Praxis nicht berücksichtigen, muss jeder für sich selbst feststellen.
So, das war noch mein abschließendes Statement zum Thema – ich mach mich jetzt erst mal auf in den Urlaub. :]
Viele Grüße von Anke
1. Curve-Fitting bei den Systemtests.
2. Die Märkte haben sich geändert.
Herr Fröhlich hat Recht, wenn er darauf hinweist, dass Curve Fitting schon während der Systementwicklung vermieden werden sollte.
An ein rationales Bewertungskriterium für Handelssysteme sollte man aber den Anspruch stellen können, dass nicht allein der Systementwickler (der weiß, wo er vielleicht überoptimiert hat) objektive Aussagen über die Systemqualität treffen kann.
Dritten ist ohne genaue Kenntnis aller Systemtest aber nur über statistische Kennzahlen möglich, den Anteil des Curve-Fittings bei einem zu bewertenden System zu bestimmen.
Gerade weil Curve Fitting eine Hauptfehlerquelle beim Praxistransfer von Systemen ist würde ich es für wichtig halten, das ein Bewertungssystem auch auf den möglichen Anteil der Überoptimierung abstellt.
Die Änderung der Märkte als zweite große Fehlerquelle für den Absturz von Systemen in der Praxis kann auf unterschiedliche Art und Weise angegangen werden.
Märkte verändern sich meist nicht abrupt, sondern über einen längeren Zeitraum. Deshalb kommt es bei unangepassten Systemen oft schon bevor ein System abstürzt zu Veränderungen im Verlauf der KK, die über KK-Analysen frühzeitig mess- und quantifizierbar sind (z.B. mittels Fast Fourier Transform von NRCM ).
Eine andere Möglichkeit diese Fehlerquelle zu erkennen und zu eliminieren sind z.B. Random Walk Systemtests. In Abhängigkeit von der Länge des Optimierungs- und Kontrollzeitraumes beim Backtests oder in Übereinstimmung mit Marktzyklen wird dabei die Dauer der Random-Walk Periode definiert. Ist sie abgelaufen, wird sie Bestandteil des Optimierungszeitraumes und das Handelssystem wird neu adjustiert.
Mit dieser Methode können sich wahrscheinlich diejenigen eher anfreunden, die nicht allzu tief in mathematische Zusammenhänge einsteigen können oder wollen.
Die größte Schwierigkeit besteht dann darin, den optimalen Random Walk Zeitraum zu bestimmen – was natürlich auch wieder nicht so leicht ist.
Unabhängig davon für welche Analyseart man sich hier entscheidet (es gibt viel mehr Varianten als die o.g.)- wichtig ist dass mögliche Marktveränderungen seit der Systementwicklung in die Systembewertung einbezogen werden.
Wenn diese Basics beachtet werden, steigt die Wahrscheinlichkeit dafür, dass die Systeme in der Praxis nicht abstürzen auf knapp über 90 % ( der Rest sind die Crash-Szenarien).
Den Nutzen von Bewertungskennzahlen , die beide Hauptursachen für System-Underperformance in der Praxis nicht berücksichtigen, muss jeder für sich selbst feststellen.
So, das war noch mein abschließendes Statement zum Thema – ich mach mich jetzt erst mal auf in den Urlaub. :]
Viele Grüße von Anke
Montag, 18. August 2003, 14:48
Hallo zusammen,
@Wiwu
Ja, das stimmt. Ich habe dies im Artikel auch klargestellt, dass diese Komponente im FF nicht berücksichtigt wird. Dort heisst es :" Insofern sind solche Handelssysteme zu bevorzugen, die einmal eine hohe Qualität und damit einen hohen Fröhlich-Faktor haben und möglichst viele Tradinggelegenheiten (hohe Tradeanzahl) bieten."
aber mal ne andere Frage, alle reiten so auf der Überoptimierung rum. Wie wird denn von den Diskussionsteilnehmern Überoptimierung definiert ??? Was heisst das eigentlich ???
Ein schlecht performendes System nach dem Backtest hängt nicht von einem hohen Fröhlich-Faktor ab, sondern ausschliesslich von der verwandten Evaluierungsmethodik der von der Optimierung gefundenen Parameter. Wenn man also über einen Teil der vorhandenen Kursdaten optimiert und mit dem Rest der Daten einen out-of-sample Test durchführt, ist natürlich der Fröhlich-Faktor des out-of-sample Tests die entscheidende Größe. Dann spielt im Übrigen die Tradeanzahl im out-of-sample Test für die Aussagekraft des Fröhlich-Faktors keine Rolle mehr.
Das sehe ich nun ganz anders !! Die Berücksichtigung einzelner hoher Gewinne und Verluste passiert im FF unter dem Bruchstrich. Deshalb steht der höchste Gewinntrade auch unter dem Bruchstrich.
@NRCM
hmmm, ich meine allerdings die Trefferquote in % und dann geteilt durch 100. In allen gängigen Tradereports wird die Trefferquote in % angegeben. Ist das bei Investox anders ? Wenn ja, muss natürlich nicht mehr durch 100 geteilt werden.
@sten
Ja, Ja für beide Aussagen ein großes JA. In diese Richtung gehen ebenfalls meine Überlegungen, siehe auch Traders' Folgeartikel im September. Ich glaube da hat mich jemand verstanden.
@Udo
das sehe ich genauso, wenn wir die gläserne Kristallkugel für die zukünftige Performance hätten, dann wäre es sooooo einfach...... und keiner würde mehr an der Börse Geld verdienen. Ich wäre ebenfalls am Gegenbeweis sehr interessiert.
Gruß
Der Entwickler des Fröhlich-Faktor
Stefan Fröhlich
@Wiwu
Die Anzahl der Trades im Verhältnis zur Dauer des Backtestzeitraumes spielt keine Rolle.
Jeder, der schon einige Systeme entwickelt hat, kennt überoptimierte Systeme mit super Ergebnissen bei vergleichsweise wenig Trades. Handelssysteme mit nur wenigen Trades beim Backtesting sind statistisch kaum relevant. Rückschlüsse auf die tatsächliche Systemqualität können aus z.B. 5 oder 6 Trades über einen Zeitraum von mehreren Jahren bei EOD-Tests nicht geschlossen werden. Da der Fröhlich-Faktor die Tradeanzahl unberücksichtigt lässt, kann es zu Fehlbewertungen der Systemqualität kommen.
Ja, das stimmt. Ich habe dies im Artikel auch klargestellt, dass diese Komponente im FF nicht berücksichtigt wird. Dort heisst es :" Insofern sind solche Handelssysteme zu bevorzugen, die einmal eine hohe Qualität und damit einen hohen Fröhlich-Faktor haben und möglichst viele Tradinggelegenheiten (hohe Tradeanzahl) bieten."
aber mal ne andere Frage, alle reiten so auf der Überoptimierung rum. Wie wird denn von den Diskussionsteilnehmern Überoptimierung definiert ??? Was heisst das eigentlich ???
Ein schlecht performendes System nach dem Backtest hängt nicht von einem hohen Fröhlich-Faktor ab, sondern ausschliesslich von der verwandten Evaluierungsmethodik der von der Optimierung gefundenen Parameter. Wenn man also über einen Teil der vorhandenen Kursdaten optimiert und mit dem Rest der Daten einen out-of-sample Test durchführt, ist natürlich der Fröhlich-Faktor des out-of-sample Tests die entscheidende Größe. Dann spielt im Übrigen die Tradeanzahl im out-of-sample Test für die Aussagekraft des Fröhlich-Faktors keine Rolle mehr.
2. Bei den Fitnesskriterien: durchschnittlicher Gewinn / durchschnittlicher Verlust zur Berechnung des FF, können einzelne hohe Gewinn bzw. Verluste das Gesamtergebnis verfälschen, weil sie zu stark gewichtet werden.
Diese Kennzahlen eignen sich m.E. maximal für einen ersten Überblick über die Systemqualität. Für genauere Bewertungen wären Mediane aussagekräftiger....
Das sehe ich nun ganz anders !! Die Berücksichtigung einzelner hoher Gewinne und Verluste passiert im FF unter dem Bruchstrich. Deshalb steht der höchste Gewinntrade auch unter dem Bruchstrich.
@NRCM
Noch eine Bemerkung zur F-Formel (Kasten in Traders' 08/03, S. 56 unten): Die Trefferquote ist definiert als Summe der Gewinntrades geteilt durch die Anzahl aller Trades. Dies ergibt einen Wert kleiner als eins. Die im Artikel empfohlene, nachträgliche Teilung durch 100 ist also mathematisch nicht korrekt.
hmmm, ich meine allerdings die Trefferquote in % und dann geteilt durch 100. In allen gängigen Tradereports wird die Trefferquote in % angegeben. Ist das bei Investox anders ? Wenn ja, muss natürlich nicht mehr durch 100 geteilt werden.
@sten
Aus meiner Sicht könnte man die Aussagekraft des FF dadurch verstärken, wenn man neben
Trainigszeitraum und Kontrollzeitraum noch einen ausreichend großen Testzeitraum hinzufügt.
Eine andere Idee wäre, den FF als Überwachungsparameter zu verwenden, d.h. wenn der FF im realen
Tradingbetrieb einen bestimmten Wert unterschreitet (<10), dann werden die ENTER-Regeln blockiert,
deshalb auch mein Wunsch den FF als Investox-Indikator zur Verfügung zu haben
Ja, Ja für beide Aussagen ein großes JA. In diese Richtung gehen ebenfalls meine Überlegungen, siehe auch Traders' Folgeartikel im September. Ich glaube da hat mich jemand verstanden.
@Udo
das sehe ich genauso, wenn wir die gläserne Kristallkugel für die zukünftige Performance hätten, dann wäre es sooooo einfach...... und keiner würde mehr an der Börse Geld verdienen. Ich wäre ebenfalls am Gegenbeweis sehr interessiert.
Gruß
Der Entwickler des Fröhlich-Faktor
Stefan Fröhlich
Montag, 18. August 2003, 17:12
Hallo Herr Paasche!
Wenn man das abkippen der KK bestimmen kann dann
weiss man automatisch das zum Zeitpunkt X das NN/HS in seiner jetztigen Performance abfallen wird denn sonst würde die KK ja konstant bleiben.
Seien Sie mir bitte nicht böse aber das hört sich für mich so an als wenn man dem Patienten verhungern lässt und sich einem Vitaleren sucht.. Aber damit ist eigentlich nicht die Ursache des abkippens bekämpft sondern weggewischt und verlagert auf den nächsten Patienten. Wenn das natürlich eine Art "Methodik" beinhaltet finde ich das ganz ok....
Ev. meinten sie hier das die KK Nuancen über einen Toleranzwert abfällt den Sie als "bedenklich" einstufen um dann auf ein "besseres/profitableres NN/HS zu wechseln das in dem Zyklus gerade eine steigende Performance-lt. Kapitalkurventest anzeigen würde?
Das wäre ein mir dann verständliche Art -wie oben schon angesprochen- der Systemstrukturierung die eine gewisse "Diversifikation" beinhaltet und zudem auch aus Gründen der Marktzyklik logisch erscheint.
Sorry,ich meinte natürlich Handelssysteme! Sehen sie beim Intradaysystem ist der Knackpunkt nicht wann die KK kippt sondern wann der Tagesrythmus und die Zyklik wechselt.Bei EOD ist es doch in irgend einer Weise ganz genauso oder täusche ich mich?
Nehmen wir als Beispiel an das NN erfasst ein Super Cycle-um die Sprache der Waver zu verwenden- und die Lern,- und Testphase läuft in einem Minor oder Cycle ab. Man erwischt das Ganze auch noch zufällig in der ersten Wellenbewegung,dann kann es doch gut sein dass das NN recht gut verallgemeinern kann weil sich der Zyklus in eine relativ gleichbemessene Bewegung ausbreitet. Wenn Welle 5erreicht ist und plötzlich Stagnation auftritt dann wird m.M. auch das NN seine Probleme bekommen und als die KK einknicken.So gesehen wäre der mir persönliche wichtigere Teil das bestimmen des Zyklus-wie immer das auch erreicht wird. Das abknicken der KK sehe ich als eine Folge von xyz....
Bei Ihren NNs spielen da ja auch noch Intermarket Daten eine wichtige Rolle,die aktuell ebenfalls zu einer Unbekannten mutieren..so hat es zumindest den Anschein. Noch ist es vielleicht nicht so weit aber erste Verschiebungen im Intermarkethandel sind m.M. schon jetzt erkennbar...
..
Es geht nicht um die zukünftige Performance- Entwicklung eines NN oder HS (die kann man aufgrund des Chaos natürlich nicht bestimmen), sondern lediglich um den Zeitpunkt, an dem das HS mit großer Wahrscheinlichkeit ins Negative abkippen wird, obwohl dies am Verlauf der KK gerade noch nicht erkennbar ist
Wenn man das abkippen der KK bestimmen kann dann
weiss man automatisch das zum Zeitpunkt X das NN/HS in seiner jetztigen Performance abfallen wird denn sonst würde die KK ja konstant bleiben.
Grund: Jedes HS ist mehr oder weniger überoptimiert (schon wenige Freiheitsgrade reichen) und wird früher oder später im realen Tradezeitraum mehr oder weniger abstürzen. Eine zwischenzeitliche Erholung nach einem Absturz halte ich für ein zufälliges Ereignis und man sollte das HS schon nach dem ersten Warnzeichen sicherheitshalber verlassen.
Seien Sie mir bitte nicht böse aber das hört sich für mich so an als wenn man dem Patienten verhungern lässt und sich einem Vitaleren sucht..
Aber damit ist eigentlich nicht die Ursache des abkippens bekämpft sondern weggewischt und verlagert auf den nächsten Patienten. Wenn das natürlich eine Art "Methodik" beinhaltet finde ich das ganz ok.... Ev. meinten sie hier das die KK Nuancen über einen Toleranzwert abfällt den Sie als "bedenklich" einstufen um dann auf ein "besseres/profitableres NN/HS zu wechseln das in dem Zyklus gerade eine steigende Performance-lt. Kapitalkurventest anzeigen würde?
Das wäre ein mir dann verständliche Art -wie oben schon angesprochen- der Systemstrukturierung die eine gewisse "Diversifikation" beinhaltet und zudem auch aus Gründen der Marktzyklik logisch erscheint.
>> Warum verwenden die NNs auf Ihrer website so viele Stopps?
In den NN verwende ich keine Stopps (wie sollte dies gehen?), wohl aber in den HS. Stopps tragen auch zu einer gewissen Überoptimierung bei, können aber die KK im bekannten Zeitraum verbessern. Der Knackpunkt bleibt ohnehin der gleiche: Wann kippt die KK?
Sorry,ich meinte natürlich Handelssysteme! Sehen sie beim Intradaysystem ist der Knackpunkt nicht wann die KK kippt sondern wann der Tagesrythmus und die Zyklik wechselt.Bei EOD ist es doch in irgend einer Weise ganz genauso oder täusche ich mich?
Nehmen wir als Beispiel an das NN erfasst ein Super Cycle-um die Sprache der Waver zu verwenden- und die Lern,- und Testphase läuft in einem Minor oder Cycle ab. Man erwischt das Ganze auch noch zufällig in der ersten Wellenbewegung,dann kann es doch gut sein dass das NN recht gut verallgemeinern kann weil sich der Zyklus in eine relativ gleichbemessene Bewegung ausbreitet. Wenn Welle 5erreicht ist und plötzlich Stagnation auftritt dann wird m.M. auch das NN seine Probleme bekommen und als die KK einknicken.So gesehen wäre der mir persönliche wichtigere Teil das bestimmen des Zyklus-wie immer das auch erreicht wird. Das abknicken der KK sehe ich als eine Folge von xyz....
Bei Ihren NNs spielen da ja auch noch Intermarket Daten eine wichtige Rolle,die aktuell ebenfalls zu einer Unbekannten mutieren..so hat es zumindest den Anschein. Noch ist es vielleicht nicht so weit aber erste Verschiebungen im Intermarkethandel sind m.M. schon jetzt erkennbar...
Happy Trading
Mittwoch, 20. August 2003, 00:06
Hallo,
obwohl die Diskussion hier wohl schon zu Ende ist und Anke schon am Strand liegt,habe ich zu einer Aussage von ihr noch eine Frage:
Unangepasste Systeme heisst doch so viel wie "optimierte Systeme" oder ständig sich an die Situation angepasste Märkte! Wenn man jetzt die Aussage kritisch beleuchtet dann würde ich persönlich das Ganze so interprätieren:
Man erstellt ein System und passt es momentan den Marktumständen so gut wie möglich an..modelliert den Markt. Dann nimmt ein "Messwerkzeug" -in diesem Fall die trigonomische Kurve von NRCM- und misst täglich die KK. Zeigt die Messkurve (mehrere Tage in Folge) plötzlich zu grosse Toleranzen (Frequenz-Standartabweichungen) dann wird das System "nachoptimiert" bzw.. erneut angepasst bis die Toleranzen der KK im Testzeitraum (Blindzeitraum) wieder ein "erträgliche Mass" angenommen haben. Gelingt dies nicht wird ein ganz anders-dem Zyklus entsprechendes System weiter getradet das momentan im Trend liegt
Sehe ich das so richtig oder ist die Phantasie jetzt mit mir durchgegangen....?
Schönen erholsamen Urlaub noch!
obwohl die Diskussion hier wohl schon zu Ende ist und Anke schon am Strand liegt,habe ich zu einer Aussage von ihr noch eine Frage:
Märkte verändern sich meist nicht abrupt, sondern über einen längeren Zeitraum. Deshalb kommt es bei unangepassten Systemen oft schon bevor ein System abstürzt zu Veränderungen im Verlauf der KK, die über KK-Analysen frühzeitig mess- und quantifizierbar sind (z.B. mittels Fast Fourier Transform von NRCM ).
Unangepasste Systeme heisst doch so viel wie "optimierte Systeme" oder ständig sich an die Situation angepasste Märkte! Wenn man jetzt die Aussage kritisch beleuchtet dann würde ich persönlich das Ganze so interprätieren:
Man erstellt ein System und passt es momentan den Marktumständen so gut wie möglich an..modelliert den Markt. Dann nimmt ein "Messwerkzeug" -in diesem Fall die trigonomische Kurve von NRCM- und misst täglich die KK. Zeigt die Messkurve (mehrere Tage in Folge) plötzlich zu grosse Toleranzen (Frequenz-Standartabweichungen) dann wird das System "nachoptimiert" bzw.. erneut angepasst bis die Toleranzen der KK im Testzeitraum (Blindzeitraum) wieder ein "erträgliche Mass" angenommen haben. Gelingt dies nicht wird ein ganz anders-dem Zyklus entsprechendes System weiter getradet das momentan im Trend liegt
Sehe ich das so richtig oder ist die Phantasie jetzt mit mir durchgegangen....?
Schönen erholsamen Urlaub noch!
Happy Trading
- 1
- 2