Freitag, 19. April 2024, 17:21 UTC+2

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

Loros

unregistriert

1

Dienstag, 12. Dezember 2006, 22:34

Einstellung Fitnesskriterien für HS

Hallo,

ich habe mal eine typische Anfängerfrage. Nachdem ich ein HS entwickelt habe, möchte ich es interpretieren und bin mir in der Priorisierung folgender Punkte unsicher:

(1)
- hoher Nettoprofit versus geringe Student-T-Signifikanz (die lt. Investoxhandbuch die stat. Aussagekraft ausdrückt)
- Profitfaktor versus System-Verhältnis Profit/Kapitalrisiko
- Tradezahl versus Student-T-Signifikanz

(2) In den beiden nachfolgenden Beispielen habe ich entweder einen hohen Profit (und geringe Stud.-T-Signifikanz) oder eine hohe Student-T-Signifikanz (und einen geringeren Profit), obwohl in dem Beispiel mit einer geringen Student-T-Signifiknz viel mehr Trades anfallen. Ich bin bisher davon ausgegangen, dass eine hohe Tradezahl zu einer statistisch belastbareren Aussage führen würde.

(2) Weiterhin würde ich gern wissen, ob der Profitfaktor oder das System-Verhältnis Profit/Kapitalrisiko unter der Zielsetzung einer hohen Stabilität des HS gegen negative Überraschungen optimiert werden sollten.

(3) Oder sind das gar nicht die richtigen Kennziffern (=Fitnesskriterien in der Optimierung). Worauf kommt es an, wenn die Stabilität des HS im Vordergrund stehen soll?

(4) Was haltet Ihr davon, aus der Reihe mehrerer HS-Versuche das HS mit dem höchsten Wert aus der Multiplikation "Jahresnettoprofit x Sharpe Ratio" auszuwählen, da hier bei einerseits der absolute Gewinn und andererseits der relative Gewinn bezogen auf das Risiko in einer Kennzahl berücksichtigt werden können?

Sicherlich viele Fragen, aber von jedem erfahrenen Investoxnutzer bestimmt bereits einmal für sich beantwortet.

Schon mal vielen Dank vorab. Freue mich auf Euer Feedback.

Loros


HS-Variante I (wenig Ertrag aber hohe Student-T-Signifikanz):

Testergebnis von System 'FGBL 1 - EoD'
Datum 12.12.2006 22:07:12

Getesteter Titel: BUND-Future (EUX Eurex)
Ergebnis mit allen vorliegenden Daten

System Start 14.02.2003
System Ende 08.12.2006
Profitfaktor 5,85
Sharpe Ratio 2,81
Netto-Profit/Jahr 13.055,03 Euro
Profit-Ratio zu Buy/Hold 47.577,72 Euro
Perioden mit Trades 42,6%
Anzahl aller Trades 157
Anzahl Long Trades 74
Anzahl Short Trades 83
Profitable Trades (%) 75,16%
Profitable Long Trades (%) 78,38%
Profitable Short Trades (%) 72,29%
Überzahl profitabler Trades 79
Durchschn. Return 317,35 Euro
Std.-Abw. aller Returns 534,17 Euro
Durchschn. Einzelgewinn 509,32 Euro
Durchschn. real. Einzelverlust -263,50 Euro
Durchschn. Gewinn/Durchschn. Verlust 1,93
Max. realisierter Einzelverlust -499,13 Euro
Max. realisiertes Kapitalrisiko -1.106,79 Euro
Durchschn. Länge der Verlustserien 1,30
Benötigtes Kapital für Optimal f 672,68 Euro
Student t-Test Signifikanz 99,85%
Anteil(%) Stop-Exits 70,70%
Schiefe der Returnverteilung 1,149
Steigung der Kapitalkurve 51,403
System-Rating Profit/Risiko 98,56
System-Verhältnis Profit/Kapitalrisiko 33,33



HS-Variante I (hoher Ertrag aber geringe Student-T-Signifikanz):


Testergebnis von System 'FGBL 2 - 60 Minuten'
Datum 12.12.2006 22:33:47

Getesteter Titel: BUND-Future (EUX Eurex)
Ergebnis mit allen vorliegenden Daten

System Start 30.09.2002 08:00:00
System Ende 08.12.2006 22:00:00
Profitfaktor 2,36
Sharpe Ratio 3,71
Netto-Profit/Jahr 15.129,71 Euro
Profit-Ratio zu Buy/Hold 57.934,41 Euro
Perioden mit Trades 25,8%
Anzahl aller Trades 1786
Anzahl Long Trades 1279
Anzahl Short Trades 507
Profitable Trades (%) 56,27%
Profitable Long Trades (%) 55,98%
Profitable Short Trades (%) 57,00%
Überzahl profitabler Trades 224
Durchschn. Return 35,51 Euro
Std.-Abw. aller Returns 127,52 Euro
Durchschn. Einzelgewinn 109,66 Euro
Durchschn. real. Einzelverlust -59,91 Euro
Durchschn. Gewinn/Durchschn. Verlust 1,83
Max. realisierter Einzelverlust -180,55 Euro
Max. realisiertes Kapitalrisiko -927,64 Euro
Durchschn. Länge der Verlustserien 1,76
Benötigtes Kapital für Optimal f 349,90 Euro
Student t-Test Signifikanz 51,67%
Anteil(%) Stop-Exits 53,53%
Schiefe der Returnverteilung 1,655
Steigung der Kapitalkurve 4,494
System-Rating Profit/Risiko 99,46
System-Verhältnis Profit/Kapitalrisiko 61,79

Dieser Beitrag wurde bereits 3 mal editiert, zuletzt von »Loros« (16. Dezember 2006, 20:12)


Loros

unregistriert

2

Samstag, 16. Dezember 2006, 20:14

RE: Einstellung Fitnesskriterien für HS

Bin schon sehr gespannt auf Euer Feedback. Vielelicht habe ich die Frage aber auch zu komplex gestellt. Letztlich geht es um die Auswahl der Optimierungsvariablen, die für möglichst stabile HS-Ergebnisse sorgen.

klexer

unregistriert

3

Sonntag, 17. Dezember 2006, 23:33

RE: Einstellung Fitnesskriterien für HS

hi Loros

ich beobachte bei den Auswertungen vor allem den OoS-Zeitraum, wie sich das System dort verhält. Opt-Zeitraum interessiert doch keinen.

Opt-Kriterien:
Max DD ist sicher sehr wichtig,
Probier mal mit Justieren der Anzahl der Trades, Bestimmtheitsgrad der Steigung,
schau mal hier im Board nach bei Frieder und Anke wg Kriterien.

schöne Grüße igi

PS:
und probier auf jeden Fall verschiedenen Zeiträume, sowohl bei Opt wie OoS !!
Du wirst Dich wundern :D

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »klexer« (17. Dezember 2006, 23:34)


Loros

unregistriert

4

Donnerstag, 21. Dezember 2006, 21:25

RE: Einstellung Fitnesskriterien für HS

Hallo Klexer,

danke für Dein Feedback.

Ich wüßte gern noch, wie ich mit der Student-T-Optimierung umgehen kann: Ein HS (mit niedrigerem Profit) liegt bei 99% und das HS mit höheren Profit liegt bei 50%. Ab welchem Prozentsatz ist denn ein HS "robust"?

Wiwu Weiblich

Experte

Registrierungsdatum: 4. September 2002

Beiträge: 1 752

Wohnort: Neuenhagen b. Berlin

5

Donnerstag, 21. Dezember 2006, 21:38

Hallo Loros,

schau doch zum Thema "Was bringen Optimierungen auf die Student-T-Test Signifikanz" einmal auf die Webseite von Bernhard (Hungerturm).

Die Studie dort ist sehr interessant.
Viele Grüße von Anke

http://www.ascunia.de

Loros

unregistriert

6

Donnerstag, 21. Dezember 2006, 21:49

Student-T-Signifikanz

Danke, Wiwu. Ich habe mir die Seite angesehen und daraus gelernt, dass ein relativ begrenzter Test keine hinreichende Übereinstimmung mit der theoretischen st. Signifikanz aufweist. Ob das generell zutrifft und ob ich den T-Test ganz vergessen kann, weis ich leider noch nicht. Wie ist Deine Meinung? Z.B. auch zu den Testergebnissen, die ich in diesem Kapitel gepostet habe?

Schöne Grüße von Loros

Wiwu Weiblich

Experte

Registrierungsdatum: 4. September 2002

Beiträge: 1 752

Wohnort: Neuenhagen b. Berlin

7

Donnerstag, 21. Dezember 2006, 22:42

Hallo Loros,

ich hatte zu Beginn meiner Systementwickler-Karriere mal irgendwo bei Perry Kaufmann ein Loblied auf das Fitnesskriterium "Student T-Test Signifikanz" gelesen.
Dort stand sinngemäß, dass es umso schwieriger ist, statistische Relevanz (i.e. hohe Student-T-Test Signifikanz) für Handelssysteme zu erzielen, je größer der Anteil des Curve-Fittings ist. Im Umkehrschluss spräche - eine signifikante Anzahl Trades immer vorausgesetzt- eine hohe Student T-Test Signifikanz dafür, dass das System nicht überoptimiert ist.
Zunächst habe ich diese Aussage nicht in Frage gestellt und bei meinen Systementwicklungen den T-Test Werten große Bedeutung beigemessen.

Davon bin ich mittlerweile völlig weg.

Ich habe hier Systeme mit über 10 Jahren Intraday-Backtests und gut 6000 Trades im Backtesting-Zeitraum auf T-Test Signifikanz untersucht. Der T-Test Wert lag meist nur um die 50 % im Backtest. Laut Lehrbuch wären diese (hochprofitablen) Systeme also "für die Tonne" .
Teilweise enthielten sie fast gar keine Optimierungsvariablen .....

Und alle davon laufen seit Monaten real so, wie sie vorher im Backtest gelaufen sind....obwohl sie das ja gemäß T-Test nicht tun sollten....

Im Realzeitraum liegt die T-Test Signifikanz dann auch immer über 99 % , wenn ich z.B. jeweils nur die letzten 300 Trades aller Systeme betrachte .....
Nur - hätte ich die T-Test Signifikanz auch im Backtest als Fitnesskriterium hoch gewichtet, wäre keines der Systeme jemals für den Realeinsatz releast worden....

Die Kennzahl "System Verhältnis Profit / Kapitalrisiko" halte ich dagegen für sehr aussagekräftig.
Ich habe noch einige andere Lieblings-Kennzahlen (z.B. Median der Returns, maximal realisiertes Kapitalrisiko, Kriterien zum Serienverhalten, max. Perioden bis zum neuen KK-Hoch), aber diese Kennzahlen sind auch nicht die einzigen Kennzahlen, die ich betrachte.
Vielmehr muss das Gesamtbild stimmen.
Ob das stimmt, sieht jemand anders vielleicht auch mit ganz anderen Kennzahlen als ich.

Letztlich lässt sich aber alles auch darauf reduzieren, dass die Kennzahlen passen, wenn die KK gleichmäßig und mit möglichst geringen Drawdowns steigt.
Das System sollte natürlich nicht überoptimiert sein, sonst sind ja alle Backtesting-Kennzahlen nicht aussagekräftig.
Im Zweifel würde ich mich immer zuerst darauf konzentrieren (zumindest bis Du Deine persönlichen Lieblings-Kennzahlen aus dem reichhaltigen Fundus gewählt hast =)).
Viele Grüße von Anke

http://www.ascunia.de

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »Wiwu« (21. Dezember 2006, 22:50)