INVESTOX-Forum

hallo,

ich habe gerade etwas interessantes gelesen über ein modelloptimieerungsmodul,

zitat von reiner:

Hierzu die Pinnacle Daten als ASCII abspeichern (als Beispiel: Pinnacle mit DMakerw), dann mit einem Input-Modul die Konvertierung, Datenlänge, etc. festlegen. Das Modell in Weka aufbauen (z.B. Support Vector Regession mit RBF-Kernel), eventuell vorher Filterung der Daten, den Modus der Abarbeitung (Cross-Validation, Random-Split der Daten, die Einbindung von Fehlerstatistiken u. Rückkopllung, Modelloptimierungs-Modul (automatische Ermittlung der besten Parameter: c, gamma, etc.), Einbindung der Visualisierung (wenn gewünscht), etc. und dann im Weka- Explorer testen.


ein optimierungsmodul für den kernel, das ist interessant, weiss jemand wie ich das in den weka knowledge-flow einbauen könnte?

oder wie man diesen libsvm-kernel in weka einbaut, ich weiss nicht wie man den installiert?

und naja mein problem nach wie vor, intradaydaten in weka nutzen zu können....

plz help

cu
stefan

Zuerst einmal ein fettes Lob an Reiner und Anke. Super Arbeit.

Das Thema interessiert mich brennend.

Deshalb hab ich mich gleich drauf gestürzt. Nach Problemen mit dem Einlesen der Daten von Reuters EOD über Quote Center hab ich mal alles ohne irgendeine Änderung in das FDAX-System eingespielt.
hier die Ergebnisse:
Daten EOD, von 27 Nov 06 bis 26. Nov 07, Remove 50 %, Test 90 %, 12 Testergebnisse in der predict-Datei

AUSUSD 66,6% Treffer
EURJPY 75%
EURUSD 50%
GBPJPY 83,3%
USDCAD 33,3 %
USDCHF 58,3 %
USDJPY 58.3 %

ich habe den Parameter c in der Version 5, 50 und 500 laufen lassen, fast immer das gleiche.

meine Vermutung: je volatiler der Wert, desto präziser die Vorhersage.

Jetzt die Frage: Wo ist die Schraube, an der man quasi die Empfindlichkeit bez. Volatilität einstellt ?


schöne Grüße igi

das mit der volatilität ist mir auch aufgefallen, aber ich habe das gefühl, so einfach ist das nicht mit der scchraube,

ich glaube svm sucht in den kurshistorien nach bestimtmen mustern die klassifiziert werdne und wenn die kurshistorie in der vergangenheit keine volatilität gezeigt hat, wird auch für die zukunft keine prognostiziert, das mit der schraube wäre ne tolle sache, vielleicht könnte man ja eine prognose für einen guten vola-indikator , wie den dmi mit in die berechnung mit einbauen und dann versch kernelsettings je nach indiaktorprognose variieren lassen

dafür wäre evtl. ein anderer kernel erforderlich, z.b. libsvm,

ich hab vor ein paar posts schonmal danach gefragt wie man den installiert, für mich ist weka auch neuland,

aber ich finde ne wichtige frage ist auch, gerade bei forex-daten, wie mann in weka intraday-kursdaten einlesen kann....

insgesamt 84 Ergebnisse
44 Prognosen fallend
40 Prognosen steigend.
32 Prognosen falsch
52 Prognosen richtig
18 steigende Prognosen falsch
14 fallende Prognosen falsch
26 fallende Prognosen richtig
26 steigende Prognosen richtig

jetzt wollte ich herausfinden, ob Prognosen, die falsch waren, aber mit geringer Auswirkung (z.B. Prognose fallend, aber Resultat fast null, nur leicht gestiegen) entsprechend gefiltert werden können

Die Grafik der Verlierer und Gewinner ist quasi identisch, gleich verteilt in allen Bereichen

Und jetzt die Überraschung:
Prognosen mit dem Faktor zwischen -0,01 und 0,2 sind überwiegend falsch d.h 18 Prognosen von insgesamt 32 negativen !

Prognosen mit dem Faktor zwischen -0,01 und 0,2 gibt es als richtige Aussagen quasi NICHT ! ( nur 3 von 52 !!), also insgesamt Trefferquote von 3 zu 18, entspr. 14%

Prognosen mit einer Vorhersage von -0,03 bis -0,2 haben eine Trefferquote von 19 zu 4, entspr. 83 % !

auf Wunsch sende ich die Excel zu

schöne Grüße
igi

PS: alle Daten waren mit Parameter 5, da zu Einstellungen c= 50 bzw. 500 quasi kein Unterschied vorhanden. Ansonsten alle Einstellunge wie in der Ursprungsdatei von Reiner !

lt den Auswertungen ergeben sich folgende Dinge für die Handelsregeln:
alle Signale mit einem Wert unter -0,2 NICHT handeln, geringe Trefferquote
Signale von -0,2 bis -0,01 als short handeln
Signale von -0,01 bis 0 als long handeln
Signale von 0 bis 0,2 als short handeln
Signale über 0,2 als long handeln.

Daraus ergibt sich:
von 84 Signalen: 13 mal No Trade
71 Signale werden gehandelt, dabei 60 Treffer, entspricht 84,5 % Trefferquote.

Und wenn man sich die Signale im einzelnen anschaut, dann folgt daraus:
USDCAD ist NICHT handelbar, da von 12 Trades 9 mal No Trade 2 Fehler und nur 1 Treffer.
USDJPY, USDCHF je 11 Treffer, 1 Fehler
GBPJPY 2 No Trades, 9 Treffer, 1 Fehler
EURUSD 9 Treffer, 3 Fehler
EURJPY 1 No Trade, 10 Treffer, 1 Fehler
AUSUSD 1 NoTrade, 9 Treffer, 2 Fehler

Aufgrund dieser Ergebnisse werde ich jetzt umfangreiche Tests fahren.

An dem System wurde NICHTS optimiert, nach Stridsman ein gutes Omen :-)

schöne Grüße igi

Hallo Klexer,

das tönt ja sehr interessant! Mich würde interessieren, ob Du an den WEKA-Einstellungen (Orginalsystem von Anke/Reiner) etwas geändert hast? Wenn ja, was genau?

Besten Dank im Voraus für Deine Antwort.
halobungie

hallo Halobungie

aufgrund meiner beschränkten Kenntnisse kann ich gar nicht ändern :D

das einzige, was nicht mehr original ist: Remove wurde auf 50 % reduziert, da die Datenreihe nicht so lange ist wie bei Reiners FDAX (nur 1 Jahr statt 5 Jahre)
und der Test- bzw. Trainigszeitraum wurde von 97 auf 90 reduziert.

das wars.

viel Spaß damit

schöne Grüße igi

ich hab nun alle Werte nach high durchrechnen lassen, indem ich die high-werte in Spalte 5 reinkopiert habe. Somit keine Änderung der WEKA-Formel notwendig.

Das Ergebnis:
25 negative Prognosen, 59 Treffer.
Wieder ist der USDCAD NICHT handelbar,
ohne USDCAD sieht es folgendermassen aus:
17 negative, 55 Treffer

Die Verteilung der neg und pos Treffer ist nahezu identisch, es können keine Bereich fixiert werden, die modifiziert werden können.
Nur folgendes:
alle Prognosen über 0,3 und unter -0,7 sind zu 100 % Treffer.
Prognosen mit ca. 0,1 sind alle falsch (0,098 bis 0,11)
Aufgrund der wenigen Daten bei den Fehltrades würde ich keine Modifizierung der Handelsregeln vornehmen.

Treffer high 55
No Trade 8
Fehltrades 17

zum Vergleich: close nach (!) Korrektur der Handelsregeln
Treffer close 60
No Trade 13
Fehltrades 11

und nun zuletzt das gleiche für low

wie bei den high ist USDCAD NICHT handelbar.

Der weiteren werden alle Trades zwischen -0,48 und 0,5 nicht getradet, da hier die Trefferquote nahe 50 % liegt und somit unbrauchbar.
Alle Prognosen drüber oder drunter haben gute bis sehr gute Ergebnisse.

Treffer 26
Fehltrades 5
No Trades 53

tach

ich konnte die wekaanbindung auf intraday umprogrammieren....


nur leider, wenn ich in investox das ergenise sehen möchte , sehe ich da nur eine große long-position, obwohl die ROC in der predict datei sich stetig ändert , und ich auch eingegeben habe beim berechnungtitel, low an dieser stelle , uhrzeit an der usw. ich habs ganz oft überprüft, mir fällt kein fehler auf,

vielelciht könnt ihr mir da helfen,

die predict-datei, inv-project-datei, und traindatei, und titel lege ich bei......

Hi Udo

das ist quasi ein Robustheitstest über 7 verschiedene Underlyings, um die Performance auf einer breiten Basis zu verbessern, nicht pro HS.

schöne Grüße igi

Du schreibst:

tach

ich konnte die wekaanbindung auf intraday umprogrammieren....

nur leider, wenn ich in investox das ergenise sehen möchte , sehe ich da nur eine große long-position, obwohl die ROC in der predict datei sich stetig ändert , und ich auch eingegeben habe beim berechnungtitel, low an dieser stelle , uhrzeit an der usw. ich habs ganz oft überprüft, mir fällt kein fehler auf, vielelciht könnt ihr mir da helfen, die predict-datei, inv-project-datei, und traindatei, und titel lege ich bei......

Hast Du in Investox unter: // Handelssystem einstellen // Titel // Komprimierung die Komprimierung so eingestellt, wie die Daten auch in Weka verarbeitet werden?

In Weka kann man die SVM wechseln, indem man das betreffende Modul (z.B. SMOreg) mit rechten Mausklick auswählt und es dann löscht (Delete), dann aus den Reitern in Weka (oben) Classifiers auswählen, dann unter Classifiers auf Functions gehen und z.B. die LibSVM anklicken. Diese SVM nun an den Platz der gelöschten SM setzen und alle Verbindungen wiederherstellen.

Du schreibst Du hast die Anbindung Weka / Investox mit Intraday-Daten realisiert!

Es wäre natürlich schön, wenn Du solche Ergebnisse hier im Forum darlegen würdest, so dass auch andere Anwender dies nachvollziehen können!

So ein großes Lob an klexer der seine Ergebnisse veröffentlicht!

Wenn dies alle Anwender so handhaben könnten, die mit dem Data-Mining Paket weitere Erfahrungen (Ergebnisse, Anpassungen, Modifikationen, etc.) gesammelt haben, wäre dies für alle sehr hilfreich!

Viele Grüße

Reiner

Moin reiner!

das mit der intradayumwandlung klappt jetzt und ich hab schone erste dolle ergenisse...

ich hab von dem Programm Trademonster (forexone) die minutendaten der forex runtergeladen, war natürlich nich das richtige format, also hab ich mit openoffice CALC die dateien ins richtige format gerückt( siehe csv-dateien in meinem thread( Intraday SVM HS ) , dann in Weka geladen und verarbeiten lassn und in Inv zurück. Ich hab nur kleinere Änderungen in der Weka-Oberflöche vorgenommen ( siehe Weka-projekt ( Dateien , wie oben angegeben im thread) ) , und in Inv geladen ( Inv-Projektdatei ( thread) . Nun klappts.

Ich hab vor demnächst mit IB Forex zu handeln und hat jemand vielleicht eine Kursdaten-datei, in 1min Komprimierung von irgend einem Währungspaar? dann könnt ich schon mal sehen wie ich wieder in excel das format wieder hinbiegen muss, am besten wäre natürlich ein selber zu programmierender auto. formatkonverter, am besten zeitgesteuert oder stetig aktualisierend, gibts sowas, wäre für mich ne super hilfe!!

dann noch in Weka gibts die Möglichkeit denn CSV_loader besser zu kontrollieren?? evtl. mit Zeitsterung oder auch stetig neu anfange berechnung, wobei man natürlich wieschendurch die csv-datei mit dem formatkonverter ändert, dann hat mann immeer automatisch aktuelle prognosen...

ach ja, ... bei mir steht unter classfieres function kein libsvm!!! (siehe unbenannt2)

ich habs mir schon gedacht, ich hab die weka version 3.4 gehabt, nachdem ich 3.5 installieert hab gings, die version is ja noch viel umfangreicher, gibts da so eine zeit-stereung für den csv-loader oder andere möglichkeiten das starten des-csv-loaders zu timen oder inne schleife zu packen

Hallo reiner

Danke für die Blumen :-)

ich hab Stichproben gemacht mit den 7 Paaren und dabei nur eines geändert:

in der SMOreg Filter Type von normalize auf standarize. macht bei den guten die Ergebnisse noch besser. bei den schlechten noch schlechter.
EURJPY und GBPJPY funktionieren super, danach AUSUSD, USDCHF, USDJPY
EURUSD ist bei 50
USDCAD sind grottenschlecht bei 33

jetzt habe ich einen Backtest (manuell) gemacht, 4 Monate auf den EURJPY.
Original Handelssystem Investox OHNE modification
WEKA nur geändert: 50% remove, Training auf 99%, damit nur 1 Tag prognostiziert wird.
Spread 3 pips Trademonster abgezogen.
27.11 bis zurück zum 1. August.

Ergebnis: 1470 pips Gewinn nach Abzug vom Spread, jeden Tag 1 Trade zum open bzw. close. Macht ca. 350 pips Gewinn pro Monat. SAUBER. sodele, jetzetle :thumbsup:
Was besseres habe ich noch nicht gesehen.

schöne Grüße igi

Als nächstes folgen Auswertungen GBPJPY

hallo

@klexer den spread von 3 , wie konntest dju en beim BK mit einbauen , ich benutz immer die slippage von 1% (is das uuviel oder zuwenig) bin mir unsicher ) wieviel ich bei slippage eingeben muss,

@reiner
die libsvm- konnte ich wie du gesagt hast mit in den workflow einbauen, aber es gibt nicht eine analysierte instance, wenn ich auf shiow results gehe, also des modells nicht in investox, er rechnet einfach nicht, da steht nur performance evaluatiin(1) und danach ist fertig aber kein ergeniss im textviewer?

hi Ulukai

ich hab das alles in Excel dokumentiert und dort eingetragen.