Lieber Besucher, herzlich willkommen bei: INVESTOX-Forum. Falls dies Ihr erster Besuch auf dieser Seite ist, lesen Sie sich bitte die Hilfe durch. Dort wird Ihnen die Bedienung dieser Seite näher erläutert. Darüber hinaus sollten Sie sich registrieren, um alle Funktionen dieser Seite nutzen zu können. Benutzen Sie das Registrierungsformular, um sich zu registrieren oder informieren Sie sich ausführlich über den Registrierungsvorgang. Falls Sie sich bereits zu einem früheren Zeitpunkt registriert haben, können Sie sich hier anmelden.
- 1
- 2
Mittwoch, 21. November 2007, 18:24
WEKA-Fragen
Hallo zuammen,
ich versuche gerade von Hand die Weka-Ergebnisse in Investox zu implementieren - so verstehe ich das am besten. Allerdings komme ich an verschiedenen Stellen nicht weiter
1. Ich lese in Weka über CSV direkt einige ROC-Variablen ein. Z.B. Ref(ROC(Close, 2,%),-1) usw. Das sind meine Indikatoren. Als das zu lernende Merkmal wird als -1 dargestellt wenn der Wert der Funktion Ref(ROC(Close, 2,%),-1) unter 0 ist (d. h. fallende Kurse werden vorhergesagt) und als 1 dargestellt wenn der Wert entsprechend über 0 ist.
2. nach dem Einlesen gehe ich in WEKA zum Reiter "classify" und wende folgendes an:
weka.classifiers.functions.SVMreg -C 1.0 -N 0 -I "weka.classifiers.functions.supportVector.RegSMOImproved -L 0.0010 -W 1 -P 1.0E-12 -T 0.0010 -V" -K "weka.classifiers.functions.supportVector.PolyKernel -C 250007 -E 1.0"
Ich normalisiere die Daten hier und lasse die SVM rechnen. Getestet werden 200 Perioden als Lernzeitraum, Rest ist für die Vorhersage reserviert.
Das Ergebnis lautet dann z. B.
SVMreg
weights (not support vectors):
+ 0.0021 * (normalized) V1
- 0.0003 * (normalized) V2
+ 0.0071 * (normalized) V3
- 0.0033 * (normalized) V4
+ 0.0026 * (normalized) V5
- 0.0061 * (normalized) V6
- 0.0056 * (normalized) V7
+ 0.005 * (normalized) V8
- 0.0022 * (normalized) V9
+ 0.9986
3. Nun in Inv:
- jede Variable wird nach folgendem Muster normalisiert: V1Normalisiert = (V1Original - V1Original(Minimalwert)) / (V1Original(Maximalwert)-V1(Minimalwert))
- dann rechne ich die von WEKA gegebenen Gewichte mit den so normalisierten Variablen zu einem Vorhersagewert.
4. Gekauft werden soll wenn das Ergebnis >0 und verkauft werden soll wenn das Ergebnis <0 ist.
ALLERDINGS: die Vorhersage des so berechneten Indikators schwankt nicht um 0 sondern irgendwie um etwa 0.99 ?
Entsprechend erhalte ich auch ziemlich unsinnige Ergebnisse.
An welchen Stellen mache ich hier Fehler? Wer kann Helfen?
Danke Euch schon einmal für Eure Hilfe und viele Grüsse
-dubi
ich versuche gerade von Hand die Weka-Ergebnisse in Investox zu implementieren - so verstehe ich das am besten. Allerdings komme ich an verschiedenen Stellen nicht weiter
1. Ich lese in Weka über CSV direkt einige ROC-Variablen ein. Z.B. Ref(ROC(Close, 2,%),-1) usw. Das sind meine Indikatoren. Als das zu lernende Merkmal wird als -1 dargestellt wenn der Wert der Funktion Ref(ROC(Close, 2,%),-1) unter 0 ist (d. h. fallende Kurse werden vorhergesagt) und als 1 dargestellt wenn der Wert entsprechend über 0 ist.
2. nach dem Einlesen gehe ich in WEKA zum Reiter "classify" und wende folgendes an:
weka.classifiers.functions.SVMreg -C 1.0 -N 0 -I "weka.classifiers.functions.supportVector.RegSMOImproved -L 0.0010 -W 1 -P 1.0E-12 -T 0.0010 -V" -K "weka.classifiers.functions.supportVector.PolyKernel -C 250007 -E 1.0"
Ich normalisiere die Daten hier und lasse die SVM rechnen. Getestet werden 200 Perioden als Lernzeitraum, Rest ist für die Vorhersage reserviert.
Das Ergebnis lautet dann z. B.
SVMreg
weights (not support vectors):
+ 0.0021 * (normalized) V1
- 0.0003 * (normalized) V2
+ 0.0071 * (normalized) V3
- 0.0033 * (normalized) V4
+ 0.0026 * (normalized) V5
- 0.0061 * (normalized) V6
- 0.0056 * (normalized) V7
+ 0.005 * (normalized) V8
- 0.0022 * (normalized) V9
+ 0.9986
3. Nun in Inv:
- jede Variable wird nach folgendem Muster normalisiert: V1Normalisiert = (V1Original - V1Original(Minimalwert)) / (V1Original(Maximalwert)-V1(Minimalwert))
- dann rechne ich die von WEKA gegebenen Gewichte mit den so normalisierten Variablen zu einem Vorhersagewert.
4. Gekauft werden soll wenn das Ergebnis >0 und verkauft werden soll wenn das Ergebnis <0 ist.
ALLERDINGS: die Vorhersage des so berechneten Indikators schwankt nicht um 0 sondern irgendwie um etwa 0.99 ?
Entsprechend erhalte ich auch ziemlich unsinnige Ergebnisse.
An welchen Stellen mache ich hier Fehler? Wer kann Helfen?
Danke Euch schon einmal für Eure Hilfe und viele Grüsse
-dubi
Mittwoch, 21. November 2007, 23:57
Hallo Martin,
ich habs einmal ohne Normalisierung und einmal mit Normalisierung versucht. Das scheint den Mittelwert der Funktion ja tatsächlich auf 0 zu setzen. Ganz herzlichen Dank für den Hinweis
.
Allerdings gehen weiterhin alle KK streng nach Süden.
Hat noch jemand Ideen was hier noch machbar ist?
viele Grüsse
-dubi
ich habs einmal ohne Normalisierung und einmal mit Normalisierung versucht. Das scheint den Mittelwert der Funktion ja tatsächlich auf 0 zu setzen. Ganz herzlichen Dank für den Hinweis
. Allerdings gehen weiterhin alle KK streng nach Süden.
Hat noch jemand Ideen was hier noch machbar ist?
viele Grüsse
-dubi
Donnerstag, 22. November 2007, 08:09
Hallo Ulukai,
Ich verwende hierzu das CSV-Format und stelle so (manuell) diejenigen Datenreihen WEKA zur Verfügung, die in die Berechnung einfliessen sollen. Im CSV-Format schreibe ich in die erste Zeile die Variablennamen und in den folgenden die Inputwerte. Die letzte Variable ist jeweils der vorherzusagende Wert. Durch die Teilung in ein Trainings- und Test-Set (einzustellen in %) kann ich nochmals begrenzen.
Das ist bei mir aktuell ebenfalls noch manuell: siehe unter punkt 3 meines ersten Posts. Ich erledige das aktuell mit einem VBS-Indikator. Der ist aber noch sehr rudimentär und braucht noch viel manuelle Eingriffe. D. h. ich übertrage die Gewichte manuell in den Indikator und übergebe dorthin die verwendeten Inputs/Features.
Reiners Lösung ist hier viel eleganter: er produziert alles ausserhalb von Inv und liest das Ergebnis in Inv als Berechnungstitel ein. Hierfür muss man aber den Knowledge-Flow von WEKA verstehen - und das tu ich nicht
.
Wenn Du dich durch VBS kämpfen möchtest, kann ich dir gerne meinen Indikator zur Berechnung der Ergebnisse in Inv bereitstellen (aber achtung: der ist wirklich rudimentär
).
Ich hoffe mal, dass das etwas hilft...
Schöne Grüsse
-dubi
PS.: Mich würde interessieren, wie ich die Ergebnisse (bzw. die Modellbeschreibung mit den Gewichten) einfach aus WEKA herausschreiben kann bzw. dort weiterverarbeiten kann - hat jemand einen Tipp?
Zitat
wie importierst du eigentlich die kursdaten in weka? ich hab z.b. bei mldowbnloader ascii dateien und metastock.....
Ich verwende hierzu das CSV-Format und stelle so (manuell) diejenigen Datenreihen WEKA zur Verfügung, die in die Berechnung einfliessen sollen. Im CSV-Format schreibe ich in die erste Zeile die Variablennamen und in den folgenden die Inputwerte. Die letzte Variable ist jeweils der vorherzusagende Wert. Durch die Teilung in ein Trainings- und Test-Set (einzustellen in %) kann ich nochmals begrenzen.
und wie läuft das mit dem rückweg??
also ich meine das ergebnis kann man in weka ja als datei mit der endung *.model abspeichern,...
wie kann ich die ergenisse aus weka in investox einlesen??
Das ist bei mir aktuell ebenfalls noch manuell: siehe unter punkt 3 meines ersten Posts. Ich erledige das aktuell mit einem VBS-Indikator. Der ist aber noch sehr rudimentär und braucht noch viel manuelle Eingriffe. D. h. ich übertrage die Gewichte manuell in den Indikator und übergebe dorthin die verwendeten Inputs/Features.
Reiners Lösung ist hier viel eleganter: er produziert alles ausserhalb von Inv und liest das Ergebnis in Inv als Berechnungstitel ein. Hierfür muss man aber den Knowledge-Flow von WEKA verstehen - und das tu ich nicht
.Wenn Du dich durch VBS kämpfen möchtest, kann ich dir gerne meinen Indikator zur Berechnung der Ergebnisse in Inv bereitstellen (aber achtung: der ist wirklich rudimentär
).Ich hoffe mal, dass das etwas hilft...
Schöne Grüsse
-dubi
PS.: Mich würde interessieren, wie ich die Ergebnisse (bzw. die Modellbeschreibung mit den Gewichten) einfach aus WEKA herausschreiben kann bzw. dort weiterverarbeiten kann - hat jemand einen Tipp?
Donnerstag, 22. November 2007, 09:52
Hallo Stefan,
unten habe ich mein Beispiel CSV beigelegt. Darin sind vom S&P 500 Future folgende Daten in der Reihenfolge des Bildes enthalten.
Ich verstehe unter den Gewichten bei Weka die Modellergebnisse wie z. B. hier dargestellt:
Also die 1.8165 usw.
Diese Werte übertrage ich in den Indi, welcher ebenfalls beiliegt. Ich hoffe, das hilft Dir. Das Verfahren ist allerdings recht aufwändig und eventuell eben eventuell teilweise falsch ...
Viele Grüsse
-dubi
unten habe ich mein Beispiel CSV beigelegt. Darin sind vom S&P 500 Future folgende Daten in der Reihenfolge des Bildes enthalten.
Ich verstehe unter den Gewichten bei Weka die Modellergebnisse wie z. B. hier dargestellt:
|
Quellcode |
1 2 3 4 5 6 7 8 9 10 11 12 13 |
SVMreg weights (not support vectors): + 1.8165 * (normalized) V1 - 0.212 * (normalized) V2 + 1.0802 * (normalized) V3 + 2.8615 * (normalized) V4 - 0.7272 * (normalized) V5 - 0.8252 * (normalized) V6 - 0.2461 * (normalized) V7 + 0.591 * (normalized) V8 - 2.6424 * (normalized) V9 - 0.422 |
Also die 1.8165 usw.
Diese Werte übertrage ich in den Indi, welcher ebenfalls beiliegt. Ich hoffe, das hilft Dir. Das Verfahren ist allerdings recht aufwändig und eventuell eben eventuell teilweise falsch ...
Viele Grüsse
-dubi
Donnerstag, 22. November 2007, 10:26
ich hab in dem thread machine learning mehrmals nach einem online-shop für die buchempfehlung gefragt, aber im moment gibts das buch sccheinbar nur auf englisch,
Ich habe für mich folgende Alternative zum Thema "Data Mining" gefunden:
Data Mining im praktischen Einsatz
Das Buch vermittelt meiner Ansicht nach ebenfalls einen guten und vor allem auch allgemein verständlichen Einblick in das Thema Data-Mining.
Der praktische Einsatz von Data-Mining Verfahren wird an diversen Fallbeispielen erklärt.
Speziell dieser Brückenschlag von der Theorie zur Praxis ist mir immer besonders wichtig, wenn ich eine Theorie verstehen will.
Wenn Einsatzmöglichkeiten erklärt werden, fällt es mir immer leichter,mir ein erstes Urteil darüber zu bilden, ob der Einsatz einer bestimmten Methode auch für mich sinnvoll sein könnte.
Das Buch ist außerdem nicht so dick - das ist auch ein Pluspunkt, wenn man wie ich unter chronischer Zeitnot leidet....
Zum Thema SVM wird man aber wohl auf die Lektüre des einen oder anderen Werkes in Englisch zurückgreifen müssen. Da habe ich bisher nichts "Vernünftiges" in deutscher Übersetzung gefunden.
Freitag, 23. November 2007, 16:21
@halobungie
Hallo halubungie,
wenn du deshalb kaufen möchtest würde ich an deiner Stelle noch ein paar Tage warten. Noch ist mein Indi nicht fertig. Und erst wenn er einerseits läuft - und das bei anderen hier in der Gemeinschaft - und andererseits auch den Anschein etwas positiven bringt würde ich es mir selber überlegen.
Das mit dem Laufen will ich zumindest für mich am Wochenende hinkriegen. Hoffentlich klappts.
Das mit den Ergebnissen ist was anderes.
In Machine Learning // Data Mining // z.B. Support Vector Machine habe ich ein erstes HS mal veröffentlicht. Da ist das Ergebnis passabel für den ersten Versuch. Im Folgebeitrag habe ich dann den zweiten Versuch veröffentlich. Und da hätte ich mein ehrlich verdientes Geld nicht verlieren wollen.
Mit dem Indi wird es dann hoffentlich leichter es zu testen
Ich werde hier meine "Erfolge" und meine Indis aktuell halten.
Viele Grüße
Martin
Hallo halubungie,
wenn du deshalb kaufen möchtest würde ich an deiner Stelle noch ein paar Tage warten. Noch ist mein Indi nicht fertig. Und erst wenn er einerseits läuft - und das bei anderen hier in der Gemeinschaft - und andererseits auch den Anschein etwas positiven bringt würde ich es mir selber überlegen.
Das mit dem Laufen will ich zumindest für mich am Wochenende hinkriegen. Hoffentlich klappts.
Das mit den Ergebnissen ist was anderes.
In Machine Learning // Data Mining // z.B. Support Vector Machine habe ich ein erstes HS mal veröffentlicht. Da ist das Ergebnis passabel für den ersten Versuch. Im Folgebeitrag habe ich dann den zweiten Versuch veröffentlich. Und da hätte ich mein ehrlich verdientes Geld nicht verlieren wollen.
Mit dem Indi wird es dann hoffentlich leichter es zu testen
Ich werde hier meine "Erfolge" und meine Indis aktuell halten.
Viele Grüße
Martin
Freitag, 23. November 2007, 17:11
PS.: Mich würde interessieren, wie ich die Ergebnisse (bzw. die Modellbeschreibung mit den Gewichten) einfach aus WEKA herausschreiben kann bzw. dort weiterverarbeiten kann - hat jemand einen Tipp?
Hallo zusammen,
weiss zu obenstehendem jemand eine Antwort - es ist recht anstrengend, die Werte jeweils von Hand zu übertragen - das muss doch einfacher gehen.
danke und Grüsse
-dubi
- 1
- 2