INVESTOX-Forum

Zitat von »Alex73«

Hallo Zusammen,

hab eine kosenlose Data Mining Software gefunden. http://rapid-i.com/component/option,com_…emid,1/lang,de/
Hat sich damit schon einer beschäftigt ob eine Anbindung an Investox möglich ist,
oder ist da WEKA doch die bessere Lösung.

Hallo Alex,

da RapidMiner ( http://RapidMiner.com/ ) in der kostenlosen quelloffenen GPL-Version auch alle Lernverfahren (SVM, neuronale Netze, etc.) von WEKA bietet und die WEKA-Datenformate lesen kann (ARFF, XRFF, CSV, etc.), sehe ich keinen Grund, warum eine Anbindung von RapidMiner schwieriger sein sollte als die von WEKA. RapidMiner bietet sogar noch zahlreiche weitere Dateneingabeformate (Microsoft Excel, Microsoft SQL Server, Oracle, IBM DB2, MySQL, PostgreSQL, JDBC/ODBC, dBase, SPSS, ...). RapidMiner kann man wahlweise per grafischer Oberfläche oder Kommandozeile benutzen oder als Java-Bibliothek, wenn man selbst programmieren und/oder weiterentwickeln möchte oder RapidMiner in eigene Programme integrieren möchte.

Man kann RapidMiner von der folgenden Seite herunterladen:

http://rapid-i.com/content/view/26/82/

Zu empfehlen: RapidMiner 4.0 oder RapidMiner 4.0 GPL oder RapidMiner 4.1beta (gegebenenfalls bei Bedarf alle WEKA-Lerner durch kopieren der WEKA-Datei "weka.jar" in das Verzeichnis "lib" der RapidMiner-Installation kopieren (z.B. "C:\Programme\RapidMiner\RapidMiner-4.0\lib"). Ohne WEKA bietet RapidMiner bereits über 400 verschiedene Data Mining Operatoren, unter anderem vier verschiedene leistungsstarke SVM-Lernverfahren und neuronale Netze. Mit den ca. 100 zusätzlichen Operatoren von WEKA sind es insgesamt über 500 verschiedene Data Mining Operatoren und damit eine riesige Bandbreite an realisierbaren Data Mining Anwendungen.

Bei Fragen bekommt man auch im RapidMiner (vormals YALE) Forum sehr viel kompetente Hilfe:

http://sourceforge.net/projects/yale/

http://sourceforge.net/forum/forum.php?forum_id=390413

Für einen ersten Einstieg RapidMiner (vormals YALE) gibt es ein kleines Video (noch für die Vorgängerversion YALE 3.4):

http://rapid-i.com/videos/rapidminer_tour_3_4_de.html

Wenn man RapidMiner einmal installiert (z.B. mit Hilfe des einfachen Windows-Installers oder wie hier beschrieben auf Windows oder anderen Betriebssystemen: http://rapid-i.com/content/view/17/40/ ) und gestartet hat, gibt es außerdem ein umfangreiches Online-Tutorial mit vielen beispielhaften Data Mining Prozessen, die neben einem erläuternden Text auch gleich die ausführbare und veränderbare Prozessdefinition mitbringen, so dass man gleich alles interaktiv ausprobieren und damit herumspielen kann.

Daneben gibt es auch noch ein sehr umfangreiches Handbuch (Tutorial) und eine Bedienungsanleitung für die grafische Benutzeroberfläche (GUI Manual), die man sich beide im PDF-Format kostenlos herunterladen kann:

http://rapid-i.com/content/view/36/83/

Ich hoffe, meine Antwort ist hilfreich. Viel Spaß beim Data Mining mit RapidMiner und/oder WEKA!

Ciao,

Ralf

Zitat von »Udo«

Ralf,danke für die vielen Infos! Ich habe RM vor einiger Zeit getestet! Bin aber aufgrund ständiger Abstürze noch nicht dazu gekommen, das Programm intensiver zu testen.

Hallo Udo,

bei technischen Problemen bietet sich das öffentliche RapidMiner Diskussions- und Supportforum bei SourceForge an:

http://sourceforge.net/forum/forum.php?forum_id=390413

Dort gibt es kostenlose Unterstützung durch andere Nutzer und auch durch das Rapid-I Team. Wer lieber professionellen Support mit garantiert kurzen Antwortzeiten haben möchte (Zeit ist Geld), findet hier entsprechende Angebote:

http://rapid-i.com/content/view/60/75/

RapidMiner wird mit jeder Version ausgereifter und stabiler, aber technische Probleme sind nie völlig auszuschließen. Welche Fehlermeldung gab es denn bei den Abstürzen?

Zitat von »Udo«

Mein erster Eindruck war, das es ein aufgeräumtes,übersichtliches und relativ einfach zu bedienendes Programm ist! Ralf,Du scheinst RM ja nicht erst seit gestern zu kennen!

Stimmt. Ich habe dieses Open-Source Projekt 2001 initiiert, damals noch unter dem Namen YALE (Yet Another Learning Environment), und bin einer der Mitentwickler, wobei andere Entwickler mittlerweile einen größeren Anteil an der Code-Basis haben als ich. Das gilt insbesondere für Ingo Mierswa, der die Entwicklung dieses Open Source Projektes seit vielen Jahren leitet.

Zitat von »Udo«

Hast Du bereits Erfahrungen mit der SVM gesteuerten Systemen? (Zeitreihen für Börsenhandel)?

Ja. Ich beschäftigte mich seit 1990 mit neuronalen Netzen, seit 1993 intensiver mit maschinellem Lernen und Data Mining und seit 1999/2000 mit Support Vector Machines (SVM) und habe sie auch schon in verschiedenen Anwendungen eingesetzt. Anfangs überwiegend in den Bereichen Text Mining, Klassifikation und Concept Drift Detection & Handling, später auch im Bereich Regression und Prognose, unter anderem auch auf Zeitreihen im Finanzbereich und Börsenhandel.

Zitat von »Udo«

Glaubst Du das sich das angebotene Seminar,das man auf der Website findet, lohnen kann?

Ja, -- wobei ich da nicht ganz neutral bin, da ich dieses Seminar halten werde...

Eine detailierte Themenliste findet man hier:

http://rapid-i.com/content/view/89/110/

Anhand der Themenliste kann jeder für sich entscheiden, ob sich die Teilnahme lohnt. Wie oben beschrieben bringe ich über 15 Jahre Data Mining Erfahrung mit und als einer der Mitentwickler von RapidMiner auch einiges Know-How über diese Software und wie man möglichst viel aus ihr herausholt, wie man Data Mining Prozesse für die Zeitreihenprognose möglichst günstig gestaltet und wie man sie interaktiv und/oder automatisiert optimiert.

Zu den Nutzern von RapidMiner gehören Unternehmen wie Merrill Lynch, Bank of America, BNP Paribas, AI Investing, NeuralMarketTrends.com und viele andere namhafte Unternehmen:

http://rapid-i.com/content/view/8/56/

Zitat von »Udo«

Gibt es unter den vielen Tutorials und Foren auch deutschsprachige? Man versteht schwierige Themenbereiche in der Heimatsprache einfach besser..;-)

Leider noch nicht allzu viel. Da RapidMiner in über 30 Ländern weltweit genutzt wird, war uns die englische Dokumentation eiliger und wichtiger. Auf den komplett zwei-sprachigen Web-Seiten von Rapid-I ( http://rapid-i.com/ ) gibt es aber auch schon einige Informationen in deutsch. Später wird irgendwann auch noch eine deutsche Version von RapidMiner und der Dokumentation folgen, aber dafür möchte ich noch keinen festen Termin nennen, da aktuell andere Dinge für uns eine noch höhere Priorität haben. Wir haben derzeit mehrere weitere Data Mining Produkte in der Entwicklungs-Pipeline...

Bei Fragen zum obigen Seminar einfach eine E-Mail an request(at)rapid-i.com schreiben. Bei technischen Problem am besten einen der oben beschriebenen Supportwege wählen. Dann steht dem erfolgreichen Data Mining mit RapidMiner nichts mehr im Wege.

Viel Spaß dabei,

Ralf

Zitat

Ja, -- wobei ich da nicht ganz neutral bin, da ich dieses Seminar halten werde... ;)

Eine detailierte Themenliste findet man hier:

Hallo DataMiner,

ich habe mir gerade die detaillierte Themenliste zum Seminar angeschaut und bin sehr interessiert.
Nur der Februar-Termin ist terminlich für mich nicht mehr zu schaffen.
Deshalb meine Frage: Sind für das laufende Jahr noch alternative Seminartermine geplant ? Falls ja- wann ?

Danke und Grüße

Tim

Hallo Tim,

danke für das Interesse an unserem Seminar "Financial Data Mining: Analyse finanzieller Zeitreihen und Kursprognose"

http://rapid-i.com/content/view/89/110/

Voraussichtlich wird dieses Seminar über den Termin im Februar hinaus dieses Jahr noch mindestens ein- oder zweimal stattfinden, möglicherweise in Frankfurt, Dortmund, London und/oder New York. Die genaue Terminplanung für die Seminartermine ab Juni 2008 steht noch nicht fest. Jeden, der möchte und uns seine E-Mail-Adresse nennt, halten wir gerne über die zukünftigen Termine auf dem Laufenden.

Wer für eines unserer Seminare einen Orts- und Terminwunsch äußern möchte, kann dies gerne per E-Mail an request(at)rapid-i.com tun. Wir gestalten unser Seminarprogramm stark Nachfrage-orientiert.

Außerdem bieten wir alle öffentlichen Seminarthemen sowie individuell wählbare Themen auch alle als inhouse Seminare beim Kunden vor Ort an. Individuelle Termine in unserer Zentrale in Dortmund sind ebenso möglich. Inhalte, Ort und Preis nach Vereinbarung. Wo ein Wille zur Teilnahme ist, wird sich also auch ein Weg finden.

Viele Grüße
Ralf

E-Mail: request(at)rapid-i.com
Tel.: +49-(0)700-00-727-434

Hallo Ralf,

danke für die Auskunft. Das hört sich alles wirklich gut an.
Ich werde mich dann demnächst mal auf Euren Verteiler setzen lassen und wir sehen uns sicherlich in diesem Jahr zum Seminar.

@ all
Falls noch andere Investoxler Interesse an einer Teilnahme haben, könnten wir vielleicht ne kleine Investox-Seminargruppe organisieren ?

Cu Tim

Grüße,


mich interessiert das Thema Data Mining wirklich sehr, wo bei ich noch nicht V5 habe und mich aktuelle Projekte so stark aus lasten, dass ich mich noch nicht so intensiv mit der Thematik vertraut machen konnte.

An dieser Stelle will ich mich bei allen bedanken, die ihre Arbeit, Erkenntnisse und Erfahrungen hier im Forum veröffentlichen.


An einem Seminar, habe auch ich Interesse, wo bei es mir wichtig ist, dass es speziell auf das Thema automatisiertes handeln abzielt.
Wenn ich noch nicht weiß, wie und ob ich Rapid Miner mit INV so verknüpfen kann, dass es realtime stabil und komfortabel arbeitet, dann hält sich meine Motivation noch in Grenzen, ein spezielles Seminar zu ordern. Ich denke, ich bin auch nicht der einzige, der so denkt.


@ Ralf,

wenn du uns helfen würdest, eine Verknüpfung von INV und Rapid Miner zu basteln, dass effektives Arbeiten und Ausprobieren möglich ist, dann würden sich sicher viel mehr Leute für ein Seminar entscheiden. Man könnte dass dann als vertrauensbildende Maßnahme sehen und einem individuellem Seminar, welches auf die Bedürfnisse von INV-Usern zugeschnitten ist, würde dann sicher nichts mehr im Wege stehen. Nur mal so eine Idee...


Folgende Fragen habe ich noch auf dem Herzen:

1; Ist die Zahl der Teilnehmer für dass oben aufgeführte Seminar begrenzt? Wie viele?

2; Ist es möglich, eine vernünftige Prognose der zukünftigen Wertänderung zu erhalten, wenn ich als Input lediglich die ROC s der Basis verwende?

3; Welche software, eignet sich gut, um die Prognosen von Rapid Miner zu handeln (realtime, Anbindung)?

4; Nutzt du selbst INV?


Es ist nicht leicht, Leute zu finden, die mit Data Mining viel Erfahrung haben, um so mehr, freue ich mich auf deine Antwort!



Gute Zeit!


lasa

hallo

ich bin grade dabei, oder eher gesagt ich versuche ein svm system auf RM-Basis zu schaffen nur das Projekt (anhang), da komme ich nicht weiter, es soll ja eine datei eingelesen werden mit den infos zeit open high low close volume und am ende soll nur zeit und prediction als angeaben rauskommen und in eine datei geschrieben werden , so wie bei dem system anke/reiner....

aber immer wenn ich bei dem projekt "exampleSetWriter" anhängen will sagt es es gibt gar kein exampleSet ?? aber hat er mit dem Libssvm nicht schon eins errechnet?

ich wollte es eins zu eins das projekt von anke/reiner übernehmen und in RM.Sprache fassen, aber die module heissen anders....

und beim einlesen, anstatt attributes "label" reinschreiben, hab gelesen das soll dann die datenreihe sein die zur vorhersgae genutzt werden soll

Hallo Lasa und alle anderen Interessenten,

da es hier im Investox-Forum einiges Interesse an einem speziellen Seminar zum Thema Financial Data Mining mit RapidMiner für Investox-Nutzer und eine Anbindung von RapidMiner an Investox gibt, überlegen wir bei Rapid-I derzeit, ein solches spezielles Seminar für Investox-Nutzer anzubieten. Für ein solches Seminar würden wir eine Anbindung von RapidMiner an Investox liefern.

Zitat von »Lasa«

Wenn ich noch nicht weiß, wie und ob ich Rapid Miner mit INV so verknüpfen kann, dass es realtime stabil und komfortabel arbeitet, ...
wenn du uns helfen würdest, eine Verknüpfung von INV und Rapid Miner zu basteln, dass effektives Arbeiten und Ausprobieren möglich ist, dann würden sich sicher viel mehr Leute für ein Seminar entscheiden. ...

Nur auf Verdacht entwickeln wir eine solche direkte Anbindung nicht. Irgendwie müssen wir ja auch unsere Entwickler bezahlen. Kommt ein Seminar zustande, liefern wir aber als Teil des Seminars eine solche Anbindung plus entsprechende Anwendungsbeispiele und Data Mining Prozessdefinitionen.

Sollten irgendwelche Zweifel an der Qualität unserer Software oder Diensteleistungen bestehen, hilft vielleicht ein Blick auf unsere Referenzen und die Liste ausgewählter RapidMiner nutzender Unternehmen, diese Zweifel auszuräumen:

http://www.rapid-i.com/content/view/8/56/

Oder die Tatsache, dass wir gerade den Open Source Meets Business Award 2008 gewonnen haben:

http://www.heise.de/newsticker/meldung/102381
http://www.computerwoche.de/nachrichten/1853721/
http://www.computerwoche.de/nachrichten/mittelstand/1853949/
http://www.osbf.de/de/node/1032

Zu den Nutzern von RapidMiner gehören im Finanzbereich Unternehmen wie Merrill Lynch (USA), BNP Paribas (Frankreich), Bank of America (USA), aiinvesting.com (USA) und NeuralMarketTrends.com (USA) und in anderen Branchen beispielsweise Honda, Ford, Sanofi-Aventis, mobilkom austria, Miele, Philips, Nokia und viele mehr. Weltweit ist RapidMiner in über 30 Ländern bei vielen tausend Anwendern im Einsatz. In den letzten drei Jahren wurde RapidMiner über 250.000-mal von der Open Source Plattform SF.net heruntergeladen, alleine im August 2007 über 20.000-mal. Und wie bei jeder Open Source Software gilt: Wer all dem nicht traut, kann die Software ja kostenlos herunterladen, testen, in den Quellcode schauen und was auch immer sonst selbst evaluieren.

Zitat von »Lasa«

Folgende Fragen habe ich noch auf dem Herzen:

1; Ist die Zahl der Teilnehmer für dass oben aufgeführte Seminar begrenzt? Wie viele?

Normalerweise haben unsere Schulungen zwei bis sechs Teilnehmer, d.h. es ist eine sehr interaktive Gestaltung mit vielen individuellen Fragen und Antworten möglich. Normalerweise beschränken wir die Teilnehmerzahl auf acht Teilnehmer. In Ausnahmen und bei homogenen Teilnehmergruppen könnten wir uns aber auch größere Teilnehmerzahlen vorstellen, wenn dies von den Forumsmitgliedern gewünscht werden sollte. Wegen des erhöhten Vorbereitungsaufwands für dieses Seminar (inklusive Software(anbindungs)entwicklung) würden wir hier vermutlich eine Mindestteilnehmerzahl von vier Personen ansetzen.

Zitat von »Lasa«

2; Ist es möglich, eine vernünftige Prognose der zukünftigen Wertänderung zu erhalten, wenn ich als Input lediglich die ROC s der Basis verwende?

Das hängt davon ab, was man unter vernünftig versteht... ;^)

Man kann die zukünftigen Werte einer Zeitreihe oder ihre zukünftigen Veränderungen aus den vergangenen Werten dieser einzelnen Zeitreihe oder ihren vergangenen Veränderungen vorhersagen (uni-variate Zeitreihenprognose), besser sind die Ergebnisse allerdings in der Regel, wenn man weitere Indikatoren und andere Zeitreihen hinzunimmt (multi-variate Zeitreihenprognose). Was dann jeweils gut genug ist, hängt sicher von der konkreten Anwendung, beispielsweise dem konkreten Basiswert und Handelssystem, den eigenen Erfolgskriterien und Sicherheitsbedürfnissen ab und läßt sich nicht völlig generell und pauschal beantworten. Dass es hinreichend viele RapidMiner-Nutzer gibt, die mit den Ergebnissen hinreichend zufrieden sind, zeigt die obige Referenzliste und unser bisheriger wirtschaftlicher Erfolg.

Zitat von »Lasa«

3; Welche software, eignet sich gut, um die Prognosen von Rapid Miner zu handeln (realtime, Anbindung)?

Ich sehe da keine Notwendigkeit für eine Beschränkung auf eine bestimmte Software für eine Anbindung. RapidMiner liefert Prognosen und kann diese über Datenbank- oder Datei- oder Programmierschnittstellen (Java) zur Verfügung stellen. Jedes Handelssystem, dass mit einer dieser Schnittstellen umgehen kann, kann diese Prognosen nutzen. Für andere Handelssysteme lassen sich bei Bedarf mit in der Regel überschaubarem Aufwand entsprechende alternative Schnittstellen implementieren. Bei Interesse/Bedarf können wir von Rapid-I das übernehmen.

Zitat von »Lasa«

4; Nutzt du selbst INV?

Bisher noch nicht. Gibt es genügend ernsthafte Interessenten, werden wir für das Seminar eine Lizenz erwerben, uns in Investox einarbeiten und eine Anbindung von RapidMiner an Investox implementieren, ehe das Seminar stattfindet. Das Seminar würde sich ohnehin weniger mit Investox im allgemeinen befassen, sondern speziell mit der Anbindung an RapidMiner, mit Financial Data Mining generell und mit RapidMiner speziell und wie man das dann alles für/mit Investox nutzen kann.

Mein Vorschlag für das weitere Vorgehen im Hinblick auf das Seminar ist:
(1) Wer ernsthaftes Interesse an einer Seminarteilnahme hat, nenne uns/mir bitte unverbindlich seinen Namen und seine E-Mail-Adresse (z.B. per E-Mail an request(at)rapid-i.com).
(2) Wir stimmen dann mit allen Interessenten den Termin und die genauen Inhalte des Seminars ab.
(3) Gibt es dann hinreichend viele Anmeldungen zum Seminar zu diesem Termin, werden wir das Seminar veranstalten und neben den abgesprochenen Themen zum Seminartermin auch die Investox-RapidMiner-Anbindung liefern.

Zum Termin: Wegen unserer hohen aktuellen Auslastung können wir den Seminartermin frühestens im Juli anbieten. Ein Forumsteilnehmer, der bereits sein Interesse bekundet hat, ist in den ersten beiden Juli-Wochen allerdings im Urlaub, so dass es vermutlich sinnvoll ist, das Seminar erst danach anzubieten. Wie auch immer, wir sind mit dem Termin nach hinten relativ flexibel, nur nicht nach vorne. Von mir aus können die Interessenten den Termin untereinander terminkonfliktfrei oder zumindest mehrheitlich abstimmen. Wir organisieren diese Abstimmung auch gerne bei Angabe der E-Mail-Adressen und der Terminwünsche.

Viele Grüße
Ralf

www.rapid-i.com
request(at)rapid-i.com
+49-(0)700-00-727-434

Zitat von »ulukai«

... ich versuche ein svm system auf RM-Basis zu schaffen nur das Projekt (anhang), da komme ich nicht weiter, ...

Hallo Ulukai,

bei technischen Problemen bietet sich das öffentliche RapidMiner Diskussions- und Supportforum bei SourceForge an:

http://sourceforge.net/forum/forum.php?forum_id=390413

Dort gibt es kostenlose Unterstützung durch andere Nutzer und auch durch das Rapid-I Team und deutlich schnellere Unterstützung als hier. Noch schneller geht es mit professionellen Support mit garantiert kurzen Antwortzeiten:

http://rapid-i.com/content/view/60/75/

Aber nun zur konkreten Frage:

Zitat von »ulukai«

... es soll ja eine datei eingelesen werden mit den infos zeit open high low close volume ... und am ende soll nur zeit und prediction als angaben rauskommen und in eine datei geschrieben werden, so wie bei dem system anke/reiner...

aber immer wenn ich bei dem projekt "ExampleSetWriter" anhängen will sagt es es gibt gar kein ExampleSet ?? aber hat er mit dem LibSVM nicht schon eins errechnet?

Normalerweise konsumiert ein Lernverfahren wie der LibSVM-Lerner in RapidMiner seine Trainingsbeispiele, d.h. der Speicher der Trainingsmenge wird im Default-Fall nach dem Lernen freigegeben und die Beispielmenge steht dann nicht mehr zur Verfügung. Will man das nicht, sondern die Beispielmenge (ExampleSet) weiternutzen, beispielsweise um sie mit den Prognosen (predicted labels) abzuspeichern (z.B. per ExampleSetWriter), dann erreicht man das einfach durch Setzen des Parameters "keep example set" im Lern-Operator (hier LibSVM). Also einfach das Kreuzchen in diesem Kästchen bei der LibSVM setzen und schon existiert das ExampleSet auch nach dem LibSVM-Aufruf noch.

Will man nur einzelne Attribute (Tabellenspalten) speichern, so kann mit Hilfe eines FeatureSubsetSelection-Operators die gewünschte Attributteilmenge (z.B. Zeit und Prediction) auswählen, so dass nur diese in die Datei gespeichert werden.

I hope this helps.

Viele Grüße und eine gute Nacht,
Ralf

http://www.rapid-i.com/