Mittwoch, 17. April 2024, 00:06 UTC+2

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

Lieber Besucher, herzlich willkommen bei: INVESTOX-Forum. Falls dies Ihr erster Besuch auf dieser Seite ist, lesen Sie sich bitte die Hilfe durch. Dort wird Ihnen die Bedienung dieser Seite näher erläutert. Darüber hinaus sollten Sie sich registrieren, um alle Funktionen dieser Seite nutzen zu können. Benutzen Sie das Registrierungsformular, um sich zu registrieren oder informieren Sie sich ausführlich über den Registrierungsvorgang. Falls Sie sich bereits zu einem früheren Zeitpunkt registriert haben, können Sie sich hier anmelden.

claudio

unregistriert

1

Sonntag, 20. November 2005, 11:18

TXT Intradaydateneinlesen TP versus Disktrading

Hallo zusammen,

ich hab ein paar Fragen an euch zwecks Intradaydateneilesen:
Bei Neurex.de gibt es verschiedene Forextickdaten ca. 3 Jahre insgesamt pro Titel.
Ein Titel ist in 35 Txt Dateien a 5 MB angelegt.Bei mir dauert das Einlesen pro Datei schon ewig mit dem Textimport Assistenten (vor allem wird bei jeder Nachfragen nach Kennzeichen der ganze Titel gescannt ohne dass man auf einmal alle Häckchen machen könnte).

Kann man die txt Daten geschickter einlesen?
Wie verbindet man die Daten am besten miteinander extern als riesen txt oder lassen sie sich innerhalb von Investox miteinander verbinden?


Ich habe auch im Thread von Adrian (e mini russel 2000) vom Datenanbieter Diskdata gelesen http://disktrading.is99.com/disktrading/ , hab mir ein paar Testdateien herunter geladen. Wenn ich die CSV Tickdatei von 17MB (ES4U) einlese braucht der PC mehr als eine halbe Stunde. Der durch die 17MB abgedeckte Zeitraum sind dann nur!! 5 Tage im Gegensatz zu einen von TP gelieferten RTT Titel ESP4 auch ca. 17MB - für den kompletten Kontrakt, warum?


Für das Backtesting habe ich bis dato jeweisl ein Kontrakt nach dem anderen getestet und dabei natürlich jeweils eine verschiedene Performance erzielt. Wie macht ihr das?

Gruß
Claudio

Wiwu Weiblich

Experte

Registrierungsdatum: 4. September 2002

Beiträge: 1 752

Wohnort: Neuenhagen b. Berlin

2

Sonntag, 20. November 2005, 12:01

Zitat

Kann man die txt Daten geschickter einlesen?


Ich mach es bei größeren *.txt-Dateien vorzugsweise so, dass ich mir zuerst eine Dummy-RTT Datei anlege. Dazu zeichne ich in Investox RTT zunächst einen Titel kurz auf, den ich garantiert nie brauchen werde (...vorzugsweise irgendein exotisches Zertifikat). Diese erste Aufzeichnung dient nur dem Zweck, eine neue *.RTT-Datei anzulegen.
Ist die Datei angelegt, wechsele ich in den Dateninspektor von Investox RTT und lösche zunächst sämtliche Kursdaten aus dieser neuen Datei, so dass die Datei komplett leer ist.
Unmittelbar danach wähle ich im Dateninspektor "Importieren", gebe als Datenquelle die eigentliche *.txt-Datei an und lese die gewünschten Daten ein.
Je nachdem wie groß die Anzahl der einzulesenden Daten ist, verwende ich manchmal auch für einen Titel mehrere *.RTT Dummy-Dateien - z.B. immer eine neue Dummy RTT-Datei pro komplettes Jahr Tickdaten.
Danach melde ich dann die neuen Titel (Datenquelle Investox-Realtime) ganz normal im Investox-Titelverzeichnis an. Dabei achte ich dann darauf, dass ich möglichst aussagekräftige Namen für den Titel und die WKN vergebe.
RTT-Dateien werden in Investox schneller verarbeitet, als *.txt-Dateien.

Die Tickdaten bereits komplett abgeschlossener Jahre komprimiere ich außerdem gern innerhalb von Investox-Berechnungstiteln vor. Bei diesen Berechnungstiteln wähle ich dann keine Aktualisierung. Ist ja auch nicht mehr nötig - die historischen Tickdaten verändern sich nicht mehr.
Aktualisiert wird bei mir lediglich die letzte Datei für das aktuelle Jahr, weil hier ja immer die laufenden neuen Kurse eingepflegt werden müssen.

Zitat

Wie verbindet man die Daten am besten miteinander extern als riesen txt oder lassen sie sich innerhalb von Investox miteinander verbinden?


In Investox 4 gibt des dafür die Kombititel. Innerhalb eines Kombititels kann man Kursdaten verschiedener Einzeldateien zu einer Gesamtdatei verbinden.

Durch die Bündelung der o.g. Maßnahmen erhalte ich dann z.B. ohne größere Probleme eine fortlaufende Intraday-Kursdatei für den FDAX in 30-Minuten Komprimierung von 1997 bis aktuell.

Diese Datei ist dann eine meiner Basisdateien für die Systementwicklung.
Viele Grüße von Anke

http://www.ascunia.de

klexer

unregistriert

3

Sonntag, 20. November 2005, 12:04

RE: TXT Intradaydateneinlesen TP versus Disktrading

Hallo Claudio

kleiner Trick:
mach Dir einen Dummy, der genau die Zahlen deiner einzelnen Titel hat, aber lediglich vielleicht 20 Zeilen lang ist.

die ersten Zeilen müssen aber exakt so sein wie die nachfolgenden Titel.

Dann liest Du den Dummy ein und machst die Einstellungen entsprechend.
Der Trick:
kurz vor Ende kannst Du noch Titel einfügen, die genau diesem Schema entspreche müssen.
Diese Titel hängst Du an und hast---- schwupp----- alle Titel eingelesen, ohne sie extra jedesmal neu einzustellen, vorausgesetzt sie sind alle gleich strukturiert (open, high, Datum etc. immer an gleicher Stelle.

Wenn Du Probleme damit hast, komm doch mal vorbei, bin auch in Stuttgart

schöne Grüße igi

claudio

unregistriert

4

Sonntag, 20. November 2005, 12:26

Hallo Anke,

besten Dank für die schnelle Antwort - das mit dem RTT Import hab ich schon mal versucht, da aber die TXT Daten OHLC sind und sie als CSV Datei, quasi am Stück vorliegen, kann ich sie nicht in das RTT Modul einlesen, weil diese nur Datum und Close verarbeitet. Wie machst Du das?

Das mit den Berechnungstitel werde ich auf jedenfall so übernehmen - hilft mir ungemein weiter:-))



Hallo Igi,

Deine Idee ist super, einfach und wirkungsvoll hätt ich ja auch selbst drauf kommen können , werde das mit den vorliegenden Daten gleich mal umsetzen.
Treffen in Stuttgart wäre super bei mir oder bei Dir, egal - ich hab auch nichts dagegen, wenn weitere Invstoxuser dazukommen was meinst Du?

Bis dann
Claudio

Wiwu Weiblich

Experte

Registrierungsdatum: 4. September 2002

Beiträge: 1 752

Wohnort: Neuenhagen b. Berlin

5

Sonntag, 20. November 2005, 12:49

Zitat

Wie machst Du das?


Hallo Claudio,

wenn die Dateien txt- OHLC Datenfelder enthalten, sind es imho gar keine echten Tickdaten, sondern vorkomprimierte Daten (z.B. Minutendaten oder 5-Minuten Daten).

Mein Lösungsvorschlag oben bezieht sich nur darauf, dass echte Tickdaten verwendet werden. Ich mache das so - deshalb habe ich das von Dir angesprochene Problem gar nicht.
Bei mir wird nur das Datenfeld "close" geliefert.

An Deiner Stelle würde ich sicherlich zunächst die Kombination :
mehrere Berechnungstitel (soweit wie möglich ohne laufende Aktualisierungen) als Basis für 1 Kombititel (setzt V4 voraus) wählen.
Viele Grüße von Anke

http://www.ascunia.de

claudio

unregistriert

6

Sonntag, 20. November 2005, 13:11

Hallo Anke,

Danke für Deine Mühe - ich schaffs trotzdem nicht :
zum einen sind z.B: die txt Daten von Neurex nur close Kurse aber halt in einer Zeile getrennt durch Leerzeichen, das mag das RTT wohl nicht ?

Und zum anderen sind die Disktrading Daten ebefalls in einer Zeile als OHLC (was natürlich bei Tickdaten keinen Sinn hat - da hast Dur sehr recht)
gespeichert.

Ich hab mal 2 Bilder angehängt.

Im Grunde bräuchte man (ich gehe davon aus dass dieses Problem noch mehrere User betrifft) einen "Datenreihenspalter" - ich werde das mal am Montag mit Access ausprobieren, ansonsten fällt mir nur ein noch zu schreibender script als Lösung ein.

Verrätst Du mir noch D1einen Datenlieferanten Intraday - txt?

Sonnige Grüße
Claudio
»claudio« hat folgende Bilder angehängt:
  • Neurex_txt.jpg
  • Disktrading_csv.jpg

klexer

unregistriert

7

Sonntag, 20. November 2005, 13:36

hi claudio

du hast die Daten falsch in excel eingelesen

zuerst excel öffnen, dann die Datei

und entsprechend einstellen.

Wiwu Weiblich

Experte

Registrierungsdatum: 4. September 2002

Beiträge: 1 752

Wohnort: Neuenhagen b. Berlin

8

Sonntag, 20. November 2005, 13:37

Zitat

um einen sind z.B: die txt Daten von Neurex nur close Kurse aber halt in einer Zeile getrennt durch Leerzeichen, das mag das RTT wohl nicht ?


Ich weiß nicht, ob das wirklich der Grund ist. Meiner Meinung nach könnte man das Problem sonst auch durch den Zwischenschritt:

-Kopieren der *.txt-Datei in (z.B.) Exel - neues Abspeichern als txt-Datei mit Trennzeichen Komma oder Semikolon oder
- direktes Ersetzen der aktuellen Trennzeichen in der *.txt-datei (über Bearbeiten ---> Ersetzen) lösen.

Problematischer erscheint mir schon, dass im Bild 1 hinter dem Datum keine Uhrzeit erscheint....

Ich kann Dir aber hier leider nicht mehr weiter helfen.

Obwohl ja immer wieder über Tai-Pan gemeckert wird - ich persönlich zahle nach wie vor lieber meinen kleinen monatlichen Obolus für 15-Minuten verzögerte Tickdaten zum Backtesten.
Probleme -wie von Dir geschildert- kenne ich dafür nicht. =)

Es muss aber jeder für sich entscheiden, was für ihn die beste Variante ist. Möglicherweise arbeitet ja jemand anders noch mit den Neurex-Kursdaten und kann Dir noch weitere Tips geben .....
Viele Grüße von Anke

http://www.ascunia.de

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »Wiwu« (20. November 2005, 13:43)


heraklis

unregistriert

9

Sonntag, 20. November 2005, 17:16

Hallo,

vielleicht hilft dir das kleine Prog. Hatte das gleiche Problem.
Würde mich freuen, wenn ich mal helfen könnte.
In "Beispiel_Daten.txt" siehst du wie meine Daten aussehen. Der einzige für mich erkennbare Unterschied ist, dass die Felder bei mir durch Tab's und bei Dir durch Komma getrennt sind. Dies ist sicher leicht mit einem Editor zu erledigen.

Das Prog legst du am besten in dein Datenverzeichnis.
Zur Ausführung einfach die Eingabedatei mit der Maus auf das Prog ziehen. Die Ausgabedeite erhält dann die Extension .OUT

Diese Datei kann dann in RTT importiert werden.
Bei Fragen - einfach fragen.

Gruß heraklis
»heraklis« hat folgende Dateien angehängt:
  • Beispiel_Daten.txt (276 Byte - 553 mal heruntergeladen - zuletzt: 8. April 2024, 05:30)
  • mnd2inv.zip (25,96 kB - 467 mal heruntergeladen - zuletzt: 8. April 2024, 05:30)

claudio

unregistriert

10

Montag, 21. November 2005, 14:08

@ Anke,

ich hab TP EOD und suche aber noch nach bezahlbaren Intradayhistorien. In diesem Sinne hab ich mal an Disktrading eine Anfrage gestartet ob sie die daten nicht gleich in "unserem" Format liefern können.
Ich halte euch da auf dem laufenden.

@ Heraklis,
- welch bedeutsamer Name - ich werd heut abend mal Deine SW testen.

bis dann
Claudio

claudio

unregistriert

11

Dienstag, 22. November 2005, 14:43

Heraklis,

ich deine exe mal ausprobiert, ziehe ich eine txt mit semicolon Format drauf generiert es eine Datei mit genau 0kB.

Gibts da noch'n trick?

Für alle zur Info:
Hab noch keine Neuigkeiten von Disktrading, ich vermute die stecken mitten in den thangsgiving Vorbereitungen.

Gruß
Claudio

klexer

unregistriert

12

Dienstag, 22. November 2005, 17:37

hi claudio

sieh mal in dein Postfach

schöne Grüße igi

heraklis

unregistriert

13

Dienstag, 22. November 2005, 20:00

Hallo claudio,

deine daten müssen so aussehen, wie in der Datei "Beispiel_Daten.txt", also die Felder durch Tab getrennt. Du kannst leicht mit einem Texteditor das Semikolon durch Tab austauschen.
Auch das Datum muss in diesem (amerikanischen) Format vorliegen.
Hinweis: Habe die Open, High, Low, Close-Kurse einfach in Tickkurse so umgesetzt, dass immer der jeweilige Wert als Close-Kurs genommen wird. Die Uhrzeit bleibt dabei gleich, also gleiche Minute. Beim letzten Wert in der jeweiligen Minute habe ich das Volume noch übernommen.
Durch diese Maßnahme werden natürlich keine richtigen Tickdaten daraus, aber ich musste es in diese Form bringen, dass die Daten dann mit RTT importiert werden konnten. Für meine Zwecke war es so ausreichend.

Hoffe, dass ich hiermit alle Klarheiten beseitigt habe.
Gruß
heraklis

claudio

unregistriert

14

Samstag, 26. November 2005, 16:58

Hallo,

es gibt noch nichts neues von Disktrading (warum erscheint der Name eigentlich rot hier im Forum?) - jedenfalls habe ich die Sache angeleiert , weil ich die Daten im lesbaren Format für das RTT wollte, weil ich davon ausgehe , dass sie dann beim einlesen komprimiert werden und die Bearbeitung im Programm schneller geht. Bei txt/csv Dateien dauert das einlesen meiner Erfahrung nach länger als bei rtt Daten. Oder bin ich da auf dem Holzweg?


Gruß
Claudio

heraklis

unregistriert

15

Samstag, 3. Dezember 2005, 23:58

Hallo claudio,

ja das Einlesen von txt/csv-Dateien dauert länger, weil es sich um Klartext handelt, der durch die entsprechenden C-Routinen erst interpretiert werden muss. Dies ist aufwendig.
Die Daten im RTT-Format sind binär gespeichert. D.h. diese Daten sind ohne Umformung direkt im Programm verwendbar. Das spart natürlich Zeit.
Wenn Du mit einem Hex-Editor Dir beide Dateien ansiehst, dann erkennst Du den Unterschied.
Dies war auch der Grund, warum ich den Weg über die eigengeschriebenen Programme gewählt habe.
Schöner wäre es, wenn Investox beim Einlesen von txt/csv die dann umgewandelten Daten in einer neuen Datei in binärer Darstellung speichern würde. Oder es gäbe ein entsprechendes Konvertierungsprogramm.
Viel Erfolg weiterhin.
heraklis

claudio

unregistriert

16

Sonntag, 4. Dezember 2005, 19:02

Hallo Heraklis,

von Disktrading gibt es noch keine Info ob sie die Daten nach unseren Wünschen aufbereiten werden.
Ich hab nun mehrmals versucht Deine original Beispieldatei in das mnd2in.exe programm zu ziehen - es wird stets eine Beispieldatei mit 0kb erzeugt - Ich habe XPSP2 , muß ich da noch was beachten?

Gruß
Claudio

heraklis

unregistriert

17

Sonntag, 4. Dezember 2005, 23:16

Hallo Claudio,

sorry, beim Erstellen der Beispiel-Datei ist mir ein Fehler unterlaufen. Am Ende der letzten Zeile fehlt ein CRLF, also die Umschaltung auf eine neue Zeile. Du kannst das leicht mit einem beliebigen Editor, wie Notepad, korrigieren.
Da mein Pgm sehr einfach gehalten ist, wird dieser Sonderfall nicht berücksichtigt.

Hier nochmal die Eingabe- und Ausgabedatei.
Ich hätte es vorher mal prüfen sollen.

Musste die Ausgabedatei zippen, da ich sie sonst nicht hochladen konnte.

Viel Erfolg
heraklis
»heraklis« hat folgende Dateien angehängt:

claudio

unregistriert

18

Mittwoch, 7. Dezember 2005, 19:45

Danke nun funktioniert es Heraklis.

Wobei nun eine weitere Herausforderung entseht:
Wenn ich eine csv Datei mit mehr als 65000 Zeilen in Excel öffnen möchte streikt das Programm. Alternativ hab ich die "Disktradingdatei"mit dem Notepad geöffnet, da kann ich aber nicht die letzten 2 Spalten löschen.

Kennt ihr einen Editor der das kann?

Gruß
Claudio

heraklis

unregistriert

19

Mittwoch, 7. Dezember 2005, 20:47

Hallo Claudio,

denke, dass es mein Pgm ist, das nicht mehr als 65000 Zeilen kann. Das Pgm ist als Dos-Pgm geschrieben. Mit Windowsprogrammierung habe ich mich nie befasst.

Das Löschen von Spalten geht z.B. mit UltraEdit 32. Leider nicht Freeware.
Gruß
heraklis

Gerasan

unregistriert

20

Dienstag, 10. Januar 2006, 00:24

Hallo Claudio,

ich bin auch auf der suche nach bezahlbaren Intraday Daten. Da Du dich mit disktrading bereits beschäftigt hast, kannst Du vielleicht diese Fragen beantworten:

  • Wie hasst Du die Beispieldaten im CSV-Format bekommen? auf deren Seite sehe ich nur Daten im .omz Format.
  • Aus obenstehenden Postings kommt hervor, daß Disktrading Daten nich wirklich als Tickdaten vorliegen. Die sind mit OHLC Kursen angegeben, oder aber als Close-Kurse ohne Intraday Zeitstempel angegeben. Stimmt es?
  • Haben sie dir geantwortet?


Frage an alle: Wo könnte man sonst Intraday Datenhistorien kaufen?
Betonung liegt auf Historie. Ich möchte nur Backtesten, brauche also kein Abo für Aktualisierungen. Es müssen auch keine Tickdaten sein. Minutenkomprimierung wäre ausreichend.
Ich suche Futures auf folgende Instrumente:

S&P500
S&P500 e-mini
NASDAQ
NASDAQ e-mini
T-Bonds
CRB
EUR/USD
YEN/USD
FBLG
FDAX

Kennt jemand evt. einen Anbieter, bei dem man diese Kontrakte einzeln kaufen kann?