INVESTOX-Forum

Hello,

ich würde gern Tickdaten in Textformat (ANSI/ASCII) importieren um ein Handelsystem auf Tickdatenbasis zu testen.

Die Dateien sind aber riesieg 2GB bzw. 7GB. Import endet gleich nach dem Auswählen der Datei mit folgender Fehlermeldung:



Mich hätte jetzt interessiert, was ist die Obergrenze der Größe beim Upload der txt Dateien. Gibt es vielleicht eine Möglichkeit die Datei in RTT Datei zu konvertieren? Bzw. wie kann ich die Datei verwenden, ohne auf eine größere Komprimierung umzusteigen?

Danke!
Giuseppe

PS: HW-mäßig habe ich 32GB RAM installiert

Hallo Bernd,

danke für den Hinweiss. Dein Beitrag habe ich bei der Suche nicht gefunden.

Ich habe nach deiner Anleitung alle Schritte durchführen können. Ich habe den Script an meine Dateien angepasst (siehe Anhang). Leider bekomme ich das mit dem Import nicht hin. Die Fehlermeldung ist die gleiche. Ich versuche hier zu beschreiben wie ich vorgegangen bin, was ich geändert habe und wie die Ergebnisse ausschauen. Vielleicht fällt dir oder jemandem was auf.

Vorgehensweise:

1. Schritte 1-5: konnte ich ohne Probleme durchführen und gawk auch erfolgreich testen.
2. Schritt 6: Meine Inputdateien sind txt, die Kommagetrennt sind, ohne Header.
   
3. Schritt 7: meine awk-Script anpassungen:

• ORS="\n\r"; --> ORS="\n"; --> sonst waren bei mir zwischen den Textzeilen leere Zeilen
• datespec = substr($1,7,4)" "substr($1,1,2)" "substr($1,4,2)" "substr($2,1,2)" "substr($2,4,2)" "substr($2,7,2); --> in meiner Datei sind die Sekunden vorhanden, deswegen habe ich sie hinzugefügt.
• print strftime( "%d.%m.%Y\t%H:%M:%S", timestamp), $3, $4 >> (FILENAME ".rtt.txt"); --> ausgabe mit Date, Time, Close, Volume da Tickdaten

Anhang [die Beispieldateien wurde mit more dateiName1>dateiName2]:

1. Mein awk-Script: a2rtti.awk.txt a2rtti.awk.txt
2. Beispiel Inputdatei (ursprüngliche Datei XIV.txt is 2GB groß): exampleInput.txt --> Tag und Monat sind vertauscht mm.dd.yyyy, kein Header, Komma als separator
   exampleInput.txt
3. Beispiel Outputdatei: exampleInput.txt.rtt.txt exampleInput.txt.rtt.txt --> Tag und Monat korrekt dd.mm.yyyy, Header vorhanden, Tab als separator

Problem:

Wenn ich jetzt die kleine Inputdatei (2) umwandle, bekomme ich die Datei (3). Hier scheint alles ok zu sein. Ich kann dann die Datei (3) in Investox über: Neues Projekt --> Titel für neues Projekt Auswählen --> Neu --> Tabellen in Textformat (ASCII) ... importieren. Erstelle ich jetzt aber eine RTT-Datei aus dem 2GB Inputdatei (konvertierung verläuft ohne Probleme, dauert nur länger) und versuche ich diese neu erstellte Datei in Investox zu importieren bekomme ich wieder die Fehlermeldung beschrieben in meinem ersten Posting.

Mir ist noch aufgefallen, dass wenn ich zur Prüfung more XIV.txt.rtt.txt>text.txt aufrufe, dann sind die Werte nicht durch Tabulator sonder durch Leerzeichen getrennt. Siehe test.txt

Danke für jeden Hinweis!

LG
Giuseppe

Hallo zusammen,

nach etlichen Tests und Versuchen ein Update für alle:

1) Die Umgewandelte Daten, so wie mit gawk erstellt werden sind ok und korrekt.

2) Das Problem stellt offensichtlich die Dateigröße dar (auch hier beschrieben: Link1, Link2)

3) @Bernd: du hast eine Möglichkeit beschrieben wie du die große Dateien importierst. Handelt es sich um die klassische ASCII Tabellen-Import? Wenn nicht, wo und wie importierts du die Daten.

4) Ich habe jetzt meine Datei auf 3 kleinere aufgeteilt, importiert und dann durch ein Kombititel zusammengeführt. Das hat gut geklappt und die Daten incl. Adjustierung schauen gut aus.

Es wäre schon super wenn der Import von großen Dateien einfacher wäre.

LG
Giuseppe

Hello Bernd,

sorry für die späte Antwort. Noch mal danke für deine Anleitung. Ich konnte die Daten erfolgreich importieren.

Zu der Zeitzonenanpassung: bzw. auch die Adjustierung der Daten würde ich R empfehlen.

1) Es handelt sich um eine Matrixbasierte programiersprache für die Mathematische- und Statistische- Modelierung
2) Es steht frei zum herunterladen: R-Download
3) Auch eine Entwicklunsumgebung steht frei zum Download bereit: R-Studio-Download
4) Es sind viele Beiträge / Videos / Anleitungen im Internen wie man die Sprache programmiert.

Mit wenigen Zeilen kann man Daten laden, bearbeiten, analysieren und wieder speichern.

Hier ein Beispiel eines Scripts, das ich für die Anpassung der Daten benutze incl. anpassung der Zeitzonen.

ConvertTimeZone.zip

Vielleicht kann es helfen

LG
Giuseppe