INVESTOX-Forum

Hallo allerseits,

Ich habe ca. 7 Mio Tickdaten und möchte diese per .csv in Investox importieren. Was ist performancetechnisch besser, die Daten in mehrere kleinere .csv's zu zerlegen oder eine große Datei importieren?

Und ist es für Investox eigentlich schneller/leichter wenn das Datum als String (wie 2011-07-04) oder als die "fortlaufende Excelzahl" (wie 40952,73) in der csv steht? Ist es für den Import besser wenn Zeit/Datum zusammen oder in getrennten Spalten stehen?

Grüße!

Hi Bernd,

Zitat

Ich vermute, in diesem Bereich der csv-Massendaten bist Du der
Protagonist. Was da performance-technisch besser ist, wird Dir kaum
jemand raten können.

Wie läuft das denn bei den anderen/Dir wenn man große Datenbestände importieren will? Außer Metastockformat oder Taipan bleibt ja nur .csv? Oder nutzt ihr dafür dann andere Programme?

Da Investox schon ziemlich lange braucht (10min+) um diese Kurshistorie im Chart zu starten (wie wird das dann bei Optimierung) und es einfach zu viele Möglichkeiten gibt um das alles auszuprobieren und alle Kombinationen davon, wäre ich wirlich dankbar wenn jemand einen Tipp hätte wo es sich eher lohnt nach Geschwindigkeitssteigerungen zu suchen:

1.) Datum string vs Zahl
2.) Eine große .csv in einem Titel vs. mehrere kleinere kombiniert über Kombinationstitel
3.) Installation besser in Win7 oder VM mit Simulation
4.) Welche Hardware bringt mehr (abgesehen von SSD). Ich habe 8GB Ram das sollte genügen oder?

Danke für den Tipp mit den Zeitstempeln. Sie sollen UTC sein, ich checke das aber nochmals, damit hier kein In-die-Zukunft-Schauen entsteht.

Hi Lenzelott,

für deine vielen Infos.

Zu dem RTT Format: Ich nutze Investox 5 XL EOD, kann ich damit überhaupt die Daten in RTT konvertieren? Wie mache ich das mit dem konvertieren gibt es dazu ein externes tool (Hach das erinnert an die alten Metastock/NWP Datenabo-Zeiten)?

Der andere interessante Vorschlag mit dem Berechnungstitel habe ich mal - so wie du gesagt hast mit 1min Komprimierung - ausprobiert. Hier habe ich aber das Problem, dass wenn ich dann hinterher eine Titel auf Basis des BT erstelle ich nur Kurse bis Mai diesen Jahres angezeigt bekomme, es sind aber viel mehr Daten vorhanden (bis Juli 2010). Die maximale Anzahl der Ticks in der Titeleinstellung konnte von mir nicht mehr geändert werden (ausgegraut) stand aber bei 100Mio, die ursprünglichen Daten waren aber 7Mio Tickdaten. Wie behebe ich das? Ich will die Daten definitiv bis Anfang.

@Sten: prinzipiell teile ich deine Auffassung mit dem 1 Jahr es passt in diesem Fall mit IB Aufzeichnungen aber nicht so gut, da ich schon gute Daten habe und diese etwas analysieren will. Auf foward looking werde ich achten wie der Teufel auf die Seele

P.S. Wenn ich hier Leute mit Namen anspreche, ist natürlich trotzdem jeder eingeladen so kommentieren, wie ihr euch bestimmt schon gedacht habt.
Grüße!

Hi Frank,

der Import von csv- Daten war in den >13 Jahren des Forums immer wieder ein umstrittenes Thema.
Ca. 150 Threads bzw. Beiträge existieren dazu....( Bild)
Hast du diese schon durchgearbeitet?
Ich habe den Import großer CSV-Dateien immer mal wieder durchlitten...um zum Schluss doch wieder bei IB-Daten zu landen.
Aber jeder muss natürlich seine eigenen Erfahrungen machen...und je größer die Komp, umso unwichtiger wird die Datenherkunft, solange man auf Tick-basierte Intraday-Stopps verzichtet.
Guten Rutsch wünscht,
Frieder

Hi Hd40307g,

also generell lese ich eigentlich ungern Threads die älter als 6 Monate sind - ändert sich einfach zuviel. Speicher, Cpu, Festplatten, Betriebssystem Versionen der Software etc. Was vor 5 Jahren unmöglich war ist heute vielfach Standard.

Ich habe mich jetzt aber doch durch die Leichen gefleddert. Besonders ein Thread klang ja interessant. Dort schrieb ein Frieder vor 5 Jahren:

Zitat

Hallo Arend,



aus einer parallelen Diskussion mit Lencellot habe ich gerade gelernt,
dass die von mir kreierten "RTT"-Dateien leider nicht denselben Zweck
wie echte RTT-Dateien erfüllen: RTT-Dateien sind immer Tick-Dateien,
sodass bereits der 1-Minuten-Komp-Titel in IV OHLC-Daten enthält,

was mit den obigen Daten ja nicht der Fall ist.



Um mit Ultraedit eine vergleichbare Qualität zu erzeugen müsste man aus
der 1-Minuten-txt-Datei 4 einzelne Dateien mit jeweils O/H/L/C erstellen
und diese danach mit jeweils 1 sec Verzögerung wieder zusammenmischen
und per Zeitstempel sortieren.



Das ist zwar alles in Ultraedit möglich, scheint mir aber doch zuviel
Aufwand angesichts der komfortableren Lösung des ASCII-Imports mit
anschließender Anlage eines Berechnungstitels.

"Nach einer Sekunde wieder zusammenmischen" "was?" " Leider verstehe ich das überhaupt nicht was damit gemeint ist.

Da Du Dich mit dem Thema ja wahrscheinlich gut auskennst (oder jemand anderes) wäre mir mit 2-3 dürren Zeilen glaube ich sehr geholfen, wenn mir jemand kurz die folgenden Fragen beantworte könnte. Ich habe dazu auch in der Anleitung nichts ZIELFÜHRENDES gefunden. Bei solchen Dingen Try and Error zu machen ist meiner Meinung nach eine BRUTALE Zeitverschwendung.

1. Ist es mit Investox 5 XL EOD überhaupt sinnvoll möglich RTT Dateien zu erstellen?
2. Wenn ich nun Daten habe die z. B. sekündliche Timestamp haben aber Ticks sind (die Sekunden sind also keine Bars, sonder mehrere Kurse können zu einer Sekunde exisitieren) was passiert dann? Geht das dann auch?
3. Dass die Daten im Mai 2013 abreißen hat das was mit der Begrenzung auf 32.000 Ticks in Investox zu tun? Ist das eine zeitliche Begrenzung a là 6 Monate, hat das was mit der Größe der Datei zu tun oder mit meiner Hardware? Ich könnte auch einen anderen Computer verwenden...

Danke - komme so nämlich nicht wirklich weiter. Ist mir viel zu viel unklar. Besonders da in einem der alten Threads der Berechnungstitel als Lösung präsentiert wird, ich aber genau das Problem habe, dass ich einen Berechnungstitel angelegt habe, der sich auf die Daten des Originaltitels (der mit 7 Mio Ticks, der sich so langsam öffnet) bezieht und diese auf 1-min komprimiert. Warum dann ausgerechnet diese vereinfachte Version nicht vollständig dargestellt werden kann, die ja vielleicht 98% kleiner ist als die Originaldatei verstehe ich dann überhaupt nicht...

Hoffe jemand weiß Rat..Ich würde nämlich ungern per pedes mit Excel die Daten zu einer Minuntenkerzen "komprimieren" und das dann importieren. Das wäre zeitaufwendig, nervtötend und unflexibel...

Grüße ans Board und jetzt wird bald das neue Jahr gefeiert!!

Hallo

Mich würde ja mal Interessieren wo die ungewöhnliche Lange Verarbeitungszeit der CSV Daten herrührt, das macht ja mit Investox nun wirklich keinen Spaß. Liegt es an VB oder an der Daten Architektur von Investox selbst.

LG

Also ich danke euch für eure Hilfe, Frieder, Lenzelott, sten, Bernd, Lobo dein Thread enthielt interessante Infos!

Ich habe jetzt noch einige gelesen und dann doch einiges rumprobiert.

Falls jemand vor einem ähnlichem Problem steht, habe ich hier meine Erfahrungen aufgeschrieben.
Meine (unvollständigen und eventuell fehlerhaften) Feststellungen für Investox 5 XL Eod und den Datenimport mittels .csv sehen folgendermaßen aus:

1. Die Grenze bei der Investox nicht mehr mitmacht weiß ich nicht genau. Bei 1 Mio Zeilen in der csv lief es noch bei 3,5Mio Zeilen lief es nicht mehr. Irgendwo dazwischen.
2. Daraus ergibt sich, dass man die Daten mittels Editor wie Notepad++ in mehrere Teile zerlegen muss, diese dann in Inv als einzelne Titel importieren und dann mittels Kombinationstitel wieder zusammenfügen.

Macht man das so wie beschrieben erhalte ich einen "fetten" KT der bei mir auf (zugegebenermaßen etwas betagter Hardware Dore Duo 1.66GHz) ca. 6 min zum Starten braucht (die 10min+ haben sich beim Messen mit Stoppuhr dann doch nicht bestätigt).

Das Arbeiten damit geht dann ganz zügig scrollen ist flüssig und wenn die komp verändert wird dauert das ca. 3-4 Sekunden.
Den Tipp von Lenzelott mittels Berechnungstitel vorzukomprimieren, habe ich ausprobiert. Bei 1min waren nur die letzten ca. 6 Monate vorhanden. Nachdem ich das Leistungsschema von standard auf Backtest eingestellt hatte, waren es ca. 2 Jahre. Erst mit einer Komp von 5min konnte ich dann alle 7mio Ticks im Chart darstellen. Das Öffnen und arbeiten des Charts des Berechnungstitels geht zügig.
Viele Grüße!

Zitat von »Lenzelott«

Zitat von »frank sinatra«

von standard auf Backtest eingestellt hatte, waren es ca. 2 Jahre.

Das liegt mit Sicherheit an der von Dir gewählten Einstellung für die maximale Anzahl komprimierter Perioden (Investox anpassen / daten).

Hi Lenzelott,

Dankeschöööön. Das war die Einstellung die ich gesucht habe/die gefehlt hat. Jetzt konnte ich den Berechnungstitel mit einer Minute Komp erstellen.

@Sten: Die Aussage, dass Investox 5 XL EOD irgendwo zwischen 1 Mio Zeilen und 3 Mio Zeilen (variiert sicherlich auch nach hardware) "Schluss" hat beim csv-Import ist doch nicht ehrenrührig - ist ja auch eine Menge Holz??? Habe ich doch auch sehr deutlich in den Beitrag geschrieben, dass es um Version 5 geht. Die Version 5 ist ja jetzt nicht aus der Welt, sie ist die Vorgängerversion und bei 390€ den Versionssprung überlege ich mir halt schon ob ich das wirklich brauche.

Nutze Investox eher unregelmäßig für einzelne Analysen und handle (noch) nicht damit.


Grüße an euch!