Dienstag, 16. April 2024, 18:59 UTC+2

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

Registrierungsdatum: 23. Oktober 2006

Beiträge: 216

1

Montag, 5. Oktober 2015, 14:28

Datenreihe komprimieren

Guten Tag
wer kann mir sagen, wie man eine Datenreihe, in diesem Fall historische Tickdaten auf den ESTX 50 über mehr als 10 Jahre, so komprimieren kann, so dass das Datenvolumen reduziert und die Handhabung somit verbessert ist?
Gibt es einen direkten Weg oder muss man über die Darstellung einer mit Komp( ) komprimierten, im Chart dargestellten Datenreihe gehen?
Danke
Gruß
Augustus

Registrierungsdatum: 23. Oktober 2006

Beiträge: 216

2

Dienstag, 6. Oktober 2015, 18:46

Hallo
ich hatte gedacht, dass einer der Gurus die Frage mit einem Satz beantworten kann. Vielleicht habe ich mich aber auch ungeschickt ausgedrückt.
Ich suche eine Möglichkeit eine viele Jahre lange Tickdatenreihe z.B. in eine Datenreihe auf 10 Min. komprimierte Datenreihe mit Berechnung jeweiligen OHLC Werte umzuwandeln und anschließend abzuspeichern.
Gruß
Augustus

Wiwu Weiblich

Experte

Registrierungsdatum: 4. September 2002

Beiträge: 1 752

Wohnort: Neuenhagen b. Berlin

3

Dienstag, 6. Oktober 2015, 18:56

Hallo augustus,

Du könntest Deine Tickdatenreihe(n) z.B. innerhalb eines Investox-Kombititels auf 10 Minuten vorkomprimieren.
Viele Grüße von Anke

http://www.ascunia.de

Registrierungsdatum: 23. Oktober 2006

Beiträge: 216

4

Dienstag, 6. Oktober 2015, 22:26

Hallo Anke
Vielen Dank. Genau die Funktion habe ich gesucht aber unter Suchbegriffen wie Titel oder Datenreihe komprimieren nicht gefunden.
@Herr Knöpfel: vielleicht kann man diese Begriffe bei Gelegenheit ins Benutzerhandbuch mit aufnehmen.
Nun habe ich aber doch noch ein Problem:
Die im Chart angezeigte originale Datenreihe auf Tickbasis wird von vollständig dargestellt. Dies dürfte daran liegen, dass die Anzahl der Werte zu hoch ist. Klick auf rechte Maustaste Dateninspektor erkennt man, dass die Reihe aus Daten von 2002 bis 2015 besteht und vollständig ist. Erzeugt man aus dieser Datenreihe nun einen Kombititel mit Komprimierung 10 Min. wird lediglich der Zeitraum der letzten beiden Jahre im Chart dargestellt.
Was muss ich tun, um eine Darstellung von 2002 bis 2015 mit 10 Min Komprimierung zu erhalten?
Danke
Gruß
Augustus

Wiwu Weiblich

Experte

Registrierungsdatum: 4. September 2002

Beiträge: 1 752

Wohnort: Neuenhagen b. Berlin

5

Mittwoch, 7. Oktober 2015, 00:21

Zitat

Was muss ich tun, um eine Darstellung von 2002 bis 2015 mit 10 Min Komprimierung zu erhalten?


Hallo augustus,

bitte versuche es wie folgt:

- Investox-Menü "Einstellungen" ---> Investox anpassen ---> Registerkarte "Daten" ----> maximale Anzahl Perioden nach Komprimierung deutlich hochsetzen - z.B. auf den Maximalwert 16 Mio.
- Investox-Menü "Einstellungen" ---> Investox anpassen ---> Registerkarte "Chart" - "Max. Ausschnitt" ggf. ebenfalls hochsetzen - z.B. auf den Maximalwert 500.000
- Investox-Menü "Einstellungen" ---> Leistungsschemen ----> Schema Standard aktivieren falls bisher nicht aktiv
- Menü Chart ---> Chart aktualisieren klicken
Viele Grüße von Anke

http://www.ascunia.de

Registrierungsdatum: 23. Oktober 2006

Beiträge: 216

6

Mittwoch, 7. Oktober 2015, 16:43

Hallo Anke
Vielen Dank für Deine wie gewohnt kompetente Antwort. Ich habe die Einstellungen kontrolliert und sie müssten nun den von Dir vorgeschlagenen entsprechen. Trotzdem wird noch immer nicht die vollständige komprimierte Datenreihe angezeigt. Vielleicht helfen folgende quantitative Informationen, die Ursache einzugrenzen:
Für die Darstellung der ursprünglichen Datenreihe auf Tickbasis gilt:
  • Der Dateninspektor zeigt tabellarisch Werte von 2002 bis 2015 und beziffert deren Anzahl auf 133.693.089
  • Die Information unten rechts am Chart besagt geladen 16.000.000 Perioden, dargestellt 500.000 Perioden
  • Die Chartdarstellung reicht von Okt 2014 bis heute, hierzu muss gescrollt werden
  • Ein Chartfenster stellt demzufolge weniger als 500.00 Werte dar.
  • Soweit alles nachvollziehbar.
Für die Darstellung derselben Datenreihe bei 1 Min Komprimierung eingestellt am Chart gilt:
  • Geladen 1.562.371, dargestellt 500.000
  • Dargestellt wird der Zeitraum Juni 2008 bis heute komplett in einem Chartfenster
  • Eine Darstellung 2002 bis Juni 2008 ist auch durch scrollen nicht möglich. Wenn ein Chatfenster tatsächlich weniger als 500.00 Werte anzeigt, müsste ich zu den restlichen Werten wie oben scrollen können. Das geht aber nicht.
Für die Darstellung derselben Datenreihe bei 10 Min Komprimierung eingestellt am Chart gilt:
  • Die Information unten rechts am Chart besagt: Geladen 157.306, dargestellt 157.306
  • Dargestellt wird weiterhin nur der Zeitraum Juni 2008 bis heute. Nun verstehe ich gar nichts mehr. Warum wird nicht ein größerer Zeitbereich dargestellt und warum gelangt man nicht durch Scrollen zu früheren Werten?
  • Kurzum. Ich kann die Chartdarstellung komprimieren wie ich möchte. Eine vollständige Darstellung der Zeitreihe ist nicht möglich.
Meine ursprüngliche Idee war ja, eine Tickdatenreihe durch Komprimierung mit Hilfe der Funktion Kombinationstitel über einen langen Zeitraum darstellen zu können. Das Komprimieren funktioniert auch. Bei der Darstellung zeigen sich aber die gleich Problem wie oben, weshalb ich mich bei der Darstellung der Problematik auf die Ursprungsdatenreihe beziehe.

Danke
Gruß
Augustus

Wiwu Weiblich

Experte

Registrierungsdatum: 4. September 2002

Beiträge: 1 752

Wohnort: Neuenhagen b. Berlin

7

Mittwoch, 7. Oktober 2015, 16:54

Hallo augustus,

Zitat

Dargestellt wird weiterhin nur der Zeitraum Juni 2008 bis heute. Nun verstehe ich gar nichts mehr. Warum wird nicht ein größerer Zeitbereich dargestellt und warum gelangt man nicht durch Scrollen zu früheren Werten?


Das ist üblicherweise nicht so bzw. kann eine triviale Ursache haben.
Bleibt das Verhalten bestehen, wenn Du Investox einmal komplett schließt und dann noch einmal neu startest?
Wenn nach dem Neustart alles korrekt angezeigt wird, könnte es an einer fehlenden Leerung des Titel-Zwischenspeichers gelegen haben.

Anbei meine Anzeige. Dargestellt wird der gesamte Zeitraum von 1999-aktuell in 10-Minuten Komprimierung.




Wie liegen Deine Tickdaten vor? In einer einzigen Endlos-Datei oder in mehreren Einzeldateien (z.B. Einzelkontrakte)?
Viele Grüße von Anke

http://www.ascunia.de

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »Wiwu« (7. Oktober 2015, 17:12)


Registrierungsdatum: 23. Oktober 2006

Beiträge: 216

8

Mittwoch, 7. Oktober 2015, 18:40

Hallo Anke,
die Tickdaten liegen in einer einzigen Endlosdatei vor.
Das Problem bleibt auch nach Neustart von Investox sowie auch nach Leeren des Zwischenspeichers bestehen.
Gruß
Augustus

Wiwu Weiblich

Experte

Registrierungsdatum: 4. September 2002

Beiträge: 1 752

Wohnort: Neuenhagen b. Berlin

9

Mittwoch, 7. Oktober 2015, 19:01

Hallo augustus,

Zitat

die Tickdaten liegen in einer einzigen Endlosdatei vor.


Dann wird die Einzeldatei zu groß sein.
Du kannst das Problem lösen, indem Du die Einzeldatei in 2 oder mehrere kleinere Dateien aufsplittest und diese kleineren Dateien dann chronologisch in den Kombititel einfügst und vorkomprimierst.
Aus dem RTT-Dateninspektor heraus sollte das Aufsplitten mit Hilfe von "Exportieren" gut klappen.
Viele Grüße von Anke

http://www.ascunia.de

Registrierungsdatum: 23. Oktober 2006

Beiträge: 216

10

Mittwoch, 7. Oktober 2015, 23:49

Hallo Anke
Leider kann man aus dem Dateninspektor heraus nur Textdateien erstellen, die sich später nicht zu Kombititeln verbinden lassen. Zum anderen wird das ein riesiger Aufwand, da ich zahlreiche historische Tickdateien komprimieren möchte. Alternativ könnte ich auch alle bereits angelegten und heruntergeladenen Datenreihen löschen und in einzelnen Abschnitten abspeichern aber auch das wird viel Arbeit.
Ich frage mich daher immer noch, warum ich diese Datenreihe nicht vollständig komprimieren kann, zumal sie kürzer ist als die von Dir oben dargestellte.
Zu allem Überfluss ist soebn auch noch Investox RTT für TPRT abgestürzt. Es läuft im Hintergrund zusammen mit TaiPan Realtime munter vor sich hin, was sich im Taskmanager erkennen lässt, wird jedoch nicht mehr auf dem Bildschirm angezeigt. Fehlermeldung bei Neustart lautet : Object variable or Width Block variable not set. Weiß jemand ob beim erneuten Drüberinstallieren die Einstellungen erhalten bleiben?
Gruß
Augustus

Wiwu Weiblich

Experte

Registrierungsdatum: 4. September 2002

Beiträge: 1 752

Wohnort: Neuenhagen b. Berlin

11

Donnerstag, 8. Oktober 2015, 00:20

Hallo augustus,

Zitat

Leider kann man aus dem Dateninspektor heraus nur Textdateien erstellen, die sich später nicht zu Kombititeln verbinden lassen.


Auch Textdateien können Bestandteil von Kombititeln sein, wenn sie zuvor mit der Datenherkunft "Tabelle im Textformat (ASCII)" im Investox-Titelverzeichnis angemeldet wurden.


Zitat

aber auch das wird viel Arbeit.


Das glaube ich gern.
Ich arbeite deshalb in meinen Kombititeln mit Futures-Einzelkontrakten anstelle von Endlos-Tickdaten bzw. splitte große RTT-Files frühzeitig auf, wenn das nicht möglich ist (z.B. im EURUSD).
Da Du ja die Historien aus Tai-Pan Realtime mit Investox RTT für Tai-Pan laden kannst, ist es sicherlich weniger aufwändig, die historischen Einzelkontrakte seit 2002 anstelle der Endlosdatenreihe noch einmal downzuloaden und diese dann im Kombititel zu verknüpfen und vorzukomprimieren. Das geht mit Investox RTT 3 relativ fix.
Für den Live-Einsatz sind Einzelkontrakte im Kombititel sowieso essentiell , weil Du dort den Adjustierungs-Zeitpunkt bestimmen kannst, den Du beim Endlos-Future nicht kennst.


Zitat

Ich frage mich daher immer noch, warum ich diese Datenreihe nicht vollständig komprimieren kann, zumal sie kürzer ist als die von Dir oben dargestellte.


Das liegt daran, dass in meinem Kombititel anstelle einer Endlos-Tickdatendatei von 2002-aktuell über 60 Einzelkontrakte enthalten sind.
Keiner dieser Einzelkontrakte enthält soviele Tickdaten, dass er die Datenrestriktionen von Investox übersteigt, welche ja sehr hoch sind.
Das ist bei Deiner Einzeldatei scheinbar anders.
Viele Grüße von Anke

http://www.ascunia.de

Investox

Administrator

Registrierungsdatum: 31. August 2002

Beiträge: 5 680

12

Donnerstag, 8. Oktober 2015, 09:28

Hallo,

Zitat

Dargestellt wird weiterhin nur der Zeitraum Juni 2008 bis heute.


wenn dies auch bei 1- oder 10-Minuten-Komprimierung der Fall ist, ist die Dateigröße nicht die Ursache, zumal diese bei weitem nicht am Limit ist.
Wenn dennoch nur Daten ab 2008 angezeigt werden, kann dies nur an den Importeinstellungen legen oder allenfalls daran, dass die Datei einen Defekt hat. Ich empfehle folgendes:

- Wenn Sie Leistungsschema "Standard" verwenden, auch kontrollieren, ob in den Titel-Importeinstellungen die Anzahl Ticks groß genug ist.
- Wenn das nicht hilft: im Dateninspektor nach einer Datumsänderung <0 suchen.

Viele Grüße
Andreas Knöpfel

Registrierungsdatum: 23. Oktober 2006

Beiträge: 216

13

Donnerstag, 8. Oktober 2015, 13:41

Ganz herzlichen Dank an Anke und Herrn Knöpfel.
Thema gelöst!
Ich fasse für die Nachwelt die Beiträge oben zusammen. Vielleicht hilft es jemanden:
Mit Investox lassen sich auch sehr lange historische Tickdatenreihen problemlos darstellen und verarbeiten - in meinem Fall FESTXX50 2002 bis 2015 mit 133 Mio. Werten. Hierbei ist zu beachten:
  • Investox-Menü "Einstellungen" ---> Investox anpassen ---> Registerkarte "Daten" ----> maximale Anzahl Perioden nach Komprimierung deutlich hochsetzen - z.B. auf den Maximalwert 16 Mio.
  • Investox-Menü "Einstellungen" ---> Investox anpassen ---> Registerkarte "Chart" - "Max. Ausschnitt" ggf. ebenfalls hochsetzen - z.B. auf den Maximalwert 500.000
  • Investox-Menü "Einstellungen" ---> Leistungsschemen ----> Schema Standard aktivieren falls bisher nicht aktiv
  • kontrollieren, ob in den Titel-Importeinstellungen die Anzahl Ticks groß genug ist, hier war auf 1 Mrd. setzen
Mit Investox lassen sich auch sehr lange historische Tickdatenreihen problemlos durch Erstellung eines Kombititels komprimieren - in meinem Fall FESTXX50 2002 bis 2015 mit 133 Mio auf 10 Min Komprimierung. Hierzu Hierbei ist zu beachten:
  • Investox-Menü "Titel zufügen" ---> Neu ---> Investox Kombi Titel ----> zufügen und anschließend Komprimierung einstellen und separat abspeichern
Der Vergleich der Verarbeitungsgeschwindigkeiten der Tickdatenreihe mit dem komprimierten Titel zeigt:
  • Die Rechenzeit für Darstellung beider Datenreihen mit Chartkomprimierung 10 Min ist gleich, bei mir 10s
  • Die Rechenzeit für Darstellung beider Datenreihen mit Chartkomprimierung 1 Min ist gleich, bei mir 88s
  • Die Rechenzeit für die Neuberechnung eines Handelssystems (hier ein Einfaches) ist bei Verwendung der komprimierten Datenreihe geringfügig kürzer. Hier könnte der Vorteil einer Komprimierung beim Einsatz aufwendiger Handelssysteme liegen.
Hilfreich ist die Information zur Anzahl geladener Perioden und der Perioden im Sichtausschnitt des Chartfensters (Knopf unten rechst am Chartfenster).
@ Herrn Knöpfel:
Es beleibt unabhängig hiervon noch der Umstand, dass mein Investox RTT für TPRT nur mehr im Hintergrund, d.h. ohne Anzeige auf dem Bildschirm aber mit Task im Task-Manager, läuft und somit nicht bedient werden kann. Gehen meine Einstelldaten, insbesondere das Titelverzeichnis verloren, wenn ich Investox RTT nochmals drüber installiere?
Gruß
Augustus