Dienstag, 16. April 2024, 06:01 UTC+2

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

Wo ist das Datenlimit bei IV 4.1.?

Lieber Besucher, herzlich willkommen bei: INVESTOX-Forum. Falls dies Ihr erster Besuch auf dieser Seite ist, lesen Sie sich bitte die Hilfe durch. Dort wird Ihnen die Bedienung dieser Seite näher erläutert. Darüber hinaus sollten Sie sich registrieren, um alle Funktionen dieser Seite nutzen zu können. Benutzen Sie das Registrierungsformular, um sich zu registrieren oder informieren Sie sich ausführlich über den Registrierungsvorgang. Falls Sie sich bereits zu einem früheren Zeitpunkt registriert haben, können Sie sich hier anmelden.

  • 1
  • 2

Frieder

unregistriert

1

Freitag, 20. Mai 2005, 10:13

Wo ist das Datenlimit bei IV 4.1.?

Hallo Herr Knöpfel,

ich habe mir mit dem historischen Daten-Abo von L&P/TPRT die historischen Tickdaten für den NQ100 heruntergeladen und wollte einen Handelsansatz testweise bei der Microsoft -Aktie anwenden.
Aber schon beim Anlegen des Handelssystems bekomme ich diese Fehlermeldung:
»Frieder« hat folgendes Bild angehängt:
  • MSFT-Fehlermeldung.png

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »Frieder« (20. Mai 2005, 10:14)

Frieder

unregistriert

2

Freitag, 20. Mai 2005, 10:20

RE: Wo ist das Datenlimit bei IV 4.1.?

Mein Rechner hat 1024 MB Hauptspeicher, der Datensatz enthält ca. 34Millionen Daten.

Bedeutet diese Fehlermeldung, daß mein Hauptspeicher für diese Datenmenge nicht ausreicht?

Aber warum verwendet IV/WINXP dann nicht die Auslagerungsdatei?

Begrenze ich die Dateigröße auf 22 Millionen Daten funktioniert alles einwandfrei.

Ich habe dann versucht, über einen Kombititel einen Datensatz in 5 Minuten-Komprimierung zu erzeugen: aber auch hier bekomme ich die gleiche Fehlermeldung beim Einlesen der Daten.

Da Ich von L&P die Daten ausschließlich als Tickdaten herunterladen kann und 3 Jahre historische Daten eigentlich nichts Ungewöhnliches sind bin ich an einer grundsätzlichen Klärung/Lösung des Problems interessiert, da ja die Tickdaten-Historien in den nächsten JAhren allgemein deutlich an Volumen zulegen werden und ein Backtest unterhalb von 2 Jahren Daten mir wenig sinnvoll erscheint.

Viele Grüße,
Frieder

Investox

Administrator

Registrierungsdatum: 31. August 2002

Beiträge: 5 680

3

Freitag, 20. Mai 2005, 10:20

RE: Wo ist das Datenlimit bei IV 4.1.?

Hallo,

das Datenlimit liegt bei maximal 4 Millionen komprimierten Perioden. Der Speicherausbau des Computers kann natürlich auch eine Grenze darstellen (darauf deutet die Fehlermeldung eigentlich hin).

Viele Grüße
Andreas Knöpfel

Frieder

unregistriert

4

Freitag, 20. Mai 2005, 10:22

RE: Wo ist das Datenlimit bei IV 4.1.?

Hallo Herr Knöpfel,

Zu einer Komprimierung der Daten auf 5 Minuten kam es ja leider gar nicht erst! Dann wäre ich ja deutlich unter der 4 Millionen - Grenze geblieben.

Würde das bedeuten, daß ich mit einer Verdoppelung des Hauptspeichers die Daten alle geladen bekomme?

Grüße,
Frieder

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »Frieder« (20. Mai 2005, 10:24)

Investox

Administrator

Registrierungsdatum: 31. August 2002

Beiträge: 5 680

5

Freitag, 20. Mai 2005, 10:25

RE: Wo ist das Datenlimit bei IV 4.1.?

Hallo,

im Task-Manager von Windows lässt sich der Speicherverbrauch beobachten. Es hängt auch von den Einstellungen ab. Wenn z.B. die Tick-Analyse unter "Investox anpassen" deaktivieren, reduziert sich der Speicherbedarf.
Sie könnten auch die RTT-Datei in mehrere kleinere Dateien zerlegen und diese dann über einen Kombititel zusammenfügen. Dabei können Sie die RTT-Dateien sogar über einen Berechnungstitel dauerhaft komprimieren und dann in den Kombititel einbinden.

Viele Grüße
Andreas Knöpfel

Frieder

unregistriert

6

Freitag, 20. Mai 2005, 10:48

Hallo Herr Knöpfel,

die Tickberechnung war nicht aktiviert, der Hauptspeicher nur zu 80% ausgelastet, die CPU-Auslastung unter 10%!

Ich habe daraufhin die Datei mit dem Dateninspektor in eine MSFT_A und eine MSFT_B Datei zerlegt, die dadurch als *.txt- datei gespeichert wurden.

Dann habe ich versucht, diese als Berechnungstitel in 5 Minuten -Komprimierung neu zusammenzuführen.

Dabei kommt bereits beim Einlesen der ersten Datei-Hälfte folgende Fehlermeldung:
»Frieder« hat folgendes Bild angehängt:
  • MSFT-Fehlermeldung.png

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »Frieder« (20. Mai 2005, 11:19)

Steff

unregistriert

7

Freitag, 20. Mai 2005, 11:31

Hallo zusammen,

das Zerlegen in kleinere Einzeltitel und anschließendes Anlegen eines Kombi- oder Berechnungstitels ist sicherlich eine Möglichkeit - wenn ich mir allerdings vorstelle dies bei sämtlichen Aktien des Nasdaq 100 oder S&P 500 so zu praktizieren......

Eine elegante Lösung wäre es doch, wenn beim Export aus RTT auch eine Komprimierung gewählt werden könnte. Die Daten würden dann in der Komprimierung vorliegen, in der sie auch tatsächlich benötigt werden, die zu speichernde Datenmenge wäre gering und das Anlegen eines Kombi- oder Berechnungstitels könnte entfallen....

Viele Grüße
Stephan

Frieder

unregistriert

8

Freitag, 20. Mai 2005, 11:59

Hallo Steff,

Dein Vorschlag wäre sicherlich eine gute Lösung für mein Problem.

Eine andere wäre es, wenn Taipan/Lenz&Partner ihre historischen Daten (aber eigentlich auch alle anderen Realtime-Daten wahlweise als 1 Minuten - Daten downloadbar machen würden!

Der Zeitaufwand für die momentane Zerlegung der XXL-Dateien in kleinere Einheiten (wobei das Limit von 22 Millionen Ticks eingehalten werden muß, das anschließende Neuanlegen des Subtitels in IV mittels Datenimporteur(ca. 30min pro 22Mio-Ticks)!), das Erstellen eines Berchnungstitels sowie die tägliche Datenpflege dieses Gebildes ist bei 1 Aktie schon ein 1 bis 2 stündiges Programm.

Wie soll man das bei 100 NQ-Titeln "handlen", geschweige denn man wollte den S&P500 backtesten/handeln?

Es bedarf hier doch einer einfacheren, praktikablen Lösung.

Die einfachste Lösung liegt in den Händen von L&P!

Grüße,
Frieder

Mikel

unregistriert

9

Freitag, 20. Mai 2005, 13:47

Hallo Frieder,

Das gleiche Problem hatte ich vor kurzem auch. Mein Glück war, dass ich die Daten von QCharts runtergeladen habe, und zwar in 1-Minuten-Komprimierung. Dadurch habe ich vermieden, Investox mit den vielen Daten zu überlasten.
Für ein erstes Backtesting ist m.E. 1 Minuten-Komprimierung eh genug, ausser man arbeitet mit reinen Scalping-Strategien.

Die beste Lösung wäre wirklich, wenn L&P die Software so anpassen würde, dass jede beliebige Komprimierung runterladbar ist.

mfg

Michael

Frieder

unregistriert

10

Freitag, 20. Mai 2005, 14:03

Hallo Mikel,
Hallo Steff,

ich habe eben die Fa. L&P , Herrn Albrecht, direkt angeschrieben, damit er evt. hier zu unserem Anliegen/Problem Stellung bezieht.

Soweit ich weiß ist Herr Albrecht u.a. für die Datenbanken zuständig.

Wäre schön, wenn L&P durch längere Komprimierungen beim Download unser Problem aus der Welt schaffen würde.

In meinem Realtime-Abo von L&P kann ich bei der Chart-Darstellung ja auch zwischen 1 - 60 Minuten auswählen. Interessanterweise gibt es im Chart - Programm von L&P keine Tick-Darstellung:( .

Grüße,
Frieder

Mikel

unregistriert

11

Freitag, 20. Mai 2005, 15:03

@ Frieder

Ne andere Möglichkeit wäre natürlich, wenn es ein externes Tool gäbe, mit dem man z.B. Tickdaten in eine beliebige Komprimierung bringen kann.

Dieses Tool sollte in der Lage sein, beliebig grosse Daten schnell zu verarbeiten. Natürlich sollte das Tool über eine Art Batchmodus verfügen, mit welchem man viele Titel verarbeiten kann.

Wäre dies eine sinnvolle Erweiterungs-Idee für Ihre Liste, Herr Knöpfel? :]

mfg

Michael

Investox

Administrator

Registrierungsdatum: 31. August 2002

Beiträge: 5 680

12

Freitag, 20. Mai 2005, 15:08

Hallo,

der Import über die Textschnittstelle bietet sich für Millionen von Ticks sicherlich nicht an. Am einfachsten ist wohl noch die folgendende Vorgehensweise:
In den Titeleinstellungen kann auch ein "Tick-Versatz" definiert werden (direkt in Investox). Man kann also einen RTT-Titel z.B. 4 mal einbinden und dann die Einstellungen "Tick-Versatz" und "Maximale Ticks" jeweils so anpassen, dass jeder der 4. Titel ein Viertel der Daten einliest - diese 4 Titel können dann kombiniert werden. So muss in RTT nichts exportiert werden.

Tai-Pan RT bietet übrigens bereits die Möglichkeit, komprimierte Daten herunterzuladen. Allerdings ist Inv. RTT auf die Realtimeaufzeichnung spezialisiert und speichert keine OHL-Kurse. Eine Möglichkeit wäre mittelfristig eine direkte Anbindung von Investox an Tai-Pan RT zum Auslesen von Historien.

Viele Grüße
Andreas Knöpfel

Udo Männlich

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

13

Freitag, 20. Mai 2005, 15:57

Hallo Herr Knöpfel,

eine multible Schnittstelle wäre sehr wünschenswert das jetzt auch EOD Historien in TPR abgerugfen werden können! Ich hatte das ja schon mal angesprochen (Datencash) oder Datenbank! Somit wäre es m.A. möglich, die EOD Historien über TPR (bei entsrechendem L&P EOD ABO) zu ziehen...
Happy Trading

Mikel

unregistriert

14

Freitag, 20. Mai 2005, 16:16

Udo:

Gibt es denn kein anderes Tool, mit dem man bei TPRT die Daten saugen kann?

QCharts hat ja z.B. den QCollector, mit welchem das sehr komfortabel geht.

Gruss, Michael

Frieder

unregistriert

15

Freitag, 20. Mai 2005, 17:26

Hallo Herr Knöpfel,

Zitat

Original von Investox
Tai-Pan RT bietet übrigens bereits die Möglichkeit, komprimierte Daten herunterzuladen. Allerdings ist Inv. RTT auf die Realtimeaufzeichnung spezialisiert und speichert keine OHL-Kurse. Eine Möglichkeit wäre mittelfristig eine direkte Anbindung von Investox an Tai-Pan RT zum Auslesen von Historien.


Das wäre sicherlich mit Abstand die beste Lösung! Welchen Zeithorizont deuten sie mit "mittelfristig" an?

Die Möglichkeiten mit den Teildateien sind zwar theoretisch alle machbar, aber da auf jeden Fall in IV eine (bzw. bis zu 4) neue Untertilel mit dem Datenimporteur angelegt werden müssen bedeutet das alleine für den NQ100 ca. 100 x 3 x 2= ca. 600 Stunden Arbeit, ganz zu schweigen von den ca. 100 Stunden, die der Download für die gesamte NQ-Historie mit einer DSL-Leitung(2MB) dauert.:O

Bei der Möglichkeit, diese Daten im Minuten-Format herunterzuladen, würde sich der Download sicher auf ca. 1/10 reduzieren, der Datenimport würde flachfallen, sadaß sich der gesamte Arbeitsaufwand für den Gesamtimport des NQ100 von ca. 700 Stunden auf ca 10 Std. reduzieren würde!

Wenn das kein Argument ist:] !

Herr Knöpfel, seien Sie gnädig mit uns und ziehen Sie bitte das Feature "ein wenig" nach vorne in Ihrer sicher recht langen Liste...

Viele Grüße,
Frieder

Udo Männlich

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

16

Freitag, 20. Mai 2005, 18:04

Hallo Michael,

Tools gibt es schon-allerdings nicht für das Investox Format! Ich denke wie Frieder schon schreibt, das RTT baldmöglichst optimiert werden sollte
um auch die neuen Möglichkeiten (EOD Historien) zu nutzen!

Zudem ,Herr Knöpfel, wäre es hervorragend RTT für separate LII Daten zu optimieren...:)
Happy Trading

Tai-Pan

unregistriert

17

Freitag, 20. Mai 2005, 19:53

Hallo Zusammen,

um die Wartezeit auf ein geändertes RTT zu verkürzen, habe ich mal folgenden Vorschlag.

1. MS-Word öffnen
2. ALT-F11 drücken
3. unter Extras/Verweise den Haken bei "Tai-Pan Realtime Library 1.0" setzen
4. folgenden Quelltext in das aktuelle Projekt einfügen.

Quellcode

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48

Private Type Daten
    z() As Date
    v() As Long
    o() As Single
    h() As Single
    l() As Single
    c() As Single
End Type

Public Sub Future5MinLoad()

    Dim BarChart As New TaiPanRTLib.BarChart
    Dim x As Daten
    Dim i As Long
        
'    SymbolNr   Symbol                        Name
'    ---------- ----------------------------- -----------------------------------------
'    6059262    227028.DTB.LP                 TecDAX-Future
'    6059261    570569.DTB.LP                 DJ Gl.Titans-Future
'    6059260    720016.DTB.LP                 DAX-EX-Future
'    6059259    720017.DTB.LP                 ESTOXX50 Ex-Future
'    6059258    846959.DTB.LP                 DAX-Future
'    6059257    965236.DTB.LP                 STOXX 50-Future
'    6059256    965238.DTB.LP                 EuroSTOXX50-Future
'    6059253    965264.DTB.LP                 BUND-Future
'    6059252    965265.DTB.LP                 BOBL-Future
'    6059251    965266.DTB.LP                 Schatz-Future
'    6059255    965305.DTB.LP                 SMI-Future
'    6059250    965314.DTB.LP                 3M-Euribor-Future
'    6059254    968312.DTB.LP                 Nemax 50-Future
    
    BarChart.loadData 6059258, -1500, 300
    
    x.v = BarChart.Data2(TPRQuickAccessKursArtenVolume)
    x.o = BarChart.Data2(TPRQuickAccessKursArtenOpen)
    x.h = BarChart.Data2(TPRQuickAccessKursArtenHigh)
    x.l = BarChart.Data2(TPRQuickAccessKursArtenLow)
    x.c = BarChart.Data2(TPRQuickAccessKursArtenClose)
    x.z = BarChart.Data2(TPRQuickAccessKursArtenZeit)

    Selection.TypeText Text:="Datum_Zeit;Open;High;Low;Close;Volume"
    Selection.TypeParagraph
    For i = 0 To BarChart.Count - 1
        Selection.TypeText Text:=x.z(i) & "; " & x.o(i) & "; " & x.h(i) & "; " & x.l(i) & "; " & x.c(i) & "; " & x.v(i)
        Selection.TypeParagraph
    Next
    
End Sub

5. den Makro-Editor schliessen.
6. in Word unter Extra/Makro/Makros... das Makro "Future5MinLoad" ausführen.

Geladen werden dann die 5 Min Bar-Chart-Daten der letzten 1500 Tage falls verfügbar.
Die Daten haben das Format "Datum Zeit;Open;High;Low;Close;Volume"

Quellcode

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

Datum_Zeit;Open;High;Low;Close;Volume
10.05.2002 09:05:00; 4965; 4970; 4962,5; 4964; 231
10.05.2002 09:10:00; 4963,5; 4973,5; 4959,5; 4973; 618
10.05.2002 09:15:00; 4972; 4977,5; 4970,5; 4974; 462
10.05.2002 09:20:00; 4975; 4984; 4974; 4979,5; 334
10.05.2002 09:25:00; 4979,5; 4985; 4977; 4980; 424
10.05.2002 09:30:00; 4980; 4983; 4969,5; 4972; 338
10.05.2002 09:35:00; 4971; 4974,5; 4970; 4970; 186
10.05.2002 09:40:00; 4970,5; 4970,5; 4962,5; 4969,5; 328
10.05.2002 09:45:00; 4969,5; 4971,5; 4963; 4963; 353
10.05.2002 09:50:00; 4964,5; 4967; 4957,5; 4960; 193
10.05.2002 09:55:00; 4960; 4961,5; 4956,5; 4959,5; 462
.
.
.

Weitere Infos zu dem Interface finden Sie in der Hilfe von Tai-Pan oder hier

Die Zeile mit "BarChart" ruft die Daten aus Tai-Pan Realtime ab. Die 1. Zahl ist die Symbolnummer, die 2. die 1500 Tage (positive Zahlen geben Anzahl der Bars an, negative die Anzahl der Tage) und die 300 gibt die 5 Min. (300 Sec.) als Komprimierung an.
Die Komprimierung kann in beliebigen Sec.-Rastern angegeben werden. Auch 573 ist möglich :D

Ich habe hier einmal die Symbolnummern der Endlos-Futures in das Makro als Kommentar geschieben.
Bei Bedarf kann ja die Zeile mit dem BarChart-Aufruf geändert werden.

Das Makro läuft pro Wert ca. 80-90 sec. (P4 2GHZ/ 1GB RAM)

Ich hoffe geholfen zu haben....

Mikel

unregistriert

18

Montag, 23. Mai 2005, 11:55

Hallo TaiPan

Das obige Makro funktioniert recht gut.
Wie sieht es aus, wenn man mit Titeln ohne WKN arbeiten möchte? Ich denke da z.B an Wechselkurse EURUS usw.

Wegen der Endlos-Futures:
Könnten Sie allenfalls Ihre bestehende Liste dahingehend erweitern, indem Sie US-Werte auch mit reinnehmen? Ich den in erster Linie z.B an Emini-Werte.

mfg

Michael

Tai-Pan

unregistriert

19

Montag, 23. Mai 2005, 17:10

Wenn Sie die Hilfe von Tai-Pan aufrufen, finden Sie im Bereich Programmierung/Hinweise zur Programmierung einen Link zu einer Testanwendung. (TPRVBSamples.zip)
Mit dieser Anwendung ist es möglich, Ihre Watchlisten aufzulisten. Bei dieser Auflistung werden auch die Symbolnummern mit angezeigt.
Wenn Sie nun eine Watchliste mit den gewünschten Werten anlegen, können Sie so die gesuchten Symbolnummern erhalten.
(Das Erspart mir hier alle Symbolnummern der gesuchten Werte aufzulisten......)

Die BAR-Charts sind für ca. 30000 Werte vorgeneriert. Das sind die deutschen Aktien auf XETRA, FFM, MCH usw., die Futures auf EUREX und die US-Werte. Die Devisen auch. Wenn keine vorkomrimierten Daten auf dem Server verfügbar sind, werden diese dann aus den auf dem Server verfügbaren Bezahlt-Daten generiert und dann übertragen. Hierbei allerdings MAX 180 Tage (1/2 Jahr)

Die wichtigsten Werte sollten somit schnell verfügbar sein. Die US-Futures haben wir noch nicht als Endlos-Future, aber wir arbeiten daran. Nach dem Release von TPR 5.5 werden die Endlos-Futures der US-Börsen noch NICHT verfügbar sein. Der Grund ist ein bevorstehender Symbolwechsel bei der Börse CME, der Ende Juni durchgeführt wird. Danach werden wird auch Endlos-Futures für EMINI erstellen.

Frieder

unregistriert

20

Dienstag, 24. Mai 2005, 22:22

Hallo Herr Kitzig,

vielen Dank für Ihre Hilfestellung bei unserem Problem der großen Tick-Anzahl.

Bin erst heute dazu gekommen, Ihr Script auszuprobieren. Dabei kommt es beim Ausführen des Makros zu folgender Fehlermeldung:
»Frieder« hat folgende Bilder angehängt:
  • Fehler1.png
  • Fehler2.png
  • 1
  • 2