Dienstag, 16. April 2024, 13:50 UTC+2

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

sukuh

unregistriert

1

Mittwoch, 22. Februar 2017, 20:26

IB RTT und historische Daten

Hallo,

ich benutze RTT für IB - wie ich aus dem Forum verstanden habe sind das nicht wirklich Tickdaten, aber fast, alle 0.7s
Dieses Zeitraster braucht man bestimmt für Forex, Rohstoffe, gehebelte Werte - nicht unbedingt für Aktien, bestimmt nicht für ETP.

Allerdings läuft man bei einer größeren Anzahl von Kontrakten schnell in die IB-Datenbeschränkung, muss die 10min IB-Wartezeit ertragen - das nervt.

Die Idee: wenn ich bei weniger zeitkritischen Kontrakten nicht Tickdaten lade, sondern ein langsameres Zeitraster benutze, kann ich mehr Kontrakte ohne Unterbrechung zeitnah laden.
Gemäss API Reference Guide kann man mit BAR SIZES das Zeitraster der Daten festlegen. IB bezeichnet das dann wohl nicht mehr als realtime sondern historische Daten.

Ich würde gern weiterhin RTT für Forex, Rohstoffe, etc laden - aber auch Aktien im 1/5/30 Sekunden/Minutentakt und gar EoD über das RTT IB Interface laden.
Müsste meiner Meinung nach gehen, wenn man in RTT den Kontrakteigenschaften BAR SiZE hinzufügt.

Das würde bedeuten, dass ich für 60/0.7=85 Kontrakte mit BAR SIZE 1 Minute etwa die gleiche Datenmenge wie für einen RTT-Kontrakt benötige.
Ich könnte dies sehr schön mit der Vererbung von Daten wie in Komprimierung von TickDaten beschrieben verbinden.

Nun die Fragen:

- ist die oben beschriebene Idee schlüssig, nachvollziehbar?
- würden auch andere Investoxler eine solche Lösung haben wollen?
- gibt es in RTT schon eine Lösung (Ich habe mir nur die RTT IB Version angesehen, nicht die RTT DDE o.a.)?

Ich freue mich über euer Feedback!

Viele Grüße,

SUKUH

Bernd

Experte

Registrierungsdatum: 5. Juni 2005

Beiträge: 4 070

Wohnort: Iringsweg

2

Mittwoch, 22. Februar 2017, 23:15

Ich habe mir nur die RTT IB Version angesehen, nicht ...

Dann wäre Dir möglicherweise mit Taipan Realtime geholfen. Anzubinden mit RTT/TP.

Echte Realtime Tickdaten statt Flash Quotes wie bei IB, Backfill für 10 Jahre auf einem grossen Werte-Kanon. Aktien, Futures usw. auch im preiswerten Basis Abo während der initialen System-Entwicklung wahrscheinlich ausreichend.
Gruss
Bernd

Lenzelott Männlich

Experte

Registrierungsdatum: 30. Dezember 2002

Beiträge: 3 050

Wohnort: Giessen

3

Mittwoch, 22. Februar 2017, 23:56

Backfill für 10 Jahre
jetzt untertreibst Du aber maßlos.
Ab ab Mai 2002 gibt´s Tickdaten im Backfill bei TPRT, das sind schon fast 15 Jahre. 8)
If you think it´s expensive to hire a professional, wait until you hire an amateur.

Lenzelott Männlich

Experte

Registrierungsdatum: 30. Dezember 2002

Beiträge: 3 050

Wohnort: Giessen

4

Donnerstag, 23. Februar 2017, 00:00

Echte Realtime Tickdaten statt Flash Quotes
Das stimmt nicht für alle Märkte.
Bei Eurex Futures oder Xetra Aktienkursen stimmt es auf jeden Fall.
Im US Aktienmarkt wird/wurde bisher allerdings mit einer 1 Sekunden Komprimierung gearbeitet bei den Tickdaten.
Zukünftig sollen aber auch da alle Ticks gesendet werden, was die Tickanzahl in etwa verdrei bis vierfacht.
If you think it´s expensive to hire a professional, wait until you hire an amateur.

Lenzelott Männlich

Experte

Registrierungsdatum: 30. Dezember 2002

Beiträge: 3 050

Wohnort: Giessen

5

Donnerstag, 23. Februar 2017, 00:07

Müsste meiner Meinung nach gehen, wenn man in RTT den Kontrakteigenschaften BAR SiZE hinzufügt.
Imho geht das schon, allerdings in INvestox und nicht in RTT.
Dafür muss man aber vorher den Titel auch in RTT anlegen zur Aufzeichnung, damit er in Investox im Titelverzeichnis eingefügt werden kann.

Hier entsprechende Einstellungen tätigen und Investox zieht sich die die komprimierten Daten von IB:

If you think it´s expensive to hire a professional, wait until you hire an amateur.

sukuh

unregistriert

6

Donnerstag, 23. Februar 2017, 09:54

@Bernd: Taipan RTT bedeutet ca 45 Bugs pro Monat - IB Flash Quotes sind frei.
Es geht mir auch nicht um eine bessere Qualität oder einen größeren Umfang der IB Daten, beides reicht mir.

Das Problem ist Daten anders laden als aktuell möglich, entsprechend der Anforderungen:

- einige FX und Rohstoff-Kontrakte als Flash Quotes
- einige Aktien im BAR SIZE 1min - Portfolio-Werte sowie die für eine detaillierte Analyse und die für die HS-Entwicklung erforderlichen Werte
- Aktien im BAR SIZE 1h - zum Scannen von Titeln mit vom HS abgeleiteten Regeln
- EoD HS: BAR SIZE 1d

Der Punkt ist die Menge der Daten, die ich unterbrechungsfrei von IB laden kann. Übersteigt der Datenumfang eine bestimmte Größe, erzwingt IB eine Pause von 10 min.
Ein Beispiel: Muss ich die 30 DAX Werte für einen Tag nachladen, werden etwa 4-5 Titel geladen - danach kommt eine Zwangspause von 10min.

Ich lade also eine Stunde die Flash Quotes für die 30 DAX Titel, um diese dann mit einer Komprimierung von 1min und größer in Investox zu nutzen.
Könnte ich gleich z. Bsp. in Minutenkomprimierung von IB laden, habe ich alle Titel in ca. 1 Minute verfügbar - nicht erst nach einer Stunde.
Steigt die Anzahl der Kontrakte auf 300 (DAX, MDAX, TDAX, DJI, NASDAQ) könnt ihr euch die Dimension das Ladens der IB Flash Quotes vorstellen.

Die API Spezifikation erlaubt die Angabe von BAR SIZE, wird aber in Investox RTT IB nicht genutzt - kann man das ändern?

Bernd

Experte

Registrierungsdatum: 5. Juni 2005

Beiträge: 4 070

Wohnort: Iringsweg

7

Donnerstag, 23. Februar 2017, 10:48

Die von Lenzelott aufgezeigte Lösung liefert doch eigentlich, was Du gerne haben möchtest, dies hilft Dir nicht?
Imho geht das schon, allerdings in INvestox und nicht in RTT.
Dafür muss man aber vorher den Titel auch in RTT anlegen zur Aufzeichnung, damit er in Investox im Titelverzeichnis eingefügt werden kann.

Gruss
Bernd

sukuh

unregistriert

8

Donnerstag, 23. Februar 2017, 18:30

IB RTT und historische Daten

Vielen Dank für euer Feedback, Bernd und Lanzelott!

Im Fenster Daten/Schnittstelle ist die Option "RTT-Daten wenn möglich direkt vom Server laden" bereits im IB Fenster aktiviert.

Im Fenster Daten/Allgemein war "RTT Daten wenn möglich direkt vom Server laden" nicht aktiviert - habe ich jetzt aktiviert.
Das Feld darunter dient zur Begrenzung der zu ladenden Perioden mit der entsprechenden Komprimierung, also
- 480 wenn ich die auf 1m komprimierten Daten für einen Handelstag
- 250 wenn ich EoD für ein Jahr
nachladen möchte - richtig?

Die RTT Dateien sind in Investox RTT schon vorhanden. Ich hatte dort nach den Komprimierungseinstellungen vergeblich gesucht.
Diese fand ich in den Investox Titeleigenschaften. Bisher verwendete ich Kombinationstitel und verknüpfe EoD Historien mit RTT für eine kürzere, aktuelle Periode.

Das könnte ich mir also mit der folgenden Vorgehensweise ersparen (nur als Beispiel):

- Ich setze in einem ersten Schritt die Komprimierung auf EoD, lade 250 Werte für ein Jahr
- Im nächsten Schritt setze ich die Komprimierung auf 1m und lade 4800 Werte für die letzten 10 Handelstage (mit entsprechender Einstellung der Handelszeiten)

Dann würden die letzten 10 EoD mit den 1m Werten überschrieben - funktioniert das so?

Vielen Dank schon mal!

Bernd

Experte

Registrierungsdatum: 5. Juni 2005

Beiträge: 4 070

Wohnort: Iringsweg

9

Donnerstag, 23. Februar 2017, 22:21

Hoi Lenzelott

jetzt untertreibst Du aber maßlos.
Ab ab Mai 2002 gibt´s Tickdaten im Backfill bei TPRT, das sind schon fast 15 Jahre.

Ja so blöd. Jetzt muss ich mir schon wieder ne grössere SSD kaufen :engel:

@sukuh, ja das wirst Du jetzt probieren müssen und dann berichten, es sei denn ein anderer User arbeitet so wie Du es beschrieben hast und kann Dir die Arbeit ersparen. Es scheint, Lenzelott hat seinen Ansatz gefunden, ich auch. Und jedenfalls mein Ansatz basiert nicht wirklich auf langen nachzuladenden Historien von IB
Gruss
Bernd

Lenzelott Männlich

Experte

Registrierungsdatum: 30. Dezember 2002

Beiträge: 3 050

Wohnort: Giessen

10

Donnerstag, 23. Februar 2017, 22:33

Und jedenfalls mein Ansatz basiert nicht wirklich auf langen nachzuladenden Historien von IB
Mein Ansatz basiert auch nicht darauf
If you think it´s expensive to hire a professional, wait until you hire an amateur.

sukuh

unregistriert

11

Montag, 27. Februar 2017, 20:17

@Lanzelot, @Bernd: euer Ansatz ist sicher gut und für Heavy-Trader geeignet. Ich stimme uneingeschränkt mit euch überein, dass man lange Historien so nicht laden kann.
Das Ziel ist, täglich IB-RT Daten effizienter zu laden sowie eine Datenpflege um kurzzeitige Lücken zu schliessen.

Nur mal so zum Nachdenken: TPRT bedeutet monatlich die folgenden Kosten, um die wichtigsten Kontrakte aus Deutschland und USA realtime zu erhalten:
- 49€ Basisdienst, man erhält die meisten Daten mit 15 bis 20 Minuten Verzögerung. Für wirkliche RT-Daten muss man nochmals nachlegen:
- Deutsche Börse Level I 59€
- NYSE 10€
- NASDAQ 12,50€
- Internationale Indizes 5,50€
Insgesamt sind das 136€, erweiterungsfähig ...

Für jemand wie mich, der erst einmal seinen systematischen Ansatz finden will, eine nicht unerhebliche Hürde.
Besonders, wenn man bedenkt, dass es ja Alternativen gibt ... So viel zur Motivation, diese zu suchen.

Nun zum Vorschlag von Bernd und Lanzelot, die Daten vom Server zu laden.
Ist nicht ganz einfach, könnte funktionieren - aber eine Investox-Fehlermeldung verhindert das: "Es konnten keine Daten vom Server geladen werden (Fehlermeldung 'IB Daten vom Server laden: HMDS Daten Farm Verbindung OK: Fundfarm (2106). Soll das Laden deaktiviert werden?" Quittiert man mit JA ist man raus, entscheidet man sich für NEIN ist man mit der Fehlermeldung in einer Endlos-Schleife.

Dabei ist die IB-Meldung 2106 nichts weiter, als ein Hinweis, dass man mit einer historischen Datenfarm verbunden ist.
https://www.interactivebrokers.com/en/so…ssage_codes.htm

Leider ist damit das Ende der Fahnenstange erst einmal erreicht - schade!

Viele Grüße!

Bernd

Experte

Registrierungsdatum: 5. Juni 2005

Beiträge: 4 070

Wohnort: Iringsweg

12

Montag, 27. Februar 2017, 22:46

Hallo sukuh

Ich kann Deine Rechnung bzgl. der Daten-Kosten sehr gut nachvollziehen. Vor kurzem kam der Commodore 64 auf den Markt, aber wo kann ich Daten zum Handeln her bekommen?

Wie singt Johnny Horton, "North to Alaska go north the rush is on".

Und nun, eigentlich ist heute alles wie immer. Tatsächlich befürchte ich, wird mich das Thema noch alle weitere Zeit als Trader und Systementwickler begleiten.

Allerdings darf man sich, wenn man vollautomatische Systeme entwickeln will, nicht nur um die Kosten der Daten für die Backtests besorgen - sondern auch um deren Qualität.

IB Daten sind sicher nicht "speziell" problematisch, haben aber, sagen wir mal Besonderheiten. Von daher würde ich jetzt nicht empfehlen, diese Daten zum Ziel der Bestrebungen zu machen. Aber ok, wenn es denn so sein soll:
Nun zum Vorschlag von Bernd und Lanzelot, die Daten vom Server zu laden.
Ist nicht ganz einfach, könnte funktionieren - aber eine Investox-Fehlermeldung verhindert das ...

Dies ist ja jetzt nicht einfach ein "Vorschlag" von Lenzelott und mir, sondern ein Feature, welches von Investox offiziell unterstützt wird. (Vorsicht übrigens, ich glaube, der Herr Lenzelott mag es nicht, wenn man ihn namentlich mit dem eher schicksal-getriebenen Leben eines gewissen Ritters der Tafelrunde gleichstellt :D )

Kurzer Rede, langer Unsinn, vielleicht fragst Du mal direkt bei Knöpfel-Software an, warum das Laden vom Server bei Dir nicht klappt. Viele User nutzen aktuell diese Möglichkeit scheint's nicht, sonst gäbe es sicher mehr Hilfestellung der anderen Kollegen hier im Forum. Aber da es sich um offizielles Attribut des Produkts Investox handelt, wird Dir im Zweifel sicher über einen offiziellen Kanal geholfen.
Gruss
Bernd

Lenzelott Männlich

Experte

Registrierungsdatum: 30. Dezember 2002

Beiträge: 3 050

Wohnort: Giessen

13

Montag, 27. Februar 2017, 23:12

(Vorsicht übrigens, ich glaube, der Herr Lenzelott mag es nicht, wenn man ihn namentlich mit dem eher schicksal-getriebenen Leben eines gewissen Ritters der Tafelrunde gleichstellt )
da stimmt´s


sonst gäbe es sicher mehr Hilfestellung der anderen Kollegen hier im Forum.
Ich habe das mal vor sehr langer Zeit ausprobiert, das Feature funktioniert.

Für mich ist es unbrauchbar, weil Periodendaten eben nicht im RTT Format abgespeichert werden sondern nur im Titelzwischenspeicher liegen.
Daher verwende ich es nicht und bin auch nicht in der Lage aus der holen Hand Fehler zu analysieren.

PS. Außerdem fängt man sich auch mit dem Laden von Perioden Daten irgendwann ein "pacing violation" ein.


If you think it´s expensive to hire a professional, wait until you hire an amateur.

dubi

Profi

Registrierungsdatum: 1. September 2002

Beiträge: 331

14

Montag, 27. Februar 2017, 23:39

bin nicht sicher, ob das hilfreich ist. Aber... Ich habe mir vor einiger Zeit den ib data downloader gekauft (einfach mal googeln; Tradinggeeks oder so). Damit kann man Daten in verschiedenen Komprimierungen recht gut von IB herunterladen (das Tool umgeht die Pacing-Violations sehr zuverlässig). Unbefriedigend ist allerdings, dass die IB-Daten wirklich nicht sehr zuverlässig sind. Ich habe die heruntergeladenen Daten mit meinen aufgezeichnete Daten verglichen und es gab dabei einige Abweichungen...

Viele Grüsse
-dubi

sukuh

unregistriert

15

Dienstag, 28. Februar 2017, 09:46

IB RTT und historische Daten

Hallo dubi,

danke für den Tip - ich schau mir diese Downloader an!

Viele Grüße