Lieber Besucher, herzlich willkommen bei: INVESTOX-Forum. Falls dies Ihr erster Besuch auf dieser Seite ist, lesen Sie sich bitte die Hilfe durch. Dort wird Ihnen die Bedienung dieser Seite näher erläutert. Darüber hinaus sollten Sie sich registrieren, um alle Funktionen dieser Seite nutzen zu können. Benutzen Sie das Registrierungsformular, um sich zu registrieren oder informieren Sie sich ausführlich über den Registrierungsvorgang. Falls Sie sich bereits zu einem früheren Zeitpunkt registriert haben, können Sie sich hier anmelden.
- 1
- 2
Donnerstag, 23. September 2010, 12:45
Datenqualität IB
Ich habe mir mal den "Spaß" gemacht und die von mir aufgezeichneten IB Daten mit meinen Taipan Realtime Daten verglichen und dabei festgestellt, dass IB Anfang Juni anscheinend den Algo geändert hat, mit dem die Ticks vorkomprimiert werden.
Konkret habe ich das Volumen der Ticks untersucht.
Bis Juni war das Volumen auf Tagesbasis hochgerechnet bei L&P relativ stabil um den Faktor 1,2 höher wie in den IB Daten.
Ab dem 11. Juni springt dieses Verhältnis auf den Faktor 2
Abgesehen davon, dass hin und wieder high´s und low´s von intraday extrempunkten nicht stimmen bei IB, weil der Tick weggefiltert wurde ist dass nun eine neue "Qualität" an Datenvermurksung!!
Was heißt das nun für die HS Entwicklung?
Wenn man Systeme hat die Volumen als Kriterien haben, und auf den "alten" IB Daten entwickelt wurden: die Systeme sind wahrscheinlich auf dem Feed unbrauchbar geworden!
Durch den Strukturbruch in den Daten ab dem 11.6. kann man sich imho alle Entwicklungen auf IB Daten mit Markt+ sparen.
Wenn M+ Systeme auf L&P Daten entwickelt und auf IB Daten handelt, ging dass evtl. bis Juni noch, dürfte aber jetzt auch nicht mehr wirklich funktionieren.
Das muss natürlich nicht so sein und hängt mit Sicherheit auch mit der Art des Systemes zusammen, aber die Wahrscheinlichkeit ist allerdings relativ hoch, dass es so ist.
Konkret habe ich das Volumen der Ticks untersucht.
Bis Juni war das Volumen auf Tagesbasis hochgerechnet bei L&P relativ stabil um den Faktor 1,2 höher wie in den IB Daten.
Ab dem 11. Juni springt dieses Verhältnis auf den Faktor 2
Abgesehen davon, dass hin und wieder high´s und low´s von intraday extrempunkten nicht stimmen bei IB, weil der Tick weggefiltert wurde ist dass nun eine neue "Qualität" an Datenvermurksung!!
Was heißt das nun für die HS Entwicklung?
Wenn man Systeme hat die Volumen als Kriterien haben, und auf den "alten" IB Daten entwickelt wurden: die Systeme sind wahrscheinlich auf dem Feed unbrauchbar geworden!
Durch den Strukturbruch in den Daten ab dem 11.6. kann man sich imho alle Entwicklungen auf IB Daten mit Markt+ sparen.
Wenn M+ Systeme auf L&P Daten entwickelt und auf IB Daten handelt, ging dass evtl. bis Juni noch, dürfte aber jetzt auch nicht mehr wirklich funktionieren.
Das muss natürlich nicht so sein und hängt mit Sicherheit auch mit der Art des Systemes zusammen, aber die Wahrscheinlichkeit ist allerdings relativ hoch, dass es so ist.
If you think it´s expensive to hire a professional, wait until you hire an amateur.
Donnerstag, 23. September 2010, 13:32
Hallo,
kann es sein, dass IB Kaufvolumen und Verkaufvolumen addiert, während TP das einfache (Transaktion-)Volumen ausweist?
Das würde den Faktor 2 erklären und bedeuten, dass IB grundsätzlich den Volumenausweis verbessert hätte ...
Viele Grüße
Cornelius
Hääää? Kann nix verstähhhhh.
Aktuell sagt die Eurexseite 78.588 Kontrakte im FDAX heute gehandelt (15 Minuten Verzögert).
L&P hat 15 Minuten Zeitverzögert 77.202 Kontrakte.
Meine IB Ticksammlung weißt 39.348 auf (nicht verzögert).
IB liefert also nur 50% des Volumens, dass real gehandelt wurde.
Bis Juni haben Sie immerhin 83% geliefert.
Was soll daran jetzt besser sein?
If you think it´s expensive to hire a professional, wait until you hire an amateur.
Donnerstag, 23. September 2010, 14:08
Könnte auch sein, dass amerikanische Börsen das Volumen so ausweisen (um es optisch zu erhöhen), IB deshalb standardmäßig durch zwei dividiert, um nur das einfache Volumen zu zeigen, und übersehen hat, dass die Eurex sowieso nur das einfache Volumen ausweist.
Das ist jetzt aber eine vogelwilde Annahme
Gruss
Bernd
Bernd
Donnerstag, 23. September 2010, 14:40
Ich habe mir mal die Ticks bei IB vorgenommen, in der Annahme, man könnte ja mit M+ das Volumen-Problem über die Tick-Anzahl kompensieren.
Zuerst die schlechte Nachricht: es geht nicht. Und jetzt die schlechte Nachricht: sogar im Fast Market vor und nach dem Flash Crash sind nicht mehr als 8 Ticks pro Sekunde im Datenfeed. Und jetzt die schlechte Nachricht: 8 Ticks pro Sekunde kommt auch in normalen Börsenzeiten vor!
Hier ist der Juni-Kontrakt, rot ist ein 700-Perioden GD auf die Anzahl Ticks:
Man sieht eine leichte Tick-Zahl-Erhöhung im GD um die Zeit des Flash-Crashs. Zoomt man rein in den Juni Kontrakt, so sieht man dies:
Nun den Tick-Peak rausgegriffen auf Minuten Basis, der war am 14.5.2010 um 17:28 (!) mit 270 Ticks in jener Minute, also 4.5 Ticks pro Sekunde. Dort in den Dateninspektor gewechselt sind wir wieder bei den 8 Ticks pro Sekunde:
In Einzelfällen habe ich schon mehr als 8 Ticks gesehen auf IB Daten - aber nie in der Zeit grosser Börsen-Aktivität!
Das bedeutet:
* wenn es interessant wird, hat IB keine Kapazität, um den Daten Peek an die Kunden weiterzugeben
* eine sich entwickelnde VA auf allem kleiner als 5 Minuten kann man mit IB Daten nicht mal im Traum finden
* auch auf grösseren Zeiteinheiten sind m.E die M+ Daten auf dem IB-Feed weder auf Volumen- noch auf Tickbasis brauchbar
Der Grund für letzteres ist: wenn als Maximum üblicherweise 8 Ticks pro Sekunde kommen, weiss man doch nicht, ob es in wirklichkeit 9 gewesen sind oder 9 tausend!
Ich habe das Problem mal skizziert:
Bei 1 sieht man, das man nichts sieht. Dabei würden korrekte Daten zeigen, dass sich eine VA gebildet hat (2) die man am unteren Ende gerne shorten würde, um sie dann bei 3 in der neuen VA einzudecken. Aber, naja, nicht mit IB Daten, da sehen wir 1.
Zuerst die schlechte Nachricht: es geht nicht. Und jetzt die schlechte Nachricht: sogar im Fast Market vor und nach dem Flash Crash sind nicht mehr als 8 Ticks pro Sekunde im Datenfeed. Und jetzt die schlechte Nachricht: 8 Ticks pro Sekunde kommt auch in normalen Börsenzeiten vor!
Hier ist der Juni-Kontrakt, rot ist ein 700-Perioden GD auf die Anzahl Ticks:
Man sieht eine leichte Tick-Zahl-Erhöhung im GD um die Zeit des Flash-Crashs. Zoomt man rein in den Juni Kontrakt, so sieht man dies:
Nun den Tick-Peak rausgegriffen auf Minuten Basis, der war am 14.5.2010 um 17:28 (!) mit 270 Ticks in jener Minute, also 4.5 Ticks pro Sekunde. Dort in den Dateninspektor gewechselt sind wir wieder bei den 8 Ticks pro Sekunde:
In Einzelfällen habe ich schon mehr als 8 Ticks gesehen auf IB Daten - aber nie in der Zeit grosser Börsen-Aktivität!
Das bedeutet:
* wenn es interessant wird, hat IB keine Kapazität, um den Daten Peek an die Kunden weiterzugeben
* eine sich entwickelnde VA auf allem kleiner als 5 Minuten kann man mit IB Daten nicht mal im Traum finden
* auch auf grösseren Zeiteinheiten sind m.E die M+ Daten auf dem IB-Feed weder auf Volumen- noch auf Tickbasis brauchbar
Der Grund für letzteres ist: wenn als Maximum üblicherweise 8 Ticks pro Sekunde kommen, weiss man doch nicht, ob es in wirklichkeit 9 gewesen sind oder 9 tausend!
Ich habe das Problem mal skizziert:
Bei 1 sieht man, das man nichts sieht. Dabei würden korrekte Daten zeigen, dass sich eine VA gebildet hat (2) die man am unteren Ende gerne shorten würde, um sie dann bei 3 in der neuen VA einzudecken. Aber, naja, nicht mit IB Daten, da sehen wir 1.
Gruss
Bernd
Bernd
Donnerstag, 23. September 2010, 14:59
Bernd, Kompensieren funktioniert mit M+,dazu wurde es u.a.programmiert! Leider ist es aber auch von der Datenquelle abhängig! Bei sehr schlechter Datenqualität empfehle ich eine angebotene Methode der Kompensierung oder eine leichte Glättung zu verwenden so da die Schwellen dennoch so "nah wie möglich" an der Realität herausgearbeitet werden können. Bewährt hat sich die Methode 2 Ticks und eine mittlere Glättung oder 1 Tick und eine starke Glättung wenn man auf die kleinste Ebene zoomt!Mit dem v.g. möchte ich nicht Deinem Test nichts unterstellen sondern lediglich Möglichkeiten mit M+ beschreiben. 
Mir gibt der Feed schon lange zu denken...
Wirklich erst jetzt?
Zitat
wenn (!) der Feed relativ stabil um den Faktor 2 abweicht, könnte das allerdings schon zu denken geben, hm?
Mir gibt der Feed schon lange zu denken...
Happy Trading
Donnerstag, 23. September 2010, 15:23
Hallo Udo
Das denke ich auch, und meine Tests zeigen auch keine Schwächen von M+ , allerdings wie Du auch ausführst, dass am Ende des Tages auch M+ auf Datenqualität angewiesen ist!
Leider sehe ich gar keine Lösung des Dilemmas!
* IB Daten sind sagen wir mal wenig geeignet (ich möchte hier so öffentlich keine Kraftausdrücke gegen eine Firma benutzen, aus Rücksicht auf den Betreiber des Forums); immerhin kann man die Daten 2x ziehen, um einen SPOF zu vermeiden!
* Sino Daten kenne ich zwar nicht, kann aber prinzip-bedingt das Dilemma nicht lösen, handelt es sich doch wieder um einen Broker, der halt auch Daten bereitstellt, damit seine Klientel mal anfangen kann zu handeln; Backfill? Ob man den Datenfeed 2x ziehen kann, um einen SPOF zu vermeiden, darüber habe ich ausserdem noch nie tewas gelesen
* TF, der versprochene Backfill wurde nie geliefert (keine Schuldzuweisung an Morningstar oder Knöpfel Software, Tatsache ist, es geht nicht, Ende aus), ausserdem 2. Server um einen SPOF zu vermeiden kostet dann einfach das doppelte!
* L&P, Backfill geht, aber es gibt hier im Forum genug Berichte über andere Schwierigkeiten im Realhandel, ausserdem: 2. Server um einen SPOF zu vermeiden kostet ebenfalls ziemlich
* usw.
Also, wir sind mit den Daten am .. Ande
...
und unsere Auswahl mit Investox ist nicht gerade Legion.
Bernd, Kompensieren funktioniert mit M+,dazu wurde es u.a.programmiert! Leider ist es aber auch von der Datenquelle abhängig!
Das denke ich auch, und meine Tests zeigen auch keine Schwächen von M+ , allerdings wie Du auch ausführst, dass am Ende des Tages auch M+ auf Datenqualität angewiesen ist!
Leider sehe ich gar keine Lösung des Dilemmas!
* IB Daten sind sagen wir mal wenig geeignet (ich möchte hier so öffentlich keine Kraftausdrücke gegen eine Firma benutzen, aus Rücksicht auf den Betreiber des Forums); immerhin kann man die Daten 2x ziehen, um einen SPOF zu vermeiden!
* Sino Daten kenne ich zwar nicht, kann aber prinzip-bedingt das Dilemma nicht lösen, handelt es sich doch wieder um einen Broker, der halt auch Daten bereitstellt, damit seine Klientel mal anfangen kann zu handeln; Backfill? Ob man den Datenfeed 2x ziehen kann, um einen SPOF zu vermeiden, darüber habe ich ausserdem noch nie tewas gelesen
* TF, der versprochene Backfill wurde nie geliefert (keine Schuldzuweisung an Morningstar oder Knöpfel Software, Tatsache ist, es geht nicht, Ende aus), ausserdem 2. Server um einen SPOF zu vermeiden kostet dann einfach das doppelte!
* L&P, Backfill geht, aber es gibt hier im Forum genug Berichte über andere Schwierigkeiten im Realhandel, ausserdem: 2. Server um einen SPOF zu vermeiden kostet ebenfalls ziemlich
* usw.
Also, wir sind mit den Daten am .. Ande
...
Gute Feeds gibt es mittlerweile genug, jedoch kosten die halt ein bisschen...
und unsere Auswahl mit Investox ist nicht gerade Legion.
Gruss
Bernd
Bernd
Donnerstag, 23. September 2010, 20:31
Anstatt sich zu beschweren wie schlecht doch alles ist, sollte man sich besser darauf konzentrieren mit dem Material zu arbeiten das einem zur Verfügung steht.
IB war schon immer crappy und wurde jetzt halt noch noch crappier.
Sino ist auch "nur" ein Broker.
L&P ...
Habe gleich mal meine Systeme überprüft ob auf dieses Datum bezogen ein (unterschwelliger) Bruch in der Performance auftratt (offensichtlichen Bruch gab es keinen, sonst wären die Systeme ja gar nicht mehr im Rennen) und konnte nur bei einem von fünf auf die schnelle eine Veränderung in der Art der generierten Trades feststellen die ich nun auf dieses Datum zurückführe.
Wenn ein HS das auf dem IB Feed entwickelt wurde vor dem 11. Juni funktioniert und danach nicht mehr ist es meiner Meinung nach ganz einfach zu wenig robust und sollte daher erst gar nicht in Erwägung gezogen werden.
Somit kann man sagen (um dem ganzen etwas positives abzugewinnen), dass der 11. Juni nur ein weiterer "Test" für jedes HS auf IB ist der bestanden werden muss bevor das HS überhaupt in den real test geht.
Daher: danke an Lenzelott für den Hinweis
Btw: mein momentaner "Traum" Datenlieferant wäre Nanex. Link
Wer einen Datenstrom liefern kann der so detailiert ist, dass HFT wie ein modernes Kunstwerk aussieht kann nicht schlecht sein
IB war schon immer crappy und wurde jetzt halt noch noch crappier.
Sino ist auch "nur" ein Broker.
L&P ...
Habe gleich mal meine Systeme überprüft ob auf dieses Datum bezogen ein (unterschwelliger) Bruch in der Performance auftratt (offensichtlichen Bruch gab es keinen, sonst wären die Systeme ja gar nicht mehr im Rennen) und konnte nur bei einem von fünf auf die schnelle eine Veränderung in der Art der generierten Trades feststellen die ich nun auf dieses Datum zurückführe.
Wenn ein HS das auf dem IB Feed entwickelt wurde vor dem 11. Juni funktioniert und danach nicht mehr ist es meiner Meinung nach ganz einfach zu wenig robust und sollte daher erst gar nicht in Erwägung gezogen werden.
Somit kann man sagen (um dem ganzen etwas positives abzugewinnen), dass der 11. Juni nur ein weiterer "Test" für jedes HS auf IB ist der bestanden werden muss bevor das HS überhaupt in den real test geht.
Daher: danke an Lenzelott für den Hinweis
Btw: mein momentaner "Traum" Datenlieferant wäre Nanex. Link
Wer einen Datenstrom liefern kann der so detailiert ist, dass HFT wie ein modernes Kunstwerk aussieht kann nicht schlecht sein
Donnerstag, 23. September 2010, 22:01
Wenn ein HS das auf dem IB Feed entwickelt wurde vor dem 11. Juni funktioniert und danach nicht mehr ist es meiner Meinung nach ganz einfach zu wenig robust und sollte daher erst gar nicht in Erwägung gezogen werden.
Somit kann man sagen (um dem ganzen etwas positives abzugewinnen), dass der 11. Juni nur ein weiterer "Test" für jedes HS auf IB ist der bestanden werden muss bevor das HS überhaupt in den real test geht.
Das sehe ich jetzt aber doch deutlich anders.
In Abhängigkeit von der Systemidee, kann es essentiell sein alle Ticks zu haben!!
Ein System, dass zb. mit M+ analysiert, wieviel % der Ticks am bid oder ask gehandelt wurden um Trendwenden zu erkennen wird wahrscheinlich nicht mehr funktionieren, wenn man ihm die Hälfte der Informationen zufällig vorenthält.
Anstatt sich zu beschweren wie schlecht doch alles ist, sollte man sich besser darauf konzentrieren mit dem Material zu arbeiten das einem zur Verfügung steht.
Hab mich nicht beschwert (auch wenn es mich ziemlich ärgert, was da an Daten ankommt).
Ich wollte nur darauf hinweissen, dass ein Strukturbruch in der Datenlieferung von IB vorliegt.
Daher: danke an Lenzelott für den Hinweis
Es war meine Intention, dass andere User den möglichen Fallstrick kennen und nicht evtl. sinnlos Geld verbrennen und Ihre System wegwerfen, nur weil der Datenfeed sich geändert hat.
Aufgrund der Postings war das wohl richtig, hat ja anscheinend noch keiner den Strukturbruch der Daten wahrgenommen.
Freut mich, dass Deine Systeme nicht betroffen sind. Von meinen System ist auch nur eines betroffen, trotzdem ärgerlich.
If you think it´s expensive to hire a professional, wait until you hire an amateur.
Freitag, 24. September 2010, 10:19
In Abhängigkeit von der Systemidee, kann es essentiell sein alle Ticks zu haben!!
Dann ist aber eine Entwicklung auf IB Feed erst recht der falsche Ansatz, egal ob vor oder nach dem Strukturbruch, es fehlen immer Ticks.
Hab mich nicht beschwert (auch wenn es mich ziemlich ärgert, was da an Daten ankommt).
Ich wollte nur darauf hinweissen, dass ein Strukturbruch in der Datenlieferung von IB vorliegt.
Vielleicht war ich zu extrem in meiner Aussage. Natürlich sind solche Dinge auch für mich ein Ärgernis, aber da muss man schlussendlich drüber stehen und den Blick wieder nach vorne richten.
IB war noch nie ein Glanzlicht in Sachen Datenqualität und wird es (vermutlich) auch nie sein. Richtige Datenqualität kostet richtig Geld und bis es soweit ist konzentriere ich mich auf "grobschlächtige" Ideen die auch dann noch funktionieren (sollten) wenn IB wiedermal an ihrem Feed Algo rumfrickeln ohne ihre Kunden darauf hinzuweisen (ist ja auch verständlich. Welches Unternehmen verschickt gerne News mit Inhalt: Hey und übrigens, unser Feed ist nun offiziel schlechter als je zuvor!
).Schlussendlich muss man sich für einen Feed entscheiden und lernen mit dessen Tücken zu leben.
- 1
- 2
Ähnliche Themen
-
Datenbeschaffung »-
CFTC Daten
(17. Mai 2006, 07:52)
-
- Datenbeschaffung »
-
guter Forex Datenanbieter
(12. Januar 2006, 21:55)
-
- Erweiterungs- und Verbesserungsvorschläge zu Investox »
-
RTT für Interactive Brokers Beta
(11. November 2005, 15:42)
-
- Datenbeschaffung »
-
Tickdaten von ascunia.de ?
(28. September 2003, 10:27)
-
- Datenbeschaffung »
-
Datenqualität/Taipan realtime
(2. Mai 2003, 11:17)