Dienstag, 16. April 2024, 19:35 UTC+2

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

IB mit Backfill 24h

Lieber Besucher, herzlich willkommen bei: INVESTOX-Forum. Falls dies Ihr erster Besuch auf dieser Seite ist, lesen Sie sich bitte die Hilfe durch. Dort wird Ihnen die Bedienung dieser Seite näher erläutert. Darüber hinaus sollten Sie sich registrieren, um alle Funktionen dieser Seite nutzen zu können. Benutzen Sie das Registrierungsformular, um sich zu registrieren oder informieren Sie sich ausführlich über den Registrierungsvorgang. Falls Sie sich bereits zu einem früheren Zeitpunkt registriert haben, können Sie sich hier anmelden.

Fritz

unregistriert

201

Mittwoch, 1. März 2006, 09:23

Hallo,

was die IB-Datenversorgung z.Z. betrifft, absolut gleiche Feststellungen.

Bei den vielen Aufhängern alle Titel händisch kontrollieren, das keine Datenlücken sind oder gleich einen längeren Zeitraum laden lassen. Insgesamt ein unbefriedigender Zustand.

Gruß

Fritz

Gerasan

unregistriert

202

Freitag, 3. März 2006, 17:05

nur 2 Tage backfill für FDAX

Momentan kann man nur 2 Tage FDAX backfillen und Schweizer IB Helpdesk kann weis nichts über Backfill. Habe eine eMail nach USA geschickt, mal sehen, was sie sagen.

Mikel

unregistriert

203

Freitag, 3. März 2006, 18:16

Hallo Gerasan

Da es scheinbar klagen über die Verlangsamung des Orderroutings gegeben hat, hat IB vermutlich den Backfill stark eingeschränkt.

Gemäss ersten inoffiziellen Aussagen von IB werden in Zukunft drei Möglichkeiten bestehen:

a) Backfill wird kostenpflichtig
b) Backfill intraday nur für kurzen Zeitraum (um Ausfälle zu kompensieren), ausserhalb der Hauptbörsenzeiten länger möglich
c) Backfill wird ganz abgeschafft.

IB als Broker hat kein Interesse, dem Kunden primär einen guten Datenfeed resp. einen Backfill anzubieten, das tun die nur aus Marketinggründen resp. weil einige Konkurrenten das auch haben. Das Hauptaugenmerk liegt immer noch auf der möglichst unverzögerten Orderabarbeitung mit niedriger Latenz.

Udo Männlich

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

204

Freitag, 3. März 2006, 19:00

Hallo,

Backfill eingeschränkt (oder sogar gestrichen),Ticks eingeschränkt und für bestimmte Strategien nicht brauchbar..was will man mehr und Herrn Knöpfels Aufwand für IB-RTT war teilweise für die Katz..... :baby: Vielleicht haben sie aber auch mit einigen US Anbietern wie esignal Probleme bekommen!
Happy Trading

Gabi

unregistriert

205

Freitag, 3. März 2006, 19:37

Hi Udo
Siehe Trade:Frieder Meine Erfahrungen mit den Tenfore Datenfeed:

@Auch ist das Spektrum von Billiganbietern mit teilweise bedenklicher Datenqualität und Stabilität bei INV wirklich zur Genüge abgedeckt, wobei IB auszunehmen ist. Ein Broker wird immer vorrangig seine Orderserver pflegen; erst dann seine Preisserver.

Ein Broker ist halt kein Datenvendor!

Schönes Wochenende Gabi

Gerasan

unregistriert

206

Montag, 6. März 2006, 01:13

Ich bin ja bescheiden. Es wäre m.E. ausreichend, wenn IB mit dem Backfill kurze Unterbrechungen überdecken könnte, so 2-3 Tage. Aber auch das ist nicht stabil gewährleistet. Es ist auch nich möglich festzustellen, wo das Problem liegt, bei IB oder bei dem RTT.

Gerade habe ich zum Beispiel ein Test durchgeführt, der automatische Datenpflege des RTT testen sollte und musste leider feststellen, dass RTT nach einer Versorgungsunterbrechung nicht automatisch Backfillt:

Test am 06.03.2006 um 00:11 Uhr:
RTT und TWS aktiv. Daten werden aufgezeichnet.

Um 00:12 TWS wird manuell beendet -> RTT reagiert mit roter Warnung.
Um 00:13 TWS wird manuell gestartet -> RTT setzt die Datenaufzeichnung fort, jedoch ohne die der automatischen Datenpflege.
Ergebnis: Datenlücke von ca. 2 Minuten.

06.03.2006 00:11:01
06.03.2006 00:11:09
06.03.2006 00:13:00
06.03.2006 00:13:02

Hier liegt der Fehler mit großer Wahrscheinlichkeit bei RTT. Das ist reproduzierbar. Herr Knöpfel, kann man hier was machen? gibt es etwa eine Mindestunterbrechungszeit, damit der Backfill anspringt?

Anderes Beispiel:
Wenn ich die Datenpflege im RTT manuell starte:
wen ich einen Zeitraum wähle, der jenseits der Datenverfügbarkeit liegt, hängt sich RTT am Ende der Datenverfügbaren Zeitraumes auf und kann nur über den Taskmanager beendet werden.

Noch einer:
ich habe den FGBM angelegt und wollte gleich mit der Datenpflege einige Tage nachladen. Es ist noch kein einziger Tick aufgezeichnet. RTT hängte sich unmittelbar nach dem starten der automatischen Datenpflege auf und konnte nur mit "Task beenden" beendet werden.


Während des Backfills wird die CPU komischerweise sehr stark beansprucht: das liegt wohl an der API-Software, dazu kann AK nichts, hat er ja schon gesagt. Vielleicht wäre es aber eines Tickets an den IB Support wert.

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »Gerasan« (6. März 2006, 01:16)

Frieder

unregistriert

207

Montag, 6. März 2006, 11:14

Hallo Gerasan,

die Probleme, die Du da beschreibst, sind eigentlich mit der neuesten Version des RTT_IB weitestgehend behoben.... Bist Du sicher, daß Du das RTT_IB 2.6.0 installiert hast?

Dies gilt auf jeden Fall für die Beendbarkeit von RTT_IB per Taskmanager, das ist längst abgestellt.

Das der IB-Backfill an dem Punkt stehen bleibt, an dem keine Daten mehr kommen, ist leicht daran ersichtlich, daß die Uhrzeit länger als 30 sec. nicht mehr rückwärts läuft.

Bei Deinem FGBL-Backfill ist es auch nicht so, daß sich RTT_IB "aufhängt", sondern da IB für manche Titel einfach NULL TICKS bereitstellt, kann der Backfill natürlich auch nicht starten.

Dies tritt im übrigen nicht nur beim FGBL auf, sondern auch beim ES,NQ +ZB zum Beispiel: dort sind nur selten mehr als wenige Stunden backfillbar. Manchmal hilft ein manuelles Neu-Versuchen und nach dem 5. Neustart des Backfills für einen Titel gelingt es dann manchmal 1-2 Tage zu backfillen, aber ohne jegliche Reproduzierbarkeit der Länge.

Auch die 100%-ige CPU-Auslastung beim Backfill tritt bei mir schon seit einigen Wochen nicht mehr auf.

Fazit: Das RTT_IB-Tool ist nahezu perfekt, alle Probleme die damit z.Zt. auftreten sind fast ausschließlich durch den (von IB so gewollten) miserablen Server-Backfill verursacht.

Ich befürchte, wir sollen auf diese Weise weichgekocht werden für eine kostenpflichtiges Zusatz-Abo des Backfill-Features.

Darüber hinaus hat IB bei mir einen deutlichen Image-Schaden dadurch erlitten, daß seit ca. 4 Wochen auf meine mehrfach vorgetragenen Beschwerden keinerlei Reaktion erfolgte.

Ich finde, Herr Knöpfel hat mit dem RTT_IB ein wertvolles, für uns kostenloses Toll programmiert, in das aus meiner Sicht aber keine weitere Arbeitszeit mehr einfließen sollte.

Dieser Beitrag wurde bereits 3 mal editiert, zuletzt von »Frieder« (6. März 2006, 11:22)

Gerasan

unregistriert

208

Montag, 6. März 2006, 12:52

Hey Frieder,
Bei mir ist RTT 2.6. installiert. Leider beobachte ich die beschriebenen Probleme in diesem Release.
Die Einführung der Backfillfunktionalität bei IB finde ich Prima, und ich hoffe, dass nach einigen Anlaufschwierigkeiten es IB gelingen wird einen stabilen Stand zu erreichen.

Ich hoffe das das RTT-Modul weiter für den IB-Datenfeed und IB-Backfill gepflegt und ausgebaut wird.

Erste Priorität wäre für mich die Stabilität und Vorhersagbarkeit des RTT. Einzelne Fehler dürfen nicht zum Blockieren der Datenaufzeichnung führen. Übrigens werden die Api-Meldungen in igendwo geloggt?
Das Zweitwichtigste wäre der Datenlücken Backfill, sprich wenn mir eine Minute Daten von gestern fehlt, möchte ich nicht alle Daten von heute und gestern erneut abrufen.

Mit der API-Schnittstelle bietet IB die Möglichkeit an, sehr selektiv Daten auszusuchen ohne für hunderte andere Daten bezahlen zu müssen. Diese Selektivität fand ich bei keinem Datenlieferanten angeboten.

Für meine Bedürfnisse würden z.B. ca. 100 Datenserien ausreichend. Diese Instrumente liegen bei den Datenlieferanten jedoch schön verteilt über mehrere Datenpakete. Würde ich die abonnieren, müsste ich so ziemlich alle Daten der Welt bezahlen um effektiv nur 100 Instrumente zu benutzen.
Zweitens ist es m.e. sinnvoller, die Daten zu analysieren, auf derer Basis später real gehandelt wird. Was nutzt mir ein System, welches auf sauberen Daten von L&P basiert, wenn Realtreading auf anderen Daten basiert. Zugegeben das kommt auf das System an, aber eine vermeidbare Unsicherheit ist es allemal.

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »Gerasan« (6. März 2006, 12:55)

Udo Männlich

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

209

Montag, 6. März 2006, 13:02

@Gabi

IB ist kein Datenlieferant,da sind wir uns einig aber das heisst nicht,das man als Broker auf der hauseigenen Plattform die Ticks nicht der Eurex übermittelten Tickmenge anpassen und liefern kann.Eine Begründung,das entweder die Server es nicht schaffen oder dies an diverse Kundenwünsche angepasst wurde ist unzureichend! Entweder man ist Broker oder nur halber und wenn man hochspekulative Instrumente anbietet muss man für die richtige Grundlage sorgen egal ob dies für den privaten oder institutionellen Bereich gilt! Auch billige Preisen rechtfertigen das nicht! Lieder zahle ich ein bisschen mehr und habe 1a Daten!

IB ist allen Anschein ein Wackelkanidat wenn es um saubere Datenlieferung geht!Der Feed ist zwar stabil (mit fallender Tendenz),was ihn auszeichnet(e),aber liefert dementsrechend mässige Ticksanzahlen! Zu ähnlichen Schwankungen wie Anke es in einem anderen zusammenhang beschrieben hat, könnten es auch kommen, wenn man zu wenige Ticks mit einem "regulären" Tickzahlen vergleicht!

Manche Trader, kommen mit einem Tag Backfill aus,benötigen aber die volle Power der Ticks und das ist bei IB nicht gewährleistet-wie im Vergleich zu L&P oder Tenfore festgestellt wurde!Daraus folgt, das man noch mal bis zu 200€/Monat zusätzlich (Je nach Ansprüchen) aufwenden muss, damit man bessere Tick Daten bekommt zzgl. bis zu 25€ zusätzlich, für die Freischaltung der IB real Daten!

Mich würde es nicht wundern,wenn IB den Backfill entweder einstellt,stark verkürzt oder dieser mit Fehlern und Unregelmässigkeiten behaftet ist oder "wird"! Als Trost bleibt, das die Ausfallzeiten der TWS bislang gering waren und hoffentlich bald das vergangene Niveau wieder erreichen denn dann muss man kaum während der Handelszeiten backfillen.Aber wenn man viele Werte mit IB versorgt und jeden Backfill mit dem Investox Datenchecker prüfen müsste, ist das ein unangemessen hoher Zeitaufwand und zudem lästig.

Was RTT _IB betrifft kann ich Frieder zustimmen. Jeder weitere Zeitaufwand in das Tool ist bei Wackelkanidaten überflüssig. Den zeitlichen Aufwand kann man mit anderen dringlichen Aufgaben für die Software sicher besser nutzen!
Happy Trading

Frieder

unregistriert

210

Montag, 6. März 2006, 13:26

Hallo Gerasan,

verwendest Du die TWSSTART 2.3.6.2502?

Gerasan

unregistriert

211

Montag, 6. März 2006, 13:59

Hi Frieder,

bei meinem oben beschriebenem Test habe ich TWSStart nicht benutzt.

Frieder

unregistriert

212

Montag, 6. März 2006, 14:42

Hallo Gerasan,

wenn Du das RTT_IB mit der TWSSTART manuell schließt und die Option des automatischen Starts bei "Externe Programme" für RTT_IB im TWSSTART aktiviert hast, wird auch die automatische Datenpflege beim Neustart korrekt aktiviert, vorausgesetzt Du hast in der API der TWS die entsprechenden Felder aktiviert, bzw. ausgefüllt: trusted IP etc.

Gerasan

unregistriert

213

Dienstag, 7. März 2006, 23:04

Danke Frieder für den Tip. Ich habe es mit TWSStart gemacht. Die neue TwsStart hat jetzt so viele Flags, und so wenig Doku, das jetzt erstmal experimentieren ansteht. Weisst Du nicht zufällig wozu bei Application Settings --> External Programs unter "Start Settings" und "Close Settings" das "Delay after" steht?

Und wieder zu IB RTT Backfill:
bereits zum zweiten Mal beobachte ich folgendes Problem:
(ich beschreibe hier viele wahrscheinlich überflüssige Details)
Kursaufzeichnung läuft einwandfrei. Wärend der Aufzeichnung füge ich ein weiteres Titel (YM Marktontrakt) in RTT ein und starte Datenpflege für YM zwei Tage in die Vergangenheit. Nachdem die Datenpflege ca. 16 Stunden in der Vergangenheit einfriert, beende ich die Datenpflege --> RTT läuft noch weiter und zeichnet andere Daten auf.
Ich Unternehme einen Zweiten Versuch der Datenpflege für YM jetzt für nur 15 Stunden in die Vergangenheit. Dabei friert RTT komplett ein und wird von mir mit Taskmanager beendet. Ich schließe auch die TWS.
TWSStart startet daraufhin TWS neu und nach 30 sekunden RTT auch.
RTT beginnt automatische Datenpflege. Wunderbar. Aber jetzt kommt's: Die Datenpflege backfillt Daten zu weit in die Vergangenheit, also auch hinter dem Zeitpunkt, wo es bereits Daten gibt.
Warum hält RTT nicht dort an wo Daten zuletzt existierten?
Passiert es etwa immer dann, wenn RTT nicht ordnungsgemäß beendet wird, und es evt keine End-Markierung der Daten durchführen kann?

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »Gerasan« (7. März 2006, 23:13)

Frieder

unregistriert

214

Dienstag, 7. März 2006, 23:28

Zitat

Original von Gerasan
Warum hält RTT nicht dort an wo Daten zuletzt existierten?
Passiert es etwa immer dann, wenn RTT nicht ordnungsgemäß beendet wird, und es evt keine End-Markierung der Daten durchführen kann?


So isssesssss.....

Ich breche in diesem Fall den Backfill ab und setz ihn manuell auf 15 oder 30 Minuten.

Zum Delay: die balloon-info sagt ja: "time to wait before execution", d. h. so wie man bei dem RTT_DDE mit dem Parameter /W die Wartesekunden angeben kann, geht das auch hier, nur in 1/1000 Sekunden. Ist aber für RTT_IB nicht nötig!

Steff

unregistriert

215

Montag, 13. März 2006, 02:08

Hallo zusammen,

soweit ich das beurteilen kann, kommt es in folgenden Fällen zum "Einfrieren" von RTT- IB, wie es Gerasan beschrieben hat:

1. Der Backfill wird mit einer Datumsangabe gestartet, die zu weit in der Vergangenheit liegt, d.h. es sind nicht für den gesammten Zeitraum Daten verfügbar.
2. Während der Datenpflege bricht die Verbindung der TWS zum IB-Server ab.
3. Nach einem Verbindungdabbruch wird die Datenpflege automatisch gestartet, obwohl der HMDS für den betreffenden Titel noch nicht verfügbar ist (Status:rot/disconnected).

Insbesondere Punkt 2 ist m.E. problematisch, da dies häufig auch während eines automatischen Backfills auftreten kann - nämlich dann, wenn nach einem Verbindungsabbruch der TWS die Verbindung kurz darauf erneut für einige Sekunden abbricht, wie ich es bereits häufiger beobachten konnte.
Diese zweite, kurze Unterbrechung fällt dann genau in den Zeitraum der Datenpflege, wodurch es zum besagten "Einfrieren" kommt.
Aber auch Punkt 3 konnte ich bei ca. 1/4 der Verbindungsabbrüche beobachten, es handelte sich dabei meist um den hkhmds2, also den Marktdatenserver für Hongkong, der als letzter eine Verbindung bekam. Wenn vorher eine Datenpflege für den HSI gestartet wird, kommt es in 100% der Fälle zu besagten Schwierigkeiten.

@A.K.: Können sie diese 3 Punkte reproduzieren und wäre es hinzubekommen, dass RTT-IB mit diesen Situationen klarkommt?

Viele Grüsse
Stephan

Gerasan

unregistriert

216

Montag, 13. März 2006, 09:46

Hallo,

ergänzend möchte ich noch sagen, daß es zwei Arten von "einfrieren" gibt.

1. Unendlich langes warten auf Daten bei der Datenpflege. Dabei kann man die Datenpflege noch regulär Abbrechen durch das Drücken auf den Datenpflege Abbrechen --> Ja. Danach ist RTT weiterhin im Betrieb und und lässt sich bedienen. Problem hier ist, daß diese unendliche Datenpflege weitere Titelaufzeichnung blokiert. Kann man da eine Zeitbegrenzung einstellen, z.B. "wenn 60 Sekunden keine neuen Daten --> Datenpflege abbrechen.

2. Echtes "einfrieren" --> RTT Modul reagiert nicht mehr. Das hat Steff und ich weiter oben bereits detailiert beschrieben.

Zur TWSStart:

nach ausgiebigen Tests mußte ich leider feststellen, dass viele neuen features der TWSStart selbst mit Bugs behaftet sind oder schlicht nicht funktionieren. Deswegen nutze ich TWSStart nur zum starten von TWS --> das einzige, was das Programm noch einwandfrei hinkriegt. Wetere Steuerung habe ich über den Taskplaner realisiert. Täglich wir TSWStart und RTT damit automatisch durchgestartet. Nach kurzen Verbindungsabbrüchen reaktiviert sich TWS und danach auch RTT selbst, dazu braucht man die Monitoring-Funktion von TSWStart nicht.

Investox

Administrator

Registrierungsdatum: 31. August 2002

Beiträge: 5 680

217

Montag, 13. März 2006, 10:18

Hallo,

ein Problem ist es natürlich, wenn von IB (z.B. wegen Verbindungsabbruch) keine Rückmeldung mehr kommt. Für diesen Fall wäre ein "TimeOut" z.B. von 60s sicherlich sinnvoll (wird eingebaut).

Viele Grüße
Andreas Knöpfel

Steff

unregistriert

218

Montag, 13. März 2006, 14:16

Hallo Herr Knöpfel,

heute Morgen hat RTT-IB die Verbindung zur TWS verloren, es wurden keine Daten mehr aufgezeichnet, CPU-Auslastung 100%.
Dabei war die autom. Datenpflege nicht aktiviert. Offenbar besteht noch ein anderes Problem, das unabhängig von der Backfill Funktion auftritt.

Viele Grüsse
Stephan

Mikel

unregistriert

219

Montag, 13. März 2006, 14:23

Hallo Steff,

Solche Beobachtungen kann ich bestätigen. Als zweiten Datenfeed verwende ich darum z.T die DDE-Anbindung an IB. Bezüglich Hängern, was z.Z. einen Unsicherheitsfaktor darstellt bei Investox RTT für IB, ist die DDE-Schnittstelle immun.

Gerasan

unregistriert

220

Montag, 13. März 2006, 14:31

Ja, das kann ich bestätigen. Folgendes habe ich beobachtet:

TWS und RTT laufen --> TWS manuell beenden --> Nach ca. 30 Sekunden steigt der CPU-Verbrauch der RTT auf 100%(50% bei HT-CPUs) und RTT reagiert nicht mehr. (Also auch ohne der Datenpflege).

PS: Herr Knöpfel, wenn Sie die TimeOut-Zeit einbauen, könnten Sie sie bitte einstellbar machen? Und dass die automatische Datenpflege dann mit dem nächsten Titel weiter macht, und nicht kommplett aufhört? Und das die ganzen Ereignisse in einer Textdatei protokolliert werden? Danke :)