Dienstag, 16. April 2024, 18:32 UTC+2

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

Lieber Besucher, herzlich willkommen bei: INVESTOX-Forum. Falls dies Ihr erster Besuch auf dieser Seite ist, lesen Sie sich bitte die Hilfe durch. Dort wird Ihnen die Bedienung dieser Seite näher erläutert. Darüber hinaus sollten Sie sich registrieren, um alle Funktionen dieser Seite nutzen zu können. Benutzen Sie das Registrierungsformular, um sich zu registrieren oder informieren Sie sich ausführlich über den Registrierungsvorgang. Falls Sie sich bereits zu einem früheren Zeitpunkt registriert haben, können Sie sich hier anmelden.

ojb Männlich

Profi

Registrierungsdatum: 2. Februar 2003

Beiträge: 381

Wohnort: München

1

Dienstag, 13. Januar 2004, 12:45

INTERESSANT: IB Intradaydaten backfillen

Hallo Leute,

wie Ihr ja aus meinen Beiträgen unten wisst, bin ich auf der Suche nach Intraday Daten.

Nun bin ich fündig geworden und finde diese Quelle ziemlich prima, weswegen ich auch einen neuen Beitrag aufgemacht habe. :]

Es gibt ein Chartprogramm namens SierraChart. Dazu gibt es Anbieter die auf speziellen Servern die Daten von IB aufzeichnen und zum Download zur Verfügung stellen.
Delayed kostenlos und Realtime gegen Gebühr allerdings nur für IB Kunden.

http://www.scmagic.de/Pages/Download.htm

Diese Daten werden leider in dem SierraChart eigene Format mnd gespeichert.
Man kann Sie aber mit diesem Tool in ASCII konvertieren und verfügt über
bis zu einem Jahr lange 1 Minuten Intradaydaten der wichtigsten Werte generiert aus dem IB Datenstrom.

http://www.rdeangelis.com/SC/mnd2txt.html

SCMagic bietet einen Downloader an, der einen realtime Backfill ermöglicht.
Prima wäre es, wenn die Ihre Daten in ASCII oder Metastock speichern würden, oder wenn Investox direkt das Sierra Format lesen könnte.

@Herrn Knöpfel:
Meinen Sie es wäre schwierig einen Importfilter zu basteln, wenn die Kollegen Ihr Format offenlegen würden.

Liebe Grüße
Oli

Investox

Administrator

Registrierungsdatum: 31. August 2002

Beiträge: 5 680

2

Dienstag, 13. Januar 2004, 16:36

RE: INTERESSANT: IB Intradaydaten backfillen

Hallo,

@Herrn Knöpfel:
Meinen Sie es wäre schwierig einen Importfilter zu basteln, wenn die Kollegen Ihr Format offenlegen würden.

Das hängt wohl vom Format ab. Wie Sie schreiben, gibt es ja ein Tool zur Konvertierung in ASCII.

Viele Grüße
Andreas Knöpfel

ojb Männlich

Profi

Registrierungsdatum: 2. Februar 2003

Beiträge: 381

Wohnort: München

3

Dienstag, 13. Januar 2004, 17:45

RE: INTERESSANT: IB Intradaydaten backfillen

Hallo Herr Knöpfel,

ja, das stimmt, aber man muß halt jede Zeitreihe händisch umwandeln,
wenn man so 100 beobachtet, ist das natürlich sehr mühsam.

Ich versuche gerade über die Möglichkeit der Offenlegeung des Formates und dann natürlich die Art des Formates etwas herauszufinden.

Liebe Grüße
Oli

Roti

unregistriert

4

Dienstag, 13. Januar 2004, 22:03

IB Intradaydaten backfillen

Hallo ojb,

ja das stimmt - schön wäre eine gewisse 'Automatic', warum immer händisch die Daten umwandeln?

Schade nur das es keinen Anbieter für IB Backfilldaten ähnlich scmagic, etc. gibt. Und Knöpfel Software bietet nur Tickhistoreien der Eurex an auf CD an. Denke für einen vernüftigen Beitrag wäre dies auch für Investox machbar, ob durch eine priv. Gruppe od. Knöpfel Software.

Will aber hier niemanden etwas zuschieben, ich kenne mich in Datenbankprogrammierung nicht so gut aus, und von 08:00 bis 22:00 ist der PC auch nicht an, daß wäre doch eine Marktlücke.

Natürlich wäre es auch nicht schlecht wenn SierraChart-Format in Investox gehen würde.

Gruß

Roti :)

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »Roti« (13. Januar 2004, 22:06)


ojb Männlich

Profi

Registrierungsdatum: 2. Februar 2003

Beiträge: 381

Wohnort: München

5

Mittwoch, 14. Januar 2004, 13:03

RE: IB Intradaydaten backfillen

Hallo,

ich habe mittlerweile das Sierra Datenformat ausfindig gemacht. Es steht einfach in der Hilfe.

Offensichtlich scheint es sehr einfach zu sein.

Deshalb noch mal die Frage an Herrn Knöpfel, ob man so was als Import implementieren kann, denn dann können wir Investoxler einfach SCMagic als Datenlieferant verwenden. Angesichts der gebotenen Leistung wäre das sicher eine großartige Bereicherung.

Vielen Dank im Voraus und liebe Grüße
Oli

Quellcode

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
If you're creating the data files yourself and writing data to them, then when the file is opened in Sierra Chart it will read the file and get new data from it every second.

#define FILE_HEADER "INTRADAY_DATA"

struct s_IntradayFileHeader

{

 char Name[sizeof(FILE_HEADER)]; //  string should be null terminated

 short PriceFormat; // not used

 long PosOfLastRecDownloaded; // not used

 char Reserve[32];

};

struct s_MinuteRecord

{

 unsigned short Date; // Microsoft Variant date format as an integer

 unsigned short Time; //  number of minutes from 00:00

float Open;

float High;

float Low;

float Last;

unsigned long Volume; The high 10 bits are used for the number of trades per minute.

};

Investox

Administrator

Registrierungsdatum: 31. August 2002

Beiträge: 5 680

6

Mittwoch, 14. Januar 2004, 15:19

RE: IB Intradaydaten backfillen

Hallo,

die abgebildeten Informationen reichen hierfür jedenfalls nicht aus. Ganz kurzfristig lässt sich dies wohl nicht umsetzen.
Wie stellen Sie sich das konkret vor? Auf scmagic.de müssen die Daten für jeden Titel einzeln geladen werden, und zwar jeweils als gesamte Tickhistorie für ein Jahr. Möchten Sie das dann einzeln und komplett in RTT einarbeiten? Einen Realtimefeed ersetzt dies jedenfalls nicht und für eine ad-hoc Datenpflege für 100 Titel oder mehr ist dies doch extrem mühsam, egal ob RTT die Daten direkt einliest oder nicht.

Viele Grüße
Andreas Knöpfel

ojb Männlich

Profi

Registrierungsdatum: 2. Februar 2003

Beiträge: 381

Wohnort: München

7

Donnerstag, 15. Januar 2004, 09:53

RE: IB Intradaydaten backfillen

Hallo Herr Knöpfel,

erst mal (wiedermal) Danke für die schnellen Antworten.

Hier die Erklärung was SCMagic macht:

Zitat

SCMagic ist ein Produkt speziell für Benutzer der Chartsoftware SierraChart, die über einen Trading Account bei Interactive Brokers verfügen. Der grosse Nachteil bei dieser Konstellation sind die fehlenden Kurshistorien, diese Lücke schliesst SCMagic.

SCMagic und das Datenabo bieten die Möglichkeit zu jedem gewünschten Zeitpunkt, wann immer man will, die Backfill Historien Realtime zu erhalten, also angenommen man geht Montag um 12 Uhr auf den Server, so bekommt man alle Daten die bis 12 Uhr fehlen, nämlich genau seit das letzte Mal die Verbindung Sierrachart und TWS unterbrochen worden ist.
Danach schreibt man sie mit IB einfach weiter.


Ersetzen wir in obigem Text SierraChart durch Investox bzw. RTT, heißt das, daß dieses Programm die optimale Ergänzung zur Investox RTT sein könnte.
Konkret: Man kommt (so wie ich zum Beispiel) gegen 19 Uhr von der Arbeit zu Hause an, startet SCMagic, das Programm füllt die IB Daten bis 19 Uhr auf, ab dann schreibt RTT die aktuellen Werte weiter.

Also hätte man für die Original-IB-Daten dasselbe, was wir für Tai-Pan auch haben. Und den Komfort von RTT für TP weiß ich schon sehr zu schätzen.

Liebe Grüße
Oli

Investox

Administrator

Registrierungsdatum: 31. August 2002

Beiträge: 5 680

8

Mittwoch, 21. Januar 2004, 14:35

RE: IB Intradaydaten backfillen

Hallo,

eine derartige Umsetzung ist derzeit jedenfalls nicht geplant. Es würde ja nicht genügen, einen Importfilter für die Daten zu schreiben.

Viele Grüße
Andreas Knöpfel

gynner

unregistriert

9

Samstag, 24. Januar 2004, 11:45

RE: IB Intradaydaten backfillen

Hallo,

mir gefällt diese Lösung auch sehr gut und ich frage mich, was denn nun (außer dem Preis) bei der Datenversorgung mit TP RT anders ist als mit SC Magic, so dass das Backfillen hier nicht möglich sein soll ?
Gruß Günter

Thomas

unregistriert

10

Samstag, 24. Januar 2004, 16:19

Ich habe mir das vor einigen Wochen auch schon mal angesehen und SCmagic angeschrieben, ob eine Anbindung anderer Chartsofware, außer Sierra Charts, in der Zukunft geplant ist.

Grundsätzlich hat man dies bejaht, will sich jedoch auf die am häufigsten verwendeten Programme konzentrieren. Nach eigenen Angaben soll die Programmierung der jeweiligen Schnittstellen dabei auch stets von SCmagic erfolgen, da man in Zukunft noch weitere Pläne hat und sich das Heft nicht aus der Hand nehmen lassen will.

Was auch immer das bedeuten mag, ich glaube nicht dass es zukunftsfähig ist.

Ein herunterladen von mehreren Titeln im Sierrachart Format, die anschließende Konvertierung jedes einzelnen Titels (einzeln) in ASCII, ein einlesen dieser Datenreihen in RTT (kann man überhaupt Tickdaten und Daten in minütlicher Komprimierung mischen?) und die anschließende Neuanbindung an die TWS (mit der in der Zwischenzeit zwischen Konvertierung und einlesen entstandenen Kurslücke) stellt für mich jedenfalls keine praktikable Lösung dar.

Hätte ich ein funktionierendes Intraday-Handelssystem so würde ich wahrscheinlich eher darauf achten, dass die Datenqualität gut, die Anzahl der angebotenen Märkte hoch sowie die im Feed enthaltenen Informationen umfangreich sind (OI intraday, Bid/Ask size etc.). Solche Anbieter gibt es schon für < $ 100 im Monat, was für aktives Intraday Trading kein hoher Betrag sein dürfte, wenn man profitabel ist.

jürgen

unregistriert

11

Sonntag, 25. Januar 2004, 20:46

RE: INTERESSANT: IB Intradaydaten backfillen

Hallo zusammen,

ich habe gerade mal die Datenhistorie es-200403- globex runtergeladen, in der Hoffnung das wäre der es-mini.

Was ich dort bekommen habe ist entweder nicht der es-mini, oder nur Datenschrott. Wenn das die Datenbank zum backfillen ist, kann ich nur eindringlich davor warnen.

Nicht nur erhebliche Kurslücken etwa ab 10/03, sondern davor auch jede Menge völlig falsche Datenreihen. Die Kursverläufe sind in vielen fällen überhaupt nicht mehr erkennbar. Aufgefallen ist mir das anhand riesiger und häufiger Kurssprünge zur Tageseröffnung.

In einer Stichprobe von etwa 20 Tagen konnte ich 2 tage wiedererkennen. Weiß der Geier was die da aufzeichnen.
Soll keine Kritik an der Person sein die das hier vorgestellt hat. War einen Versuch wert.

Schönen Sonntag noch

ojb Männlich

Profi

Registrierungsdatum: 2. Februar 2003

Beiträge: 381

Wohnort: München

12

Dienstag, 3. Februar 2004, 20:11

RE: INTERESSANT: IB Intradaydaten backfillen

Hallo,

Investox scheint Probleme zu haben das ASCII Format korrekt zu lesen. Ich hab alles mögliche probiert, weiß aber nicht woran es liegt.
Es klappt wenn man nur Monate aus der mnd Datei exportiert. Nimmt man die komplette, erhält man nur Datenschrott, insofern hat Jürgen recht.

Ich hab ein kleines C Programm geschrieben, wenn man das als "Präprozessor" verwendet, dann funktioniert es.

Die nächste Hürde ist dann, daß die Datenreihen z.T. Null als Wert enthalten.
Dem kann man mit einem grep entgegentreten und dann hat man auch vernünftige Daten. Ja, ich hätte das auch noch in das C Programm packen können, aber ich hatte jetzt einfach keine Zeit dafür.

Ich habe den FESX so behandelt und gegen L&P Einzelkontrakte verglichen und das passt alles.

Also, wer sich die Mühe machen will muß folgendermaßen vorgehen.

1) Herunterladen des gewünschten Kontraktes bzw. Aktie von
www.scmagic.de -> Download.

2) Mit dem oben erwähnten mnd2txt in ein csv konvertieren.
ACHTUNG: Es muß csv sein, weil sonst mein C Programm streikt.

3) Das angehängte sc2inv Name.csv drüber laufen lassen.

4) Nullen heraustrennen mit
grep -v ;0,000000; Name.txt > Name2.txt

So geschafft. Name2.txt ist dann das von Investox lesbare File ohne Nullen.
Beim Einlesen unbedingt auf das Datumsformat achten: M/T/J.

Ich finde die Mühe lohnt sich trotzdem, da man dann doch über eine nette Intradaysammlung ohne Kosten verfügt.

Liebe Grüße
Oli
»ojb« hat folgende Datei angehängt:
  • sc2inv.zip (15,12 kB - 392 mal heruntergeladen - zuletzt: 8. April 2024, 07:35)

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »ojb« (3. Februar 2004, 20:37)


jürgen

unregistriert

13

Donnerstag, 5. Februar 2004, 10:49

RE: INTERESSANT: IB Intradaydaten backfillen

Hallo zusmmen,

also ich spreche über die es-mini Historie. Wenn ich mich recht erinnere habe ich die Datumsformatierung in Excel geändert, das Einlesen in Investox war danach kein Prob mehr.
Zur Datenüberprüfung habe ich letztendlich auch die ASCII durchgesehen und festgestellt, dass eben die Datenreihen falsch sind. Wie gesagt im es-mini.

Schön wenn es in den anderen Datenreihen besser ist.

Jürgen