Dienstag, 16. April 2024, 13:28 UTC+2

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

Lieber Besucher, herzlich willkommen bei: INVESTOX-Forum. Falls dies Ihr erster Besuch auf dieser Seite ist, lesen Sie sich bitte die Hilfe durch. Dort wird Ihnen die Bedienung dieser Seite näher erläutert. Darüber hinaus sollten Sie sich registrieren, um alle Funktionen dieser Seite nutzen zu können. Benutzen Sie das Registrierungsformular, um sich zu registrieren oder informieren Sie sich ausführlich über den Registrierungsvorgang. Falls Sie sich bereits zu einem früheren Zeitpunkt registriert haben, können Sie sich hier anmelden.

Registrierungsdatum: 29. Dezember 2007

Beiträge: 297

Wohnort: Bad Homburg

1

Mittwoch, 16. April 2008, 10:15

Datenpflege zerschiesst historische Kursreihen

Hallo,

ich habe die etzten Tage eine besondere Erfahrung machen dürfen und ich interessiert mich, ob es sich um enen bekannten Fehler handelt und wenn ja, wann dieser behoben wird.

Ich hatte bemerkt, dass einige Tage in einem aufgezeichneten Titel (DAX) fehlten. Ich habe nun die 'Datenpflege' von Investox RTT (für TaiPan) aufgerufen und habe die letzten 3 Jahre noch einmal nachpflegen lassen.

Der Fehler der Dabei auftrat war, dass zwar die fehlenden Tage nachgepflegt wurden, dafür aber das komplette Jahr 2006 fehlte.

Deshalb habe ich die Datenpflege noch einmal aufgerufen, ab dem Jahr 2006.

Nach diesem Durchlauf war dann das Jahr 2006 komplett, dafür fehlten aber wieder Daten aus dem Jahr 2007.

Um die geneigte Leserschaft nicht zu sehr zu langwielen, ich habe diesen Vorgang noch weitere drei mal wiederholt und bis zum heutigen Tag leider noch keine saubere Datenreihe hinbekommen.

Sind hierzu Erfahrungen vorhanden und wie kann ich dieses Problem lösen
Grüße,

Christian

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

2

Mittwoch, 16. April 2008, 11:23

Hallo Cristian,

viellicht hilft es wenn Du die alte RTT-Datei (auch BID-ASK falls geladen) komplett löscht und den Vorgang noch einmal wiederholst!
Happy Trading

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

3

Mittwoch, 16. April 2008, 11:28

Noch was: Der Ladevorgang sollte nicht zwischen 0:00 Uhr und 1:00 Uhr stattfinden, da L&P einen sog. Midnightprozess fährt! Da könnte es zu Störungen kommen..
Happy Trading

Registrierungsdatum: 29. Dezember 2007

Beiträge: 297

Wohnort: Bad Homburg

4

Mittwoch, 16. April 2008, 11:35

Hallo Udo,

kann ich gerne noch einmal ausprobieren.

Ich habe festgestellt, dass wenn Daten schon bereits vorhanden sind, die Datenpflege sehr langsam ist.

Es wird anscheinend recht intensiv auf die Platte zugegriffen.

Meine Daten sind jetzt aktuell auch "zwangsgelöscht" worden, da ich dachte, es wäre eine tolle Idee für ein TaiPan-Abbo mal die Option "wenn möglich Daten direkt vom Server Laden" zu aktivieren. Dies führte zur vollständigen Zerstörung des Datensatzes. ;(

Jetzt habe ich die Option wieder abgewählt und noch einmal die Datenpflege am 2003 gestartet.

Mal schauen, ob ich mich heute Abend freuen oder wieder ärkern kann - eigentlich wollte ich schon mit meinem System live gehen, aber irgendwie macht mir die Datenversorgung einen nicht ausgereiften und robusten Eindruck.

Habt Ihr mal über CRCs nachgedacht, um einen replizierten Datensatz automatisch zu prüfen und zu fixen?

Ich denke das würde vielen Usern sehr gefallen!
Grüße,

Christian

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

5

Mittwoch, 16. April 2008, 11:58

Hallo Christian,

man kann die Daten welche vom L&P Server geladen werden nicht direkt anwenden, da sie nicht realpush von Investox aktualisiert werden können! In der Regel genügen für den Server-Datenstream ein paar Ticks in der RTT Datei damit es funktioniert! Die RTT Datei ist quasi ein "Pseudo Pool" für den Stream. In der Regel sollte es auch machbar sein, den Stream ohne Zwischenstation,in dem Fall RTT, zu laden und ohne Pseudo-Titel auszukommen! Das ist aber aus jetziger Sicht mit Investox (noch) nicht möglich.Ich hatte des öfteren korrupte RTT Dateien was hauptsächlich auf Fehler oder Ausfälle in der Datenübermittlung zurückzuführen ist. Bei einem Realpush Stream wird zwar der Datenstrom auch ausfallen, aber da sich die Daten im RAM befinden wäre die RTT-Datei,die man abends nachladen könnte,nicht unmittelbar betroffen! Es sind schon eine Menge Daten die Du nachladen möchtest aber es sollte eigentlich funktionieren. Super wäre,wenn Investox auch die vorkomprimierten Daten vom TPR Server laden könnte denn nicht immer sind Tickdaten erforderlich. L&P bietet 1-x Minuten gestaffelt an,den genauen Raster weiß ich jetzt leider nicht. Das spart jede Menge Zeit und, was weniger wichtig ist, Speicherplatz
Happy Trading

Registrierungsdatum: 29. Dezember 2007

Beiträge: 297

Wohnort: Bad Homburg

6

Mittwoch, 16. April 2008, 13:05

Hallo Udo,

im Augenblick mache ich dass ja auch so. Ich habe jeweils nochmal einen Titel Angelegt, mit einer TaiPan als Datenquelle + EoD als Komprimierung.

Den Datensatz habe ich via "Datenpflege" erzeugt.

Soweit ich es sehe, wird dieser Datensatz auch Realtime upgedated, wenn RTT läuft.

Soweit so gut. Das Problem, dass ich sehe ist das nicht robuste Verhalten von Investox <--> RTT <--> L&P.

Aktuell kann anscheinend zur Laufzeit der Datenpflege bzw zur Handelszeit keine Überprüfung durchgeführt werden, ob die von RTT ausgelesenen bzw von TaiPan gepushten Daten korrekt sind. Fehler in der Kommunikation z.B. timeout ect führen zu korrupten Datensätzen.

Deshalb denke ich, ist eine Überwachung der Daten z.B. via Checksum CRC ect absolut notwendig!

In der aktuellen Version von Investox gibt es zwar einen Datenchecker, der kann aber nur im nachhinein korrupte Daten durch plausikontrolle finden aber nicht fixen.

Ein erneutes starten der Datenpflege führt dann ja wieder zu einer möglichen Zerstörung des Datensatzes - im Falle eines Kommunikationsproblems.

Das kann's doch nicht sein. Es muss doch möglich sein das Problem einer Replizierung korrekt in Investox umzusetzen.

Wie läuft es denn bei Anderen. Ist es denn wirklich "normal", dass man keine vollständigen Datensätze bekommen kann, muss man das so hinnehmen?

Gibt es nicht bessere/robustere Ansätze z.B. über einen anderen Datenanbieter der vielleicht robuster integriert wurde.

Ich habe gehört, dass ein Datenabgleich von Pinnacledata via CRC geprüft wird. Ist denn vvielleicht das von mir geschilderte Problem "nur" bei L&P vorhanden?
Grüße,

Christian

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

7

Mittwoch, 16. April 2008, 14:41

Hallo Christian,

aktuell gibt es kein anderes Daten-Verfahren,Du hast bereits alles aufgezählt! Das Problem könnte aber auch Datenreihen für IB betreffen. Nur es tritt nicht mit jedem Datenabriss auf und bei IB gestalten sich die Datenabrisse so,das keine falschen Zeitstempel durch nachpuschen geliefert werden! Daher sind den IB-Daten Tradern diese Problematiken vielleicht nicht so geläufig oder treten gar nicht auf. L&P hat seit letzten Monat (lt. Angabe) den neuen Server installiert und einen besseren Vendor Stellenwert bei VWD (so habe ich es verstanden). Damit sollten die gröbsten Probleme der Datenübertragung behoben sein-hoffe auch ich! Was das vermeiden der korrupten RTT-Dateien anbelangt kann sicher nur Herr Knöpfel interne Routinen anbieten,wir können nicht viel machen! Hast Du ein EOD ABO bei L&P? Wenn nicht, kannst Du über den Stream Server EOD-Kurse ziehen,die zeitreihe kopieren,als txt. anlegen,ASCII/ANSI einlesen und als Titel anlegen. Das ganze verbindest Du via Kombititel (txt+RTT) und lädst die Intraday-Zeitreihe so weit,das alle Berechnungen und eventuelle Grafiken sauber ausgeführt und dargestellt werden können. Das ist alles andere als optimal und ergonomisch aber ohne EOD-ABO z.Zt.nicht anders machbar! Oder Du lädst wirklich alles in Ticks und komprimierst-aber das dauert halt ewig! Um EOD Intraday zu handeln genügen oft ganz kurze (im Verhältnis) Datenzeitreihen um die Strategie umzusetzen! Es kommt darauf an, wie viele Titel Du handest und ob sich der Aufwand rentiert! Wenn es ein ganzer Indice ist,sollte man sich ein EOD Datenabo überlegen oder Herr Knöpfel programmiert und auf die Schnelle ;) eine Möglichkeit,sämtliche L&P-Serverkomprimierungen als RTT-Datei zu speichern und abzulegen! Die Gefahr einer korrupte RTT Datei hemmt das nicht, aber eine kurze Intraday-Datenreihe ist schneller wieder aufgebaut als eine ultralange und so oft kommt es eigentlich nicht vor, das RTT Dateien korrupt sind. Ein bisschen was vertragen die schon..:)
Happy Trading

Registrierungsdatum: 29. Dezember 2007

Beiträge: 297

Wohnort: Bad Homburg

8

Mittwoch, 16. April 2008, 15:03

Hallo Udo,

ich habe den Basisdienst von L&P abboniert.

Prinzipiell finde ich L&P als Datenlieferant auch ganz o.k.. Aber wie schon gesagt, seit nunmehr 5 Tagen bin ich permanent dabei "einfach nur den Dax-Future" von L&P via Datenpflege zu laden... Und ich habe Ihn immer noch nicht komplett ;(

Wenn das Problem andere auch haben könnte man eine Abgleich mittels Prüfverfahren robust gestalten.

Hierfür müsste L&P allerdings eine Prüfsumme anbieten, die von Investox überprüft wird und wenn die Prüfung nicht stimmt, wird der Abschnitt einfach nochmal geladen.

Für alle Handelssystemleute ist eine vollständige, saubere Datenquelle sehr wichtig. und wenns nunmal Probleme mit der unterliegenen Technik gibt, dann kann man ja auch das Protokoll der API erweitern...

Hast Du denn auch Erfahrungen mit anderen Anbietern und deren Datenverwendung?
Grüße,

Christian

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

9

Mittwoch, 16. April 2008, 15:29

Hallo Christian,

mit anderen Anbietern habe ich im Zusammenhang mit Investox keine Erfahrungen-ausser eben IB,mit Tenfore nicht und mehr hat man nicht zur Auswahl! Aber wahrscheinlich tauchen diese Problemen dort weniger auf, da die Datenabrisse (lt. Aussagen) nicht so gehäuft auftreten wie das bei L&P der Fall bislang war! Aber auch bei esignal habe ich schon von Problemen gehört das Ticks nachgelaufen sind! Jeder Datenanbieter hat da wohl mal das ein oder andere Problemchen nur sie sollten sich nicht überhäufen. In Bezug auf Deinen Vorschlag der sich an L&P richtet, solltest Du dort mal anrufen und das ganze mit einem Entwickler abklären. Ich denke sie sind an Weiterentwicklung schon interessiert wenngleich nicht jeder Entwickler auf erhebliche Mängel so ultraschnell wie Herr Knöpfel reagiert!

Prinzipiell finde ich L&P als Datenlieferant auch ganz o.k.. Aber wie schon gesagt, seit nunmehr 5 Tagen bin ich permanent dabei "einfach nur den DAX-Future" von L&P via Datenpflege zu laden... Und ich habe Ihn immer noch nicht komplett

Hmm..im Basisdienst hast Du nur einen gewissen Zeitraum auf die Historie Zugriff! Vielleicht kann man eine vorkomprimierte Datenreihe downloaden,sie haben ja eine Datenbank! Du kannst ja auch mal nachfragen, denn das ist wirklich stressig einen so langen Zeitraum TickbyTick zu laden!

Für Systementwicklung sind die Daten das A und O das stimmt und diese Diskussion haben wir,zurecht,schon seit einigen Jahren! Will man einen Datendienst mit 99,5%iger Ausfallsicherheitsgarantie seitens des Anbieters, zahlt man bis zu einer mittleren vierstellige Summe/Monat /je nach ABO)-so meine Erfahrung!
Happy Trading

Registrierungsdatum: 29. Dezember 2007

Beiträge: 297

Wohnort: Bad Homburg

10

Mittwoch, 16. April 2008, 21:16

Hallo Udo,
danke für deine Antwort.
Ich überlege mir tatsächlich bei L&P mal durchzuklingeln. Vielleicht kann man dort ohne großen Aufwand verbessern...

Welchen Anbieter meinst Du denn mit der mittleren vierstelligen Summe/Monat?
Grüße,

Christian

Rubelroller

unregistriert

11

Mittwoch, 16. April 2008, 21:29

Hallo Christian,

probier Mal deine PC-Uhr umzustellen. z.B. auf 01.01.2007 und lade nur Jahr 2006 runter, dann auf 01.01.2008 und lade 2007 runter, usw.

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

12

Donnerstag, 17. April 2008, 00:05

Hallo Christian,

wie schon erwähnt holst Du die EOD- Datenreihe über den L&P Server,das dauert nicht mal 5 Sekunden. Du ziehst den Chart voll auf und kopierst die Zeitreihe. Die Kopie transportierst Du in Excel und speicherst sie als txt. ab. Dann holst Du sie mit wenigen Mausklicks nach Investox und legst sie als Titel an. Aufwand: Nicht mal 2 Minuten! Jetzt kannst Du einen Kombititel daraus knüpfen und benötigst wesentlich weniger Ticks. Meine so erstellte EOD Historie für den FDAX reicht bis 2002 zurück, aber ich habe zusätzlich das EOD Abo. Vielleicht hilft das weiter. Für viele Titel ist die Lösung nicht optimal. Ich würde mir an dieser Stelle wünschen,das Investox den vorher beschrieben Vorgang automatisch durchführen-und die so gewonnen Daten formatiert abspeichern kann..:)
Happy Trading

Registrierungsdatum: 29. Dezember 2007

Beiträge: 297

Wohnort: Bad Homburg

13

Donnerstag, 17. April 2008, 09:54

Hallo Juri, hallo Udo,

@Juri

interessanter Vorschlag, aber wie kommst Du darauf dass dieser funktioniert. Hattest Du damit schon einmal ein ähnliches Problem lösen können?

Ich habe festgestellt, dass es keine Korrelation zwischen der Systemzeit und den korrupten Daten gibt. Diese sind immer "zufällig" dann aufgetreten, wenn es ein Kommunikationsproblem zwischen Investox und L&P gab.

@Udo

Tja, ist wohl auch ne Lösung.

Zumindest scheint Sie auch einige Vorteile zu haben...

Ich würde es mit allerdings auche ehr etwas weniger gebastelt und dafür besser integriert wünschen.

Es gibt in diesem Bereich eine Menge Verbesserungsvorschläge, die die Problematik deutlich verbessern würden.

Was ich mit wünsche -ohne zu sehr in die Details zu gehen - wäre für RTT eine Art Downloadmanager-Funktion, sodass angewählte Titel automatisch korrekt und für den Benutzer transparent geladen werden.

Der Datencheck in Investox gehört - zumindest zusätzlich - mit in das RTT + natürlich ein automatisches erneutes Laden der korrupten Bereiche.

Das könnte man natürlich auch notfalls halbautomatisch machen.

Das man bei der Datenpflege immer nur ab einen Bereich die Daten bis zum aktuellen Datum nachpflegen kann + die Daten erst nach dem kompletten Durchlauf auf die Platte geschrieben werden finde ich nicht gut gelöst.

Die Nachteile bei diesem Verfahren sind:

- Fehler am anfang des Datensatzes lassen sich nur durch eine fast komplette Datenpflege des Gesammtbereichs fixen

Dies erhöht wie oben beschrieben die Gefahr erneuter Fehler, da kein Datencheck via Protokoll implementiert wurde.

- Bei Systemen mit kleinem Hauptspeicher - mia culpa, ich besitze noch einen Laptop - führt dies zur Auslagerung verursacht durch die doch grössere Datenmenge.

- Ein Abbruch des Vorganges führt zur Löschung der im Vorgang gesammelten Daten.
Grüße,

Christian

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

14

Donnerstag, 17. April 2008, 12:32

@Christian

Ein weiterer Vorteil des so erstellten Kombititel ist, das der Rechner nur zu ca. 5-10% dessen ausgelastet wird, was eine tickkoprimierte Datenreihe mit 32.000 Datenperioden fordert. Man kann hier locker 10 Titel laufen lassen und hat trotzdem 5-10 Jahre Historie!
Happy Trading

Registrierungsdatum: 29. Dezember 2007

Beiträge: 297

Wohnort: Bad Homburg

15

Donnerstag, 17. April 2008, 12:41

Hallo Udo,

hmmm, vielleicht sollte ich mir das mal genauer ansehen ;)

Du scheinst zumindest recht überzeugt von diesem Ansatz zu sein...
Grüße,

Christian

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

16

Donnerstag, 17. April 2008, 13:25

Hallo Christian,

ich könnte ohne diesen Ansatz keine langen Historien darstellen und gleichzeitig real handeln. Da würde der PC abschmieren. Die langen Historien benötige ich für breite Histogramme!
Falls Du es testen möchtest und nicht klar kommst kann ich das gerne Schritt für Schritt entweder schriftlich oder via Video im Blog erklären. Wenn L&P auch Nachteile hat, ist das aber ein großer Vorteil. Übrigens kann man die EOD-Daten von L&P zeitgesteuert downloaden. Es wird aber immer ein Katalog aktualisiert und nicht ein einzelner Titel! Die Downloads beinhalten dem zum Zeitpunkt des Downloads gestellten realen Wert! Das nur nebenbei...
Happy Trading

Investox

Administrator

Registrierungsdatum: 31. August 2002

Beiträge: 5 680

17

Donnerstag, 17. April 2008, 14:36

Hallo,

das angesprochene Problem bezieht sich auf die Datenpflege langer Historien mit mehr als 20 Millionen Ticks (z.B. FDAX ab 2002 sind mehr als 50 Millionen Ticks). Da steigt RTT bisher ab einem bestimmten Punkt aus (darauf bezieht sich auch der Tip mit der Uhrzeit zurückstellen).

Im jetzt verfügbaren Serviceupdate 2.8.8 für RTT ist dieses Problem beseitigt, d.h. die Datenpflege läuft auch beim FDAX ab 2002 durch (sollte aber natürlich nicht manuell abgebrochen werden, wenn man eine saubere Historie möchte).

Serviceupdate 2.8.8: www.download.investox.de/RTTUpd2_8_8.exe

Ein "Zerschiessen" von RTT-Daten von Investox aus ist dagegen ausgeschlossen, Investox greift in keinem Fall auf die RTT-Ddateien schreibend zu.

Viele Grüße

Andreas Knöpfel

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

18

Donnerstag, 17. April 2008, 15:33

Hallo Herr Knöpfel,

wäre es auch möglich die vorkomprimierten Daten von L&P zu laden und abzuspeichern? Man braucht ja nicht immer Tickdaten sondern es genügen oftmals 1 Minuten oder Hourly-Daten! Wenn es schon angeboten wird wäre es prima diese Möglichkeit zu nutzen. Zerschossen werden die Dateien von Unregelmäßigkeiten beim Datenanbieter und Verbindungsabbrüchen zum Server des Anbieters-so meine bisherige Erfahrung!
Happy Trading

Lenzelott Männlich

Experte

Registrierungsdatum: 30. Dezember 2002

Beiträge: 3 050

Wohnort: Giessen

19

Donnerstag, 17. April 2008, 20:12

Noch ein Wunsch für die Datenpflege:
wäre es nicht möglich nur einen begrenzten Bereich nachzuladen?
Bei mir passiert es hin und wieder, dass von Zeit a bis Zeit b keine Daten gespeichert sind (warum auch immer).
If you think it´s expensive to hire a professional, wait until you hire an amateur.

Registrierungsdatum: 29. Dezember 2007

Beiträge: 297

Wohnort: Bad Homburg

20

Freitag, 18. April 2008, 09:14

Hallo Herr Knöpfel,

vielen Dank für das Update. Das Nachpflegen von Kursdaten ist dadurch deutlich robuster und performanter geworden.

Ich konnte gestern nach einspielen des Patches die die Dax-Historie von 2003 - 2008 binnen 1 Stunde nachpflegen. Das hatte ich bisher noch nicht geschafft.

Danke!
Grüße,

Christian