Dienstag, 16. April 2024, 14:55 UTC+2

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

Candle

unregistriert

1

Freitag, 25. April 2008, 13:55

Datenfehler beseitigen - aber wie?

Hallo

Seit einigen Wochen kommt es bei meinen Daten zu einer Häufung von Fehlern (siehe Chart).
Das exakte Auffinden und Beseitigen dieser Kurshopser ist recht mühsam und zeit intensiv, da ich jede Kerze
zunächst in einzelne Ticks zerlegen muss.
Gibt es eine Funktion, die das Ganze etwas automatisiert?

Ich sage schon mal vielen Dank.

Grüße
»Candle« hat folgendes Bild angehängt:
  • Unbenannt.jpg

Vuego

Meister

Registrierungsdatum: 30. August 2002

Beiträge: 999

2

Freitag, 25. April 2008, 14:21

Hallo,
rechte Maustaste (auf die entsprechende Kerze) dann "Dateninspektor" und direkt in RTT entsprechend ausbessern evtl. über Suchen in RTT "Kurse < "Wert"
Vuego

Peratron

unregistriert

3

Freitag, 25. April 2008, 15:41

Hallo,
rechte Maustaste (auf die entsprechende Kerze) dann "Dateninspektor" und direkt in RTT entsprechend ausbessern evtl. über Suchen in RTT "Kurse < "Wert"
Vuego


Der Tip von Vuego funktioniert aber nur direkt im Ticktitel, nicht im Kombititel!

Candle

unregistriert

4

Freitag, 25. April 2008, 16:35

Herzlichen Dank Vuego,

deine Hilfe ist schon mal ein wertvoller Tipp.

Allerdings besteht solch ein Ausreißer nicht nur aus einem Tick. Bei der Kerze handelt es sich um eine 90 Minuten Komprimierung, in der sehr, sehr viele solcher Fehler enthalten sind.
Jeder 32. Tick ist im Kurs exakt halbiert. Das Volumen, normalerweise mit ´0´ angegeben weißt an dieser Stelle den Wert ´1,175494E-38´ oder ähnlich auf.
Von Hand ist das kaum zu bewerkstelligen. Und die ´Datenkorrektur´ im Dateninspektor hilft auch nicht recht weiter.

Macht es Sinn, die komplette Datei zu löschen und die RTT-Daten seit 2002 wieder neu aufzubauen? Würde wahrscheinlich ein halbes Jahr dauern. Aber wenn dann alles wieder im Lot wäre ...

Vielleicht kennt ja jemand eine Lösung.

Viele Grüße

Frieder

unregistriert

5

Freitag, 25. April 2008, 16:47

Hallo Candle,

wie schon von Vuego beschrieben, rufst du im Chart durch Rechtsklick auf die "defekte" Candle den Dateninspektor auf.

Dieser springt entweder direkt auf die fehlerhaften Datenzeilen oder diese liegen etwas über oder unter der geöffneten Datenzeile.

Dann klickst du die erste Zeile der defekten Kerze an, drückst die Shift-Taste und HÄLST SIE FEST! Mit der Maus scrollst du jetzt in den Datenzeilen bis zu der Zeile, an der der Fehler aufhört und klickst diese zeile EINMAL an !
Als Folge sind nun alle Datenzeilen, die du so markiert hast, dunkelblau unterlegt.

Dieses dunkelblau Unterlegen kann bei größeren Datenmengen (mehrere Tage Tickdaten z.B. ) schon mal einige Minuten dauern.

Danach gehst du dann "nur" noch auf "Markierte Daten löschen" und Schwupp: der Chart ist wieder fehlerfrei, nachdem du ihn mit F5 aktualisiert hast.

Diesen Weg würde ich immer dem Neuaufbau einer 6-Jahrehistorie vorziehen.

Wenn man die Daten täglich oder wöchentlich auf Datenbrüche checkt ist der Aufwand nicht allzu groß.

Allerdings sollten derartige Fehler die Ausnahme sein: bei mir treten sie eigentlich nur nach Abstürzen des Rechners auf...

Beachcomber

unregistriert

6

Freitag, 25. April 2008, 18:11

Hallo,

AK hat doch mal die Tickdatenfilter.exe zur Korrektur von RTT-Dateien geschrieben. Die müßte doch eigentlich "serienmäßig" im RTT-Installationsordner vorhanden sein? Wenn nicht, einfach mal bei Herrn Mestanza danach fragen. Mit diesem Tool geht das Löschen solcher Fehlticks blitzartig über die Bühne, auch bei 50-Mio-Tick-Dateien und größer.

@ Candle
Evtl. vor Einsatz der Tickdatenfilter.exe an deiner speziellen RTT-Datei, damit mal ein wenig an Probe-RTT-Dateien rumprobieren um ein Gefühl für die Toleranz-Einstellung zu bekommen und natürlich vorher Datensicherungen anlegen!

Viele Grüße
Jürgen

Candle

unregistriert

7

Sonntag, 27. April 2008, 17:56

Hallo Kollegen

Zunächst ein dickes Dankeschön an alle die geholfen haben. Besonders die Kombination Vuego + Frieder funktioniert prima und zeitsparend.
Dennoch habe ich mich zum Neuaufbau der Daten entschlossen. Es gab so viele Fehler, dass deren Auffinden und Beseitigen wohl Tage gedauert hätte.
Der PC hatte vor ein paar Wochen einige Abstürze. Offenbar waren das die Ursache.

Leider wart das Runterladen der Ticks in einem Schwung nicht möglich. Zunächst wurden die Kurse von 2002 bis November 2005 geladen.
Nach RTT-Neustart von Nov. 2005 bis Mitte 2006. Anschließend (nach einem RTT-Neustart) bis Anfang 2007 usw.
Ist das bei solch großen Kurshistorien normal oder liegt es an irgendwelchen Einstellungen? Die Datei hat inzwischen rund 100 Millionen Ticks.

Viele Grüße

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

8

Sonntag, 27. April 2008, 23:20

Hallo Candle,

wer ist der Datenlieferant und auf welchem Time Frame läuft das System? Sind die Tickdaten nur für den Aufbau der Historie oder sind sie dazu notwendig, damit man das System backtesten kann? Mit welcher Vorkomprimierung könntest Du auskommen?
Happy Trading

Peratron

unregistriert

9

Montag, 28. April 2008, 08:50

Hallo Candle!
Der Download aufeinmal dürfte mit der neusten RTT Version 2.8.8 möglich sein sofern Du Taipan verwendest!
Grüße Peratron

Version 2.8.8. vom 18.4.2008
RTT für IB und für Tenfore: Titelverwaltung/Bearbeiten: Für individuelle Titel kann eine Zeitkorrektur in Sekunden angegeben werden.
RTT für IB:
Bei der Datenpflege verarbeitet RTT für IB die Meldung "pace violation" (Zugriffsbegrenzung) des IB Servers und wartet in diesem Fall solange, bis der Server wieder bereit ist (dies kann jeweils bis zu 10 Minuten dauern).
Option "Negative Werte zulassen" wurde nicht gespeichert, wenn nicht noch eine andere Änderung vorgenommen wurde.
Die Monatsangabe in der Titeldefinition erlaubt die Angabe auch des Tages im Monat als Zusatz, also z.B. 0516 für 16. Mai. Die Angabe des Tages kann z.B. für Eurex Optionen erforderlich sein.
RTT für Tai-Pan RT: Die Datenpflege ermöglicht nun auch den Import von Historien mit vielen Millionen Ticks am Stück.

Candle

unregistriert

10

Montag, 28. April 2008, 16:01

Hallo Udo
Obiges Problemchen ist nicht wirklich problematisch. Man baut ja nicht täglich 100 Millionen Ticks neu auf :-)
Ich wollte nur einmal darauf hingewiesen haben.
Trotzdem Danke.

Hallo Peratron
Danke für den Hinweis. Bei mir war noch 2.8.5 installiert. Ich habe jetzt die neueste Version auf der Platte.

Gruß

Chemie262

unregistriert

11

Montag, 28. April 2008, 16:42

Hallo,
ich kontrolliere jeden Morgen die Daten auf solche Fehler. Bei IB treten sie meist auf, wenn deren Server herunter- und heraufgefahren wird.
Dabei geht die Korrektur bedeutend schneller, wenn man die Zeile nicht löscht sondern den Wert des Ticks davor auf den fehlerhaften Wert kopiert und anschließend den Curser noch ein Feld weiter transportiert. Wenn man jetzt schließt, ist der Wert augenblicklich korrigiert. Löschen dauert je nach Größe der RTT-Datei doch eine ganze Weile.
Generell habe ich beobachtet, daß diese Fehler bedeutend seltener auftreten als vor reinem Jahr.
Tschüß,
Herbert

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

12

Montag, 28. April 2008, 17:03

Hallo,

ich hatte auch öfter Tick-Spikes in langen Historien und habe immer manuell bereinigt. Irgendwann war mir das zu müßig und ich bin dazu übergegangen,Kombititel zu verwenden. Super wäre wenn Investox die vorkomprimierten Titel von L&P abspeichern könnte. Mit TP-EOD Abo hat man Zugriff auf lange Historien. Wenn Investox die vorkomprimierten Daten abspeichern könnte schaltet man ein gewisses Maß Risiko für Spikes aus und wenn das ganze einmal gehäuft auftritt,aus welchem Grund auch immer,löscht man die Tick byTick RTT Datei und ladet den kurzen Zeitraum über L&P neu! Somit hat man wieder eine sauberer Zeitreihe und muss nicht Tick für Tick rausfieseln.

@Herbert

L&P produziert die Spikes fast immer selbst indem die Daten abreißen oder stolpern! Allerdings habe ich in letzter zeit das Gefühl das sich was in Sachen Qualität getan hat-ich möchte es aber nicht verschreien... :D
Happy Trading