Freitag, 19. April 2024, 17:18 UTC+2

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

Bernd

Experte

Registrierungsdatum: 5. Juni 2005

Beiträge: 4 070

Wohnort: Iringsweg

21

Donnerstag, 13. September 2007, 12:04

@Udo
das herumdoktoren werden wir als User wohl kaum abstellen können da es eine Frage des Dateimanagements ist. Dann muss man noch abklären, ob aufgrund der Masse die aktuellen Rechnerkapazitäten (Ressourcen) überhaupt genügen-selbst wenn man 4 Gig Ram stecken hat!
Dateimanagement ist das Stichwort. Die Verarbeitung erheblich grösserer Datenmengen als es der Hauptspeicher Ausbau vorgibt ist seit langem für Audio/Video Schnittprogramme gar kein Problem! All den Voodoo, der mich als Musiker nicht interessiert, erledigt so ein Programm klamm und heimlich! Die Dateien werden hinter den Kulissen von diesen Programmen verschnipselt und indiziert. Danach ist eine Verarbeitung diser Daten in Echtzeit (!) möglich, so dass man life schneiden oder dazu-musizieren kann. Und das, ohne dass man an den Dateien selber rumbasteln muss.

Ich hatte schon gedacht, dass Investox das auf sowas einfachem wie Tickdaten auch kann, da sind keine Frames und kein Echtzeit-Timing auf 80 parallel aktiven Spuren zu beachten, während gleichzeitig noch aufgenommen werden muss ...

Heisst das, mit Investox Mitteln sind meine beiden Problemfelder nicht lösbar? Muss ich wirklich selber den Riemen auf die Orgel werfen und extern rumprogrammieren?
Gruss
Bernd

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

22

Donnerstag, 13. September 2007, 22:20

Hallo Bernd,

eine komfortable Lösung sehe-ich zumindest- aktuell nicht! Bei L&P (EOD) werden Datenpakete über das Internet komprimiert geladen,in temporären Dateien abgelegt,aufgeschnürt und in die Datenbank eingelesen. Die Wochendatenpakete enthalten Daten für mehrere hunderttausend Titel (Vollabo). Das einlesen geht relativ flott und die CPU wird nicht zu 100% ausgelastet. Investox versucht das komplette Datenpaket auf einmal zu ziehen und irgendwann sind die Ressourcen des PCs am Ende. Vielleicht wäre so eine Art Datenbank mit Datenmanagement für externe Daten (txt./csv. usw.) das Richtige um große Daten einzulesen! Anschließend sollten die Daten in eine RTT Datei eingelesen und umgewandelt werden können. Das schreibt sich zwar schön aber ob es so-oder so ähnlich möglich ist lasse ich dahingestellt!
Happy Trading

olli

unregistriert

23

Freitag, 14. September 2007, 10:26

ja mein letzter rechner hatte 8GB RAM... die probleme mit dem import haben m.e. nichts mit den rechnerressourcen zu tun.

ich glaube, dass bei so grossen dateien RTT streikt. das einzige, was man mal probieren könnte, ist der import über eine dummy-datei.

ich vermute aber, dass es nicht funktionieren wird. ich selbst habe es mit derartig grossen dateien noch nicht ausprobiert,

da ich solche files nicht habe...

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

24

Freitag, 14. September 2007, 10:43

Hallo olli,

ich denke nicht das es am RAM hapert, sondern an der CPU Auslastung die garantiert beim Import ständig am Anschlag ist. Das gleiche Problem hat man wenn man Software nutzt die keine Datenbank so wie RTT integriert hat sondern alles über den Cash einliest und temporär speichert! Selbst bei 8 GB RAM ( wozu so viel RAM??) würde man die Last bemerken! Wie viel eine RTT Datei fasst müsste man testen oder Herr Knöpfel kann es uns aus dem Stegreif sagen...
Happy Trading

Investox

Administrator

Registrierungsdatum: 31. August 2002

Beiträge: 5 680

25

Freitag, 14. September 2007, 12:25

Hallo,

die jetzige Möglichkeit für den Import von Tickhistorien mit >20 Millionen Ticks wurde ja bereits früher dargestellt (Kombititel zur Vorkomprimierung, allerdings aufwendig umzusetzen für viele Titel). Es sind aber auch Erweiterungen in Richtung der Vorkomprimierung geplant.

Viele Grüße
Andreas Knöpfel

Bernd

Experte

Registrierungsdatum: 5. Juni 2005

Beiträge: 4 070

Wohnort: Iringsweg

26

Freitag, 14. September 2007, 12:35

Hallo Udo, Stephan, Frank und Olli (hoffentlich habe ich niemand vergessen :rolleyes: )

Vielen Dank für Eure Kommentare. Weil man bei dem Thema Datei-Handling richtig viel Zeit verliert, ging es mir vor allem in diesem Thread darum, ob ich nichts übersehen habe. Ob es doch noch eine Methode gibt, wie Investox grosse Datenmengen elegant verwaltet und man damit incl. M+ und Tickdatenanalyse Backtest auf 10 Jahre machen kann.

Ich weiss nun, dass ich nicht übersehen habe, dass man entweder um Investox rumbasteln muss oder teure vorher aufbereitete Daten kaufen muss. Pest oder Cholera eben. Und Tick-Infos für die Tickdatenanalyse werden bei gekauften vor-komprimierten Daten noch nichtmal in den einzelnen Perioden drinstecken bzw. INV kann, extern erzeugt, damit nichts anfangen.


@ Herr Knöpfel

Von der 2GB Dateigrössen Beschränkung steht nichts in der Investox Doku. Können Sie diese bestätigen (siehe Posting 10)? Solche Angaben würden enorm Zeit sparen. Oder habe ich eine der Dokus übersehen? Ich habe sowohl die Investox Help Suchfunktion bemüht, als auch Google Desktop und noch einiges mehr. Gibt es signifikante Änderungen im Datei-Management mit V5?


Edit: oh, hat sich gerade mit Ihrem Posting gekreuzt, Herr Knöpfel.
Gruss
Bernd

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

27

Freitag, 14. September 2007, 14:16

@Bernd

Markt Plus ist hinsichtlich der Komprimierung sehr biegsam. Es benötigt nicht unbedingt Tickdaten und kommt mit allen Komprimierungen-auch EOD mit vier Werten/Tag zurecht! Die POCs und Schwellen der VAU/VAO verschieben sich gegenüber TickbyTick Daten nicht drastisch. Manchmal sind Tick by Tick Daten sogar störend (Levels können verrauscht werden) so das ich für ein Tageshistogramm schon mal 3-5 Ticks, Spanne oder die gleichbemessene Aufteilung,die M+ ebenfalls anbietet,verwende.Bei M+ ist nicht unbedingt die Pragmatik ausschlaggebend sondern die Schwellen stellen die realen Investitionen der Trader am Markt da und lassen hinter die Kulisse blicken. Das kann man von herkömmlichen Kursmuster nicht immer behaupten! So wird beispielsweise eine Candle "gläsern"! Uff...jetzt habe ich das Thema verfehlt :whistling: ...sieh es mir bitte nach... :D
Happy Trading

olli

unregistriert

28

Freitag, 14. September 2007, 15:09

ich bin da mit bernd voll auf einer linie.

es gibt genug programme, die vormachen, wie einfach man mit grossen datenmengen

umgehen kann. ich arbeite recht viel mit audio, allerdings sind da die files viel kleiner

als mehrere GB. in der bild und videobearbeitung ist das allerdings ebenfalls kein problem,

ohne dasss man in photoshop ein grosses bild erst zerschneiden müsste, bevor man einen

filter anwendet. von der dateigrösse vergleichbar sind allerdings nur videos, die in entsprechenden

programmen natürlich auch abschnittweise geladen und bearbeitet werden können, ohne,

dass das gesamte file ins RAM geladen werden müsste. vielleicht unterschätzen wir hier

die schwierigkeit, sowas für INV und marktdaten umzusetzen, aber praktisch wäre es schon,

denn so wie es jetzt ist, wirkt das dateimanagement, als stammte es aus einer anderen epoche,

als 20M ticks 10 jahre und nicht 6 monate abdeckten. ich gehe mal davon aus, dass herr knöpfel das

als einer der ersten erkannt hat und es hoffentlich (reine vermutung, wunsch der vater des gedanken, lol)

für V5 in dem bereich positive überraschungen geben wird.

Bernd

Experte

Registrierungsdatum: 5. Juni 2005

Beiträge: 4 070

Wohnort: Iringsweg

29

Freitag, 14. September 2007, 15:10

Hallo Udo
So wird beispielsweise eine Candle "gläsern"! Uff...jetzt habe ich das Thema verfehlt :whistling: ...sieh es mir bitte nach... :D
Ganz so schlimm bin ich doch auch wieder nicht ^^ Hatte oben nur nochmal schüchern nach dem ursprünglichen Thema nachgefragt, ist schon ok, wenn sich unterwegs auch andere Diskussionen ergeben. Dafür ist's ja ein Forum :P

Was Du ansprichts interessiert mich aber jetzt schon: wenn Tickdaten verdichtet werden und nur noch OHCLV übrig bleibt (statt darin wenigstens noch jeweils Anzahl: Ticks, UpTicks, DownTicks, Volumen UpTicks, Voumen DownTicks), wie soll innerhalb dieses Bars noch eine sinnvolle Analyse möglich sein?

Ich habe ja gar kein Problem, komprimierte Daten auszuwerten (wenn man sie sich nicht mühsam zusammen basteln müsste, sondern der PC das selber erledigt), aber das Minimum an Infos im Bar für M+, POC und Co. würde ich dann schon als nötig erachten. Ich meine, wo nix ist, kann man höchsten noch extrapolieren!
Gruss
Bernd

olli

unregistriert

30

Freitag, 14. September 2007, 15:19

schlau wäre es, signale aus dem vorkomprimierten file zu berechnen, die ausführung etc dann aber durch heranziehen der tickdaten des entsprechenden momentes im BT genauer zu berechnen, d.h. zu bestimmten zeitpunkten die tickdaten zu verwenden aber nur für kurze zeitfenster, die für die testergebnisse wichtig sind. also die grosse tickdatei zu indizieren und immer wenn intrabar dinge nötig sind, auszulesen...