Montag, 18. Dezember 2017, 21:11 UTC+1

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

Lieber Besucher, herzlich willkommen bei: INVESTOX-Forum. Falls dies Ihr erster Besuch auf dieser Seite ist, lesen Sie sich bitte die Hilfe durch. Dort wird Ihnen die Bedienung dieser Seite näher erläutert. Darüber hinaus sollten Sie sich registrieren, um alle Funktionen dieser Seite nutzen zu können. Benutzen Sie das Registrierungsformular, um sich zu registrieren oder informieren Sie sich ausführlich über den Registrierungsvorgang. Falls Sie sich bereits zu einem früheren Zeitpunkt registriert haben, können Sie sich hier anmelden.

Peratron

Meister

Registrierungsdatum: 21. Januar 2007

Beiträge: 595

Wohnort: Nordrhein-Westfalen

1

Sonntag, 21. Mai 2017, 12:48

Download EOD Daten mit MLDownloader nicht mehr möglich

Hallo,

seit ein paar Tagen ist es leider nicht mehr möglich von den Yahoo Servern
EOD Daten mit MLDownloader herunter zu laden.

Kann dies jemand bestätigen?

Hab den Hersteller angeschrieben, bisher aber keine Antwort.

Gibt es eventuell ein workaround?

Grüße
Peratron

Trader

Benutzer

Registrierungsdatum: 2. März 2012

Beiträge: 64

2

Sonntag, 21. Mai 2017, 13:04

yahoo hat die Daten URL geändert. Ist jetzt Session/omputer abhängig.

Peratron

Meister

Registrierungsdatum: 21. Januar 2007

Beiträge: 595

Wohnort: Nordrhein-Westfalen

3

Sonntag, 21. Mai 2017, 14:34

Danke für die Info!

Kann die URL manuell in MLDownloader angepasst werden, oder muss hier der Hersteller "http://www.trading-tools.com/" tätig werden?

Trader

Benutzer

Registrierungsdatum: 2. März 2012

Beiträge: 64

4

Sonntag, 21. Mai 2017, 15:06

Das ganze ist etwas komplizierter. Eine einfache Anpassung der URL bei meinem eigenen Yahoo Downloader reicht nicht, da yahoo die Bulk-Datenabfrage anscheinend nicht mehr möchte und ein Session-Cookie eingeführt hat.

Peratron

Meister

Registrierungsdatum: 21. Januar 2007

Beiträge: 595

Wohnort: Nordrhein-Westfalen

5

Sonntag, 21. Mai 2017, 15:10

Hab ich fast vermutet das es nicht ganz so einfach ist. Werde jetzt mal abwarten was der Anbieter von sich gibt.

Norbert Männlich

Fortgeschrittener

Registrierungsdatum: 25. Januar 2010

Beiträge: 156

Wohnort: Köln

6

Mittwoch, 24. Mai 2017, 13:07

Anscheinend gibt es da eine Lösung, zumindest für den Agena-Trader.


Peratron

Meister

Registrierungsdatum: 21. Januar 2007

Beiträge: 595

Wohnort: Nordrhein-Westfalen

7

Donnerstag, 25. Mai 2017, 18:07

Danke für die Info!

Norbert Männlich

Fortgeschrittener

Registrierungsdatum: 25. Januar 2010

Beiträge: 156

Wohnort: Köln

8

Freitag, 26. Mai 2017, 17:12

noch 'ne Info:


Bernd

Erleuchteter

Registrierungsdatum: 5. Juni 2005

Beiträge: 3 801

Wohnort: Iringsweg

9

Mittwoch, 21. Juni 2017, 21:26

Diesen Link habe ich gefunden, zur Info, yahoo sagt da in einem Beitrag sinngemäss übersetzt, das API wird nicht mehr unterstützt und sie werden es auch nicht mehr aktivieren in Zukunft.

Es werden ein paar Work-arounds für Entwickler beschrieben, scheints geht es noch ein bisschen über Umwege, aber die Party mit den kostenlosen Kursen von yahoo ist wohl Geschichte.

Ja mehr als das, sie haben aus dem einzigen Asset, das sie noch haben, es nicht geschafft ein Bezahlt-Modell zu entwickeln; ich denke, viele Gratis-Kunden hätten den Weg mitgemacht, nun einen kleinen Obulus zu zahlen. Doch da jetzt alle schnell und überraschend eine andere Lösung finden müssen, wird diese Chance wohl damit verspiel sein. Alle ohne Ankündigung vor die Tür zu sezen, lässt dann auch keine potentielle Zahl-Kunden mehr übrig.
Gruss
Bernd

-----------------------------------------------
http://www.13quants.ch

Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von »Bernd« (21. Juni 2017, 21:43)


Trader

Benutzer

Registrierungsdatum: 2. März 2012

Beiträge: 64

10

Donnerstag, 22. Juni 2017, 00:03

aber die Party mit den kostenlosen Kursen von yahoo ist wohl Geschichte


Also mein Yahoo-Downloader läuft wieder. Ich denke die Party ist erst vorbei, wenn yahoo komplett weg ist.

Gruss
Trader

Bernd

Erleuchteter

Registrierungsdatum: 5. Juni 2005

Beiträge: 3 801

Wohnort: Iringsweg

11

Donnerstag, 22. Juni 2017, 20:26

Hallo Trader

Habe gerade auch schnell nachgesehen, und tatsächlich. Nicht nur der Daily Download geht wieder, auch ein paar historische Daten konnte ich nachladen. Geht wieder, aber mein Vertrauen ist weg. Klar, für Backtests oder Ad-Hoc Untersuchungen ist das ok. Jedoch

Ich habe ein paar Handelssysteme Life laufen auf den yahoo Daten, und diese waren erfolgreich die letzten Jahre. Daher habe ich einen hohen Druck, diese schnell umzustellen auf Bezahlt-Kurse.

Vielleicht hat jemand ähnliche Probleme jetzt, daher teile ich meine Gedanken / mein Vorgehen:
* in einem ersten Schritt habe ich diese auf RTT/IB Kurse umgestellt, deren Handelszeit ich über die Handelszeit-Beschränkung auf EOD Zeiten umgestellt habe; eben auf dem Backtest-Rechner nachgetestet, dass die Ergebnisse weiter passen und so ist das Zeug jetzt erstmal wieder life
* die Open/Close Kurse dieser Pseudo-EOD Titel passen aber nicht wirklich gut im Vergleich zur historischen Yahoo Datenbank (trotzdem sind die Backtests darauf erstaunlich ähnlich, so dass ich eben erstmal darauf handle)
* das geht schnell mal vorübergehend mitten im Jahr bei Ami Stocks/ETFs, aber die Handelszeitbeschränkung von Investox, wenn Ami-Daten mit Zeitzone CET/CEST eingeschränkt werden, sind im Backtest nicht ok, weil einige Wochen im Frühjar und im Herbst andere Einstellungen erfordern aufgrund der unterschiedlichen Umstellung auf die Sommerzeit (*)

Fazit:
* da ich die selben Titel noch über RTT/IB und über Taipan/RT habe, konnte ich eben einen Workaround mit Investox-Mitteln basteln, zumindest für die Systeme, die Life sind.
* Wirklich prikelnd ist die Lösung nicht, für lange zurückreichende Backtests muss eine neue Lösung her
* da die Life Syteme erstmal ok sind mit meiner Ersatz-Lösung und ich momentan praktisch keine freie Zeit habe, um mich um das Datenproblem dauerhaft zu kümmern, werde ich mich später im Jahr um eine neue EOD Lösung kümmern (*)
* oben auf der Liste stehen Taipan/EOD und Norgate
* Yahoo mit MLDownloader hat bei mir ausgedient (alternative Provider Anbindungen an MLDownloader haben hier nie richtig / stabil funktioniert, daily operations gingen bei mir nur mit Yahoo Daten gut)

Zum (*):
man könnte sich denken, dazu die Investox-Funktion "Import Intraday begrenzen" vermittels VBScript zu verwenden und das Sommerzeit-Problem via Investox Datenbank (Indikator DST_USA() von Lenzelott) anzugehen. Dann die Intraday-Titel mit einem Alias zu versehen, der solch ein VBScript mit DST_USA() in einem VBScript vereint. Trotzdem aufwändig: man müsste alle Intrday Titel nochmals als EOD-Alias mit VBScript-Definition definieren. Dazu die hohe Rechenzeit und den Resourcen-Verbrauch solch einer Lösung. Geht sicher übergangsweise für ein paar wenige Titel, aber eine neue EOD Datenlösung muss her, und das wird etwas kosten.

Daher habe ich getextet, die Party mit kostenlosen Kursen ist vorbei. Gute und umfangreiche Realtime Daten kosten schon einige Hunderter im Monat, jetzt kommen weitere EOD Datenfeed Kosten dazu ...

Aus diesem Grund und wegen dem Aufwand hätte ich locker einen 50er oder vielleicht auch einen hunderter pro Monat gezahlt an Yahoo, wenn sie gefragt hätten. Und ich denke, das hätten viele andere Trader auch gemacht. Ein Asset, das Yahoo aktuell aktiv verspiel; da wäre sicher was an Einnahmen zusammen gekommen!
Gruss
Bernd

-----------------------------------------------
http://www.13quants.ch

Dieser Beitrag wurde bereits 2 mal editiert, zuletzt von »Bernd« (22. Juni 2017, 20:43)


Bernd

Erleuchteter

Registrierungsdatum: 5. Juni 2005

Beiträge: 3 801

Wohnort: Iringsweg

12

Freitag, 23. Juni 2017, 19:48

Hallo zusammen

Hier findet Ihr das Coding, wie Investox den Daten-Import eines "rund um die Uhr" mit der Zeitzone CET/CEST aufgezeichneten USA Aktien- oder ETF Titels auf die Haupt-Handelszeit in USA einschränken kann - unter Berücksichtigung der Sommer-Winterzeit Umstellung in Europa.

Motivation für diese Entwicklung war: um EOD-Systeme schnell von MLDownloader Daten auf IB-Daten umstellen zu können; das Coding ist offengelegt, somit sollte es jedem möglich sein, damit auch andere Rund-um-die-Uhr USA Realtime Daten-Feeds auf EOD Europa anzupassen.

Ich stelle mir aktuell zwei Modelle vor, um dieses Coding anzuwenden:
1) man hat sowieso schon einen Titel langjährig mit RTT aufgezeichnet. Trotzdem hat man aber bisher EOD mit yahoo Daten gehandelt:
* ich gehe hier nun dessweiteren davon aus, dass man die Daten mit RTT 7*24h aufgezeichnet hat, also ohne jede Zeit-Einschränkung
* nun legt man einen Alias an in der Investox Titel-Verwaltung, am Beispiel SPY einen Alias: SPY_PSEUDO_EOD
* der Alias fusst auf den Daten des SPY, in die Handelszeit-Einschränkung des Alias-Titels kommt die Definition / Coding rein aus der oben verlinkten Investox-Forums-Datenbank
* diesen Titel SPY_PSEUDO_EOD ersetze man nun in seinem Life Handelssystem (*), das sollte es gewesen sein
* (aber Hallo, natürlich nicht vergessen, die Ordereinstellungen auf diesen Titel anzupassen!)
2) man hat ausschliesslich auf yahoo Daten gehandelt:
* nun aber fix, Titel in RTT definieren, 7*24h Aufzeichnung
* dazu einen Alias definieren wie bei 1) beschrieben
* dann so schnell wie möglich vie RTT einen Backfill starten mit soviel wie möglich Daten rückwirkend einsammeln
* Dann einen Kombi-Titel in Investox erstellen: vorne die yahoo-Daten, anschliessend ab Stichtag die RTT Daten auf dem Alias
* diesen Kombititel ersetze man nun in seinem Life Handelssystem (*), das sollte es gewesen sein
* (aber Hallo, natürlich auch hier nicht vergessen, die Ordereinstellungen auf diesen Titel anzupassen!)

Vielleicht hilft es ja dem einen onder anderen, sobald finance.yahoo.com wirklich dicht macht.

PS *: Haftungs-Ausschluss: vorher backtesten, ich übernehme natürlich keine Verluste, die jemand erleidet mit diesem Coding, im Gegenzug frage ich auch nicht an einem Anteil an jemandes Gewinnen 8) ; mit "Life-Handelssystem" ist hier ganz deutlich ein Life-System im Paper-Trading Modus gemeint, also auf einem simulierten Konto: niemals mit Echtgeld handeln ist die dringende Empfehlung, so kann man nämlich niemals Geld verlieren! Alles andere, was Ihr sonst macht, ist Euer privat Vergnügen :rolleyes:
Gruss
Bernd

-----------------------------------------------
http://www.13quants.ch

Dieser Beitrag wurde bereits 4 mal editiert, zuletzt von »Bernd« (23. Juni 2017, 20:31)


sukuh

Benutzer

Registrierungsdatum: 21. Juli 2014

Beiträge: 16

13

Samstag, 24. Juni 2017, 09:45

ML Downloader funktioniert oder auch nicht - und was kommt danach?

Hallo,

nach ca. 4 Wochen ohne historische Daten vom MLDownloader und damit auch keiner Möglichkeit Kurslücken zu füllen, funktionierte gestern Abend bei mir wieder alles.
Ich konnte problemlos die letzten 50 Tage oder einen größeren Zeitraum nachladen.

Nur um heute früh festzustellen, dass mit der Einstellung "den letzten Tag erneut laden" wieder nichts mehr geht.

Die Bemühungen von Bern in allen Ehren, aber das ist höchstens ein kurzfristiger Workaround.
Es kann nicht die Strategie sein, tonnenweise real-time Daten zu laden um daraus EoD zu erzeugen.
Teure Alternativen sehe ich auch nicht als langfristige Lösung - zumindest nicht solange es auch andere Möglichkeiten gibt.

Die Diskussion darüber passt aber nicht in diesen Thread - ich eröffne deshalb "Und nochmals: Daten für Investox"


Viele Grüße!

Bernd

Erleuchteter

Registrierungsdatum: 5. Juni 2005

Beiträge: 3 801

Wohnort: Iringsweg

14

Samstag, 24. Juni 2017, 18:03

Hallo

aber das ist höchstens ein kurzfristiger Workaround.
Es kann nicht die Strategie sein, tonnenweise real-time Daten zu laden um daraus EoD zu erzeugen.

Sehe ich genauso. Das oben war auch nur als Workaround gedacht, damit erstmal der Druck weg ist, schnell einen Ersatz für Yahoo & MLD für schon Life laufende Systeme zu finden. Grossflächige Backtests usw. sehe ich damit natürlich auch nicht als machbar an.

Finde ich gut, dass Du den anderen Thread geöffnet hast, um gezielt Erfahrungen über einen möglichen Ersatz auszutauschen!
Gruss
Bernd

-----------------------------------------------
http://www.13quants.ch

Tobias Männlich

Meister

Registrierungsdatum: 3. September 2002

Beiträge: 648

Wohnort: NRW / Paderborn

15

Montag, 26. Juni 2017, 09:57

Hallo zusammen !

Auch wir standen vor den EOD Problemen mit Yahoo, da wir 9 EOD Aktiensysteme mit Yahoo Daten laufen haben
Wir nutzen den YLoader und haben kurzfristig auf Quotemedia umgestellt.
EIn paar Symbolde - gerade von den Indizies - mussten manuell in der Datenbank verändert werden.
Aber die meisten Stocks funktionierten.
Mit der neuen Version des YLoaders funktioniert alles wieder bestens - auch Yahoo.

@Bernd : Was Du da immer so alles zusammen programmierst - Respekt... :thumbsup:
Gruss Tobias

Lenzelott Männlich

Erleuchteter

Registrierungsdatum: 30. Dezember 2002

Beiträge: 2 886

Wohnort: Giessen

16

Montag, 26. Juni 2017, 15:24

EOD Daten, DST Import einschränken...

Exakt so wie Bernd das oben beschrieben hat, verwende ich meinen DST Indikator schon ein paar Jahre um aus 24h Feed, US RTH (Regular Trading hours) EOD Daten zu machen.

Ich setze sowieso Taipan Realtime ein, und muss mir dann nicht noch über eine 2. Datenquelle Gedanken machen für den Handel.
If you think it´s expensive to hire a professional, wait until you hire an amateur.

aqua Männlich

Besucher

Registrierungsdatum: 18. September 2017

Beiträge: 13

17

Montag, 18. September 2017, 18:05

MLDownloader - historischen Daten können nicht runtergeladen werden

Hallo,

ich habe mir Heute das Programm "MLDownloader" gekauft...

Leider ist es mir bisher nicht möglich die historischen Daten
runterzuladen.


Ich habe im Anhang mal ein paar Screenshots mitgesendet.

Die Funktion "Inspect invalid symbols" konnte das Problem leider
nicht beseitigen.


Ich kann leider nur die Kursdaten von Heute runterladen.

Wie kann das Problem behoben werden?

Vielen Dank im Voraus!
»aqua« hat folgende Bilder angehängt:
  • 1.JPG
  • 2.JPG
  • 3.JPG
  • 4.JPG
  • 8.JPG

Trader

Benutzer

Registrierungsdatum: 2. März 2012

Beiträge: 64

18

Montag, 18. September 2017, 19:42

Hallo,

die URL zum Downloaden von historischen Kursen über den Yahoo Server haben sich im Mai 2017 geändert. Google hat die URL letzte Woche geändert.

Ich habe die MLDownloader Datei von der Webseite heruntergeladen. Sie stammt von September 2015.

Daraus folgt, dass das Programm nicht funktionieren kann (Benutzt alte Urls)

Kontaktiere den Entwickler!

Gruss
Trader

Bernd

Erleuchteter

Registrierungsdatum: 5. Juni 2005

Beiträge: 3 801

Wohnort: Iringsweg

19

Montag, 18. September 2017, 21:19

Hallo Trader

Daraus folgt, dass das Programm nicht funktionieren kann (Benutzt alte Urls)

Kontaktiere den Entwickler!

Bin gespannt auf Deinen Erfahrungsbericht zu Deinem Kontakt-Versuch.

Ich habe immer wieder versucht, via eMail direkt den Entwickler zu erreichen, als auch über die eMail Funktion auf der Web-Site. Mehrfach. Reaktion jeweils: exakt - 0. Nix. Zero.

Tatsache ist, dass andere Software-Pakete es mittlerweile wieder schaffen, historische Daten zwecks Backfill von yahoo herunterzuladen. MLDownloader schafft es seit Monaten nur noch, aktuelle Daten zu laden, nicht mehr die historischen Backfills.

Es scheint mir, Peter Zierl hat das Interesse an seinem Produkt verloren ;(
Gruss
Bernd

-----------------------------------------------
http://www.13quants.ch

Bernd

Erleuchteter

Registrierungsdatum: 5. Juni 2005

Beiträge: 3 801

Wohnort: Iringsweg

20

Montag, 18. September 2017, 21:44

Hoi Tobias

@Bernd : Was Du da immer so alles zusammen programmierst - Respekt... :thumbsup:

Hehe, ja, Not macht erfinderisch. Ich musste schnell ein paar wenige Systeme, die seit Jahren erfolgreich auf Yahoo / MLDownloader Daten liefen, weitermachen lassen. Das hat geklappt mit Taipan Realtime Daten und dem Investox-Coding, das jetzt in der Investox-Datenbank zu finden ist.

So richtig zu einem neuen Titel-Lieferant für EOD Daten für neue "zwanglose" Backtests konnte ich mich noch nicht durchringen. Taipan-EOD? Norgate? Neben den reinen Kosten des Datenfeeds schreckte mich bisher vielmehr die Arbeit ab, die damit verbunden wäre, einen neuen Datenanbieter ins Investox-Tirelverzeichnis so zu integrieren, dass das dann nicht nur auf einer Maschine passt, sondern quer über eine Maschinen-Landschaft. Alles sehr un-inspirierend, solche Überlegungen, speziell, wenn ich dazu in meinen Terminkalender schaue wo ich die Zeit dafür her-nehmen soll ;(

Jeden, die Life-laufenden Systeme gehen mal wieder, das ist wichtig. Sonst, für die Zukunft der EOD Backtests, naja mal sehen. Aktuell schreibt mir MLDownloader noch die Daten fort - wehe wenn einmal ein Neu-Aufsetzen mit Backfill der Daten nötig wäre. Das geht ja aktuell und seit Monaten nicht mehr. Ist also einmal die MLD Metastocks-Datenbank kabod, tja, dann, Maikäfer flieg, Pommerland ist abgebrannt
Gruss
Bernd

-----------------------------------------------
http://www.13quants.ch