Freitag, 26. April 2024, 20:55 UTC+2

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

Import von CSV Dateien

Lieber Besucher, herzlich willkommen bei: INVESTOX-Forum. Falls dies Ihr erster Besuch auf dieser Seite ist, lesen Sie sich bitte die Hilfe durch. Dort wird Ihnen die Bedienung dieser Seite näher erläutert. Darüber hinaus sollten Sie sich registrieren, um alle Funktionen dieser Seite nutzen zu können. Benutzen Sie das Registrierungsformular, um sich zu registrieren oder informieren Sie sich ausführlich über den Registrierungsvorgang. Falls Sie sich bereits zu einem früheren Zeitpunkt registriert haben, können Sie sich hier anmelden.

Lenzelott Männlich

Experte

Registrierungsdatum: 30. Dezember 2002

Beiträge: 3 051

Wohnort: Giessen

1

Sonntag, 18. Januar 2009, 23:47

Import von CSV Dateien

Halllo Herr Knöpfel,

Ich möchte einige Dateien in Investox importieren, die mir als CSV Daten vorliegen.
Generell habe ich das schon zigmal gemacht und bin niemals auf ein Problem gestossen.
Diesmal bekomme ich aber bei jedem Versuch die Meldung

"Die Datei kann nicht gelesen werden."

Überspringt man die Meldung mit mehrmaligem OK, kommt man in den normalen Importdialog, der aber leer bleibt.
Stellt man dort die Spalteneinstellung auf Feste Spaltenbreite um, sieht man jedoch die Importzeilen.

Wenn man Auszüge der Datei (insgesamt 186MB) ohne Änderung des Formates abspeichert funktioniert der Import einwandfrei.

Welche Importbeschränkung gibt es bzgl. CSV Dateien?
Zumindestens mit der Periodenbegrenzung in Investox scheint es nichts zu tun zu haben.
If you think it´s expensive to hire a professional, wait until you hire an amateur.

Investox

Administrator

Registrierungsdatum: 31. August 2002

Beiträge: 5 680

2

Montag, 19. Januar 2009, 08:59

Hallo,

prinzipiell bestehen keine Begrenzungen in dieser Größenordnung, scheint ja auch eher ein Problem in der Vorschau zu sein. Werde ich noch prüfen. Grundsätzlich ist es beim Import großer Dateien ohnehin sinnvoll (um die Vorschau flüssig zu gestalten), die Einstellung mit einer kleineren Datei vorzunehmen und dann gflls. im letzten Schritt weitere, auch größere Dateien, hinzuzunehmen.

Viele Grüße

Andreas Knöpfel

Frieder

unregistriert

3

Montag, 19. Januar 2009, 09:47

Hallo Herr Knöpfel,

ich habe gerade mal auf dem von Ihnen empfohlenen Weg versucht, 1-Minuten-Daten des EURUSD über 10 Jahre zu importieren. Die kleine Datei mit 3 Tagen funktioniert einwandfrei, hänge ich jedoch im letzten Schritt die große Datei zusätzlich dran kommt folgende Fehlermeldung:BILD.

Der Import größerer CSV-Dateien ist leider nur möglich, indem man durch Trial-and -Error die Blockgröße herausfindet, die vom Importtool soeben noch verarbeitet werden kann.

Überschreitet man diese imaginäre Größe auch nur um eine Zeile kommt die irreführende Meldung:"Datei kann nicht gelesen werden".

Es wäre an dieser Stelle schön, wenn a) eine passende Meldung käme, das die maximal zulässige Größe überschritten wurde und b) diese maximale Größe als Anzahl Zeilen o.ä. bekannt wäre.

Mir ist es am Wochenende gelungen nach vielen Stunden des Herumexperimentierens die 10 Jahre EUR_FX-Daten in 4 Blöcken zu importieren und per Kombi-Titel zusammenzufassen.
»Frieder« hat folgendes Bild angehängt:
  • CSV-Import.png

Investox

Administrator

Registrierungsdatum: 31. August 2002

Beiträge: 5 680

4

Montag, 19. Januar 2009, 10:56

Hallo,

eine genaue Bestimmung ist nicht möglich, ich empfehle aber in den Einzeldateien beim Textimport unter 100MB zu bleiben.

Viele Grüße

Andras Knöpfel

Lenzelott Männlich

Experte

Registrierungsdatum: 30. Dezember 2002

Beiträge: 3 051

Wohnort: Giessen

5

Montag, 19. Januar 2009, 12:12

Zitat von »Investox«

die Einstellung mit einer kleineren Datei vorzunehmen und dann gflls. im letzten Schritt weitere, auch größere Dateien, hinzuzunehmen.


Hallo Herr Knöpfel,

Ich bin so vorgegangen wie von Ihnen vorgeschlagen. Kleine Datei zur Einstellung und im letzten Schritt die große dazupacken.
Ergebnis: der Titel ist bei mir dann zwar angelegt in IV, kann aber dennoch nicht verwendet werden. Nimmt man Ihn in ein HS rein und will Ihn Charten erhält man:

Zitat

Modul: Import/Export
Prozedur: Datenimport
Datenreihe: EURA0
Meldung: Nicht genügend Speicher oder Ressourcen: Out of string space (Fehler Nr. 14).


Geht man in den dann angelegten Titel erhält man wieder die Meldung die auch Frieder schon gepostet hat.

Beim selben Versuch wie Frieder (aufteilen der Datei in kleine Päckchen) hat mich dann irgendwann die Lust verlassen, da eben nicht ersichtlich wird wie groß eine solche Datei sein darf.
P.S. 100 MB wäre schön der Fehler kommt bei mir auch schon bei einer 56MB großen Datei. 36 MB scheint noch zu gehen.

Wenn man nur an einem Währungspaar einige Stunden rumbastelt, aber diverseste zur benötigt für den Test wird´s frustrierend, dass man Stunden damit zubringt Daten ins Programm zu bekommen (oder auch nicht), anstelle diese Zeit für Entwicklung zur Verfügung zu haben. :(
If you think it´s expensive to hire a professional, wait until you hire an amateur.

Lenzelott Männlich

Experte

Registrierungsdatum: 30. Dezember 2002

Beiträge: 3 051

Wohnort: Giessen

6

Montag, 19. Januar 2009, 13:32

Zitat von »Investox«

eine genaue Bestimmung ist nicht möglich, ich empfehle aber in den Einzeldateien beim Textimport unter 100MB zu bleiben.


Hallo Herr Knöpfel,

In meinem Fall funktioniert 36MB noch, aber 42MB schon nicht mehr. Was ein riesen gefummel beim Import. :baby:

Das müsste doch von Ihrer Seite aus automatisierbar sein.

Nachtrag: die Datei mit 36 MB ging vorhin noch, jetzt habe ich Sie auf 32MB verkleinert und es geht nicht mehr. :fire:
If you think it´s expensive to hire a professional, wait until you hire an amateur.

Investox

Administrator

Registrierungsdatum: 31. August 2002

Beiträge: 5 680

7

Montag, 19. Januar 2009, 16:55

Hallo,

ein wenig lässt sich da im nächsten Update noch verbessern, wobei aber bei ca. 1,5 Millionen Zeilen bei diesem Textimport, der sich so flexibel einstellen lässt, das Ende der Fahnenstange erreicht ist. Eine Alternative für die Zukunft wäre ein optimierter Textimport mit bestimmten, vorgegebenen Formaten. Die gewünschten Formate können alle Interessierten mir gerne schon einmal mailen (Beschreibung und/oder kurzes Beispiel der Daten, Datenherkunft).

Viele Grüße

Andreas Knöpfel

Frieder

unregistriert

8

Dienstag, 20. Januar 2009, 10:17

Hallo Herr Knöpfel,

soweit mir bekannt ist wird von vielen Usern seit etlichen Jahren dieser Datenlieferant als Bezugsquelle für Intraday- und EoD-Daten genutzt: DATEN.

Die Daten sind als Tick-/Minuten-/etc.Komp auf einer DVD zu einem vernünftigen Preis erhältlich und dazu noch 1 Jahr per Online-Download updatebar.

Die Daten werden als ASCII-Format oder auch als Metastock-Format angeboten, für den direkten Metastock-Import nach IV fehlt aber leider der benötigte MS-Downloader.

Alle Daten können HIER auch als Testdatei heruntergeladen werden.

Es wird auf der Homepage auch angeboten, die Daten kostenlos in jedes beliebige Format vorzukomprimieren:

"Upon request, we can export all data to many other standard formats (AbleSys, MetaTrader, Neoticker, NinjaTrader, SierraCharts, Wealth-Lab, etc.) or according to your specifications, at no extra charge - you will have your own customized version of the Historical Data DVD! Right now all DVD packages/online downloads come with ASCII (.csv) and MetaStock ASCII (.txt) formats included."

Vielleicht könnten Sie ja dort eine Vorkomprimierung ins RTT-Format erreichen??? :rolleyes:

Der CSV-Import der großen Dateien nach Investox erfordert viel IV-Erfahrung, viel Zeit und starke Nerven.... :engel:

Ähnliche Themen