INVESTOX-Forum

ich mache das mit den NN und mit Rob-Tests regelmässig. es bleibt aber recht umständlich, da die in den verschiedenen instanzen trainierten NNs wieder exportiert und in ein Master importiert werden müssen. Damit das dann in allen Instanzen für evtl. Rob-Tests bereitsteht muss es dann wieder mühsam verteilt werden - was bei grossen NN-Daten schon mal viel Zeit in Anspruch nehmen kann.
Da die Rob-Tests in der Warteschlange nur einmal gestartet werden können und dort auch nur einen Core nutzen können lasse ich dann meist mehrere Instanzen parallel testen.

Wenn NN und Rob-Tests auf beliebig vielen Cores parallel in einer Instanz berechnet werden könnten wäre das schlicht grossartig. Aber das ist nur meine Meinung...

Grüsse
-dubi

Hallo,

ich kenne die Multiprozessorfähigkeit von Cinema 4D! Grafiken rändern ist eines der CPU belastensten Verfahren. Gegenüber früheren Cinema Versionen, die mir einem Kern gearbeitet haben ist der Unterschied gigantisch! Fast alle mir bekannten Grafikprogramme haben fast alle mit erscheinen der ersten Dual Cores diese Möglichkeit ausgenutzt. Bei Börsenprogrammen gibt es noch nicht so viele, da manche noch langsamer arbeiten als Investox. Daher täuscht euch bitte nicht, das die breite Konkurrenz wesentlichen Vorsprung hätte,das ist nach meinen bisherigen Tests dahingehend nicht der Fall! Natürlich muss aber auch nicht warten bis die anderen auf und davon sind...

das "Problem" ist sowieso: selbst wenn andere schneller wären: INV kenne ich und bietet mir mehr Funktionalität als ich je nutzen kann. Zwar fehlt immer das eine oder andere aber im Grunde ist es eine grossartige Software!
Gruzz
-dubi

Hallo dubi,

mir persönlich ist es ohnehin egal wie schnell eine Optimierung oder Training abläuft,dal ich die Funktion im besten Fall zum "spielen" nutze und meine Schwerpunkte auf ganz anderen Funktionen liegen! Tools wie Investox müssen eine großes Möglichkeitsumfeld abdecken da jeder Trader unterschiedliche Konzepte hat. Allerdings sollten meiner Ansicht Basisfunktionen, die jedem Konzept dienen, hoch entwickelt und mit der Zeit optimiert und ausgereift sein so wie sich dem stetigen Fortschritt anpassen!

Hallo,

das große Problem bei der Verwendung mehrere Kerne ist die Aufteilung der Rechenaufgaben und die gemeinsame Nutzung des Speichers. Die meisten Programmiersprachen sind diesbezüglich noch nicht besonders optimiert und es fehlt in unserem Lande an Know-How für eine gute Umsetzung.

In Investox könnte aber grundsätzlich das Training von separaten Netzen oder die Berechnung von Robustheitstests auf diese Weise parallelisiert werden. Die Prozesse sind genügend unabhängig voneinander. Natürlich setzt dies voraus, dass die Bereiche in der Programmierung von Investox genügend einfach zu trennen sind. Sonst kann der Aufwand für Herrn Knöpfel leicht sehr groß werden.

Hier aber mal ein Hinweis anderer Art für Entwicklungen von "Zusatzhardware" die auf einem normalen PC zu der Leistung eines Supercomputers führt und auf der grundsätzlich solche Rechenoperationen ablaufen können: (aus Heise: http://www.heise.de/newsticker/AMD-knack…/meldung/109500)

• 
  AMD knackt die TeraFLOPS-Grenze Meldung vorlesen
  
  Der Chiphersteller AMD kündigt im Vorfeld der ab dem morgigen Dienstag in Dresden stattfindenden International Supercomputing Conference (ISC) seinen neuen Applikationsbeschleuniger FireStream 9250 an. Er soll bei einfacher Rechengenauigkeit (Single Precision, 32 Bit) die TeraFLOPS-Barriere durchbrechen.
  Anzeige
  
  Die PCI Express-Karte nimmt nach Angaben von AMD weniger als 150 Watt Leistung auf und belegt daher keinen zusätzlichen PCIe-Steckplatz für den Kühler. Bei der werbewirksamen Kennzahl Performance pro Watt erreicht der FireStream 9250 nach diesen AMD-Angaben eine Effizienz von 8 GFLOPS pro Watt. Allerdings gilt der Wert nur für einfache Rechengenauigkeit (SP), bei Double Precision (64 Bit) erreicht der Nachfolger der FireStream 9170 mit zirka 200 GFLOPS nur ein Fünftel der Performance.
  
  Zum Vergleich: Die 128-Bit-SSE-Einheiten eines Core 2 Quad oder Quad-Core Xeons liefern bei 3 GHz Taktfrequenz insgesamt 96 GFLOPS (8 Ops pro Taktzyklus und CPU-Kern) bei einfacher und 48 GFLOPS (je 2 Fmul + 2 Fadd) bei doppelter Genauigkeit; die nominelle Thermal Design Power (TDP) von zwei solchen Quad-Core-Xeons, die gemeinsam eine theoretisch maximale DP-Performance von 96 GFLOPS liefern, beträgt insgesamt (2 × 80 =) 160 Watt. Für die Cell-Variante PowerXCell 8i (Cell eDP) nennt IBM übrigens 107 GFLOPS DP-Performance bei 3,2 GHz Taktfrequenz.
  
  Hinter dem FireStream 9250 verbirgt sich vermutlich die neue GPU RV770, die auch auf den kommenden Grafikkarten der Radeon-4800er-Serie verwendet wird. Technische Angaben zu Taktfrequenzen und Anzahl der Shader-ALUs veröffentlichte AMD noch nicht. Lediglich die Größe des Speichers steht mit 1 GByte GDDR3-RAM fest.
  
  Die potenziellen Anwendungsbereiche der General-Purpose-GPU (GPGPU) liegen im HPC-Bereich bei Finanzanalysen, seismischen Berechnungen oder der Bildverarbeitung. Dafür legt AMD das Stream SDK bei, mit dem sich eigene Anwendungen für den Coprozessor entwickeln lassen. Der Chiphersteller verfolgt dabei nach eigenen Angaben einen offenen Ansatz und bietet zum Beispiel das Brook+-Frontend als Open Source an. Zudem gab AMD bekannt, in der Khronos Group mitzuarbeiten, die derzeit die quelloffene GPGPU-Programmiersprache OpenCL entwickelt. Apple plant, OpenCL in sein zukünftiges Betriebssystem OS X 10.6 zu integrieren. Auf der Nvidia-Konferenz Nvision 08 will Microsoft erste Details über Compute Shaders in DirectX 11 veröffentlichen.
  
  Der FireStream 9250 soll im dritten Quartal dieses Jahres für 999 US-Dollar in den Handel kommen. Nvidia bietet mit der Tesla-Reihe ebenfalls einen Applikationsbeschleuniger an, Intel plant im nächsten Jahr mit dem Multi-Core-x86-Grafikprozessor Larrabee auch in diesen Markt einzusteigen. (chh/c't)
  
  

Zitat von »MartinP«

In Investox könnte aber grundsätzlich das Training von separaten Netzen oder die Berechnung von Robustheitstests auf diese Weise parallelisiert werden. Die Prozesse sind genügend unabhängig voneinander.

Hatten wir gerade als wichtigen Punkt auf dem Usertreffen angesprochen.
Gerade der Robustheitstest (nicht nur wenn mehrere gleichzeitig laufen sollen) ist es das Paradebeispiel zur Parallelisierung.
Das selbe gilt meiner Meinung nach für das NN Training oder die Optimierung. Jeder Thread auf einem Kern berechnet eine Generation.

Das würde beim Robustheitstest die Wartezeiten deutlich abkürzen wenn man einen Quadcore oder noch besser Dualxeon Quadcore hat .