Ich habe dazu ja schon vor 2 oder 3 Jahren was geschrieben.
Das parallelisieren von Robustheitstest, NN Trainings und Optimierungen ist meiner Meinung nach ein "Kinderspiel" mit aktuellen Entwicklungstools.
Der Intel C++-Compiler unterstützt das schon seit bestimmt 3 Jahren:
Andreas Stiller, Hokuspokus, Automatische Parallelisierung mit dem Intel-Compiler, c't 15/06, S. 216
Mittlerweile gibt´s da superviel
Neues, was auch viel in die HPC und Grid Ecke abzielt.
Das wäre natürlich sau witzig, wenn man mit der nächsten IV Version mal schnell einen Robtest mit 50 Nodes á 4/8/16 Cores fahren könnte.
If you think it´s expensive to hire a professional, wait until you hire an amateur.