Hallo,
man sollte sich überlegen, das der Out of Sample Zeitraum genau dann diese Bezeichnung nicht mehr verdient, wenn in diesem selektiert wird.
Er sollte ausschließlich der Kontrolle dienen.
Ich habe dies hier im Forum schon x-Mal ausgeführt.
Man muß nur mal in den alten Beiträgen stöbern, dann gibt es betreffs NN ausreichend Antworten .
Im Übrigen kann ich nur immer wieder empfehlen, bei NN so sparsam wie möglich mit den Inputs und der Architektur. GA-Optimierung verwende ich fast nie und wenn, dann nur in einer ersten Entwicklungsstufe. D.h. in der zweiten Stufe wird ausschließlich mit Crossvalidation gearbeitet.
Sehr wesentlich ist, das im Trainings und Evaluierungszeitraum alle möglichen Trends enthalten sind und den Beginn des Kontrollzeitraums lege ich an den Beginn des letzten/vorletzten Trendwechsels.
Je kleiner das Zeitfenster, in dem das NN arbeiten soll, um so mehr Rauschen ist vorhanden und das NN kann keine signifikanten Muster erkennen. Ich würde 15 min. als die unterste Grenze ansehen, wobei ich gute Ergebnisse auf Stundenbasis erziele, noch bessere aber in größeren Zeitfenstern.
Ich habe mal ein Bild von einem Portfoliotest beigefügt. Das zugehörige NN wurde auf 4 Daxaktien trainiert und im Portfoliotest auf alle 30 Daxaktien angewendet.
Der obere Zeitabschnitt entspricht dem Trainings- und Evaluierungszeitraum des NN. Die grüne KK dem Out of Sample-Zeitraum. Bei der GesamtKK des Portfolios ist sehr schön zu erkennen, das die Steigung im OoS annähernd gleich bleibt.
Was ich damit sagen will, wenn ein NN auf mehrere Aktien angewendet werden kann, deren Kursverlauf dem NN zu keiner Zeit bekannt war, kann man von Generalisierung sprechen.
Da sind offensichtlich allgemein gültige Zusammenhänge in den Inputs aufbereitet. Das betreffende NN hat 7 Inputs auf 4 Zeitebenen = 28 Inputs.
Bemerken möchte ich, das ich seit über 10 Jahren mit NN experimentiere und getrost die ersten 5 Jahre als Lehrjahre verbuchen muß. Ich habe auch in den ersten Jahren hochkomplexe Ultra NN konstruiert, endlose Exceltabellen mit den Gewichten verglichen, die Rechner gequält mit NNs mit x-GA optimierungen über mehrere Tage. Alles nur um Stück für Stück zu lernen, was alles nicht funktioniert. Also mal so die Software kaufen und 6 Monate später ein fertiges HS, da braucht es schon ein wenig mehr Geduld und Fleiß.
Viele Grüße Fritz