Donnerstag, 18. April 2024, 12:49 UTC+2

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

opvisor

unregistriert

1

Donnerstag, 3. Oktober 2002, 23:08

Mindest-Epochen

Hallo,

mir ist bei der Beobachtung des Trainings einiger Crossvalidation-NN aufgefallen, dass gerade in den Perioden 50 - 200 oftmals die besten Werte im Evaluierungs- bzw. Kontrollzeitraum erreicht werden.

Daher folgende Fragen:

Welche Überlegung steht hinter der Investox-Standardeinstellung von 200 Mindestepochen?

Sind die Ergebnisse der Epochen 0 - 200 labilber(zufälliger) und wirken sich deswegen negativ auf die Generalisierungfähigkeit des NN aus?

Gruss,

Georg

Registrierungsdatum: 2. September 2002

Beiträge: 433

Wohnort: Freiburg

2

Freitag, 4. Oktober 2002, 09:50

RE: Mindest-Epochen

Hallo Georg,

die sinnvolle Mindestepochenzahl hängt sehr von der Anzahl der Trainingsdaten und der Komplexität der Inputs und der Netzarchitektur ab. Habe ich sehr wenige Inputs und sehr wenige Daten, dann sollte ich eine relativ kleine Epochenzahl wählen, andernfalls kann man ruhig eher auch mal mehr nehmen. Auf jeden Fall sollte man während des Trainings die Entwicklung von Trainings- und Kontrollzeitraum beobachten. Verbessern sich beide noch??? Verbessert sich der Trainingszeitraum aber der Kontrollzeitraum verschlechtert sich -> Überoptimierung hat begonnen.
Bei Epochenzahlen < 60 sind die Ergebnisse oft zufälliger Natur, man sieht das daran, dass der Output irgendetwas macht, aber nicht das, was er soll.

Es wäre schön, wenn Investox ein grafisches Tools hätte, bei dem man die Entwicklung der Kennzahlen während des Trainings- und Kontrollzeitraum gegen die Epochenzahl aufgetragen bekommen würde, so könnte man die optimale Trainingszeit wesentlich besser bestimmen. Es würde ja schon reichen, wenn die Daten wie die Optimierungshistorie selbst abgespeichert würden, man könnte sie sich ja dann in Excel anschauen.

Grüsse

Bernhard

Investox

Administrator

Registrierungsdatum: 31. August 2002

Beiträge: 5 680

3

Freitag, 4. Oktober 2002, 14:03

RE: Mindest-Epochen

Hallo,
der Erklärung bezüglich zufälliger Ergebnisse im Kontrollzeitraum schließe ich mich an. Das NN sollte nicht nur im Kontroll- sonder auch im Trainingszeitraum "funktionieren" (daher die Mindestepochen). Die grafische Anzeige der Fehlermaße wird sich event. in künftigen Versionen realisieren lassen (hätte auf jeden Fall auch einen "Unterhaltungseffekt").
Viele Grüße
Andreas Knöpfel

opvisor

unregistriert

4

Sonntag, 6. Oktober 2002, 01:34

Hallo Bernhard,
hallo Herr Knöpfel,

vielen Dank für die Antworten.

Bernhard Du schreibst:

Zitat

die sinnvolle Mindestepochenzahl hängt sehr von der Anzahl der Trainingsdaten und der Komplexität der Inputs und der Netzarchitektur ab. Habe ich sehr wenige Inputs und sehr wenige Daten, dann sollte ich eine relativ kleine Epochenzahl wählen, andernfalls kann man ruhig eher auch mal mehr nehmen.


Gibt es da eine Art "Faustformel" an die man sich bei ca. 5 Jahren Trainingsdaten, 3-5 Hiddenschichten und 15, 25 bzw. 35 Inputs halten kann? Oder ist das einfach eine Gefühls- und/oder Erfahrungssache?

Gruss,

Georg

Registrierungsdatum: 2. September 2002

Beiträge: 433

Wohnort: Freiburg

5

Sonntag, 6. Oktober 2002, 09:24

Hallo Georg,

ich würde das Netz so zwischen 60 und 200 Epochen trainieren lassen. Wichtig ist, sich erstens das Training selbst anzuschauen und zweitens, sich den Output anzuschauen. Bei zuwenig Epochen wird der Output sehr zackig und hat nichts mehr mit der eigentlichen Prognose zu tun (obwohl er vielleicht gar keine schlechten Kennzahlen hat). Bei zu vielen Epochen wird das Netz übertrainiert. Weiterhin muss einem bewusst sein, dass ein Netz bei dieser Grösse relativ stark von der zufälligen Initialisierung abhängig ist. Also das gleiche Netz ruhig mehrmals trainieren und schauen, was dabei rauskommt. Sind die Ergebnisse zu unterschiedlich, dann spricht das gegen die Inputs, sind die Ergebnisse zwar leicht unterschiedlich, aber immer gut, dann spricht das für die Inputs. Prinzipiell gilt hier: so viele Imputs wie nötig, aber so wenig Inputs wie möglich...

Grüsse

Bernhard