INVESTOX-Forum

Hallo Zusammen

unter[url='http://www.neuronalesnetz.de/backpropagation6.html']Lernrate[/url] fand ich folgenden Artikel, um die Generalisierungsfähigkeit
von NN verbessern zu können:¨

"Lösungen zu den Problemen des Gradientenabstiegsverfahrens

Es stehen eine Vielzahl Lösungsmöglichkeiten bei unbefriedigendem Lernerfolg des neuronalen Netzes zur Verfügung. Zwei häufig angewandte Methoden sind:

Die Veränderung der Initialisierung der Gewichte:
Zuerst versucht man die Initialisierung der Gewichte zu verändern, um den Lernerfolg zu verbessern. Dabei kann man zwischen zwei Aspekten unterscheiden:

Startpunkt des Gradientenabstiegsverfahrens:
Der Startpunkt hat einen zentralen Einfluss darauf, welche Werte die Gewichte im Verlauf des Verfahrens annehmen und ob sich schlussendlich ein lokales oder globales Minimum findet.
Art der Initialisierung: Ebenso ist die Art der Initialisierung für das Auffinden eines lokalen bzw. globalen Minimums von Bedeutung. Damit ist u. a. die Frage gemeint, wie unterschiedlich die Werte der einzelnen Gewichte gewählt wurden. Beispielsweise können diese nur sehr gering um Null herum streuen oder aber sehr stark.

Die Veränderung der Lernrate:
Wenn die Neu-Initialisierung der Gewichte nicht erfolgreich war, sollte man versuchen die Lernrate zu verändern. Grundsätzlich gilt, dass es keine optimale Lernrate für alle Arten neuronaler Netze gibt.
Es lassen sich hier zwei Möglichkeiten voneinander unterscheiden:

Lernrate erhöhen:
Eine höhere Lernrate bewirkt, dass die Sprünge in der Hyperebene größer werden. Dies kann folgende Vorteile nach sich ziehen:
flache Plateaus werden schneller durchlaufen bzw. überwunden
vom Startpunkt weit entfernte Minima werden schneller erreicht
Mit einer höheren Lernrate können sich aber auch Nachteile ergeben:
gute (globale) Minima werden häufiger übersprungen
die Gefahr der Oszillation steigt an

Lernrate reduzieren:
Eine niedrigere Lernrate führt dazu, dass kleinere Schritte beim Gradientenabstiegsverfahren vorgenommen werden. Dies führt zu folgenden Vorteilen:
gute (globale) Minima werden nicht mehr so leicht übersprungen
die Gefahr der Oszillation sinkt
komplexe Daten sowie eine große Datendichte werden besser bewältigt
Den Vorteilen stehen jedoch auch Nachteile gegenüber:
die Trainingszeit bis zum Erreichen eines Minimums kann inakzeptabel groß werden
flache Plateaus werden langsamer durchlaufen bzw. nicht mehr überwunden
lokale Minima werden häufiger nicht mehr verlassen

Eine mögliche Strategie ist die schrittweise Verringerung einer anfangs hohen Lernrate im Laufe des Verfahrens. Als Empfehlung zur Lernratenveränderung wird beispielsweise von der
Neuro-Fuzzy-AG der Universität Münster vorgeschlagen, mit einer Lernrate von 0.7 zu beginnen und diese dann bei unbefriedigendem Lernerfolg schrittweise um 0.1 zu verringern. "

Nun wäre meine Frage ob und wie es in INV möglich ist, die Lernrate systematisch einzustellen?
Ich konnte diesbezüglich leider nichts in INV finden.

Vielen Dank und

beste Grüsse

Roger

Hallo chied!

Der Lernvorgang kann "lediglich" primär über die Gestaltung der Architektur sowie sekundär direkt über die Datenauswahl beeinflusst werden.

Das Lernmodell selbst kann nicht modifiziert werden, da die Lernstärke vorgegeben ist!

Lg, Hannes

Hallo Hannes

vielen Dank für die rasche Rückmeldung.

Schade, es wäre klasse wenn man mehr Einfluss auf das Lernen nehmen könnte...

Viele Grüsse

Roger