Learning Rate Finder
Diagnostische Methode, die die Learning Rate exponentiell erhöht und den Loss beobachtet – findet den optimalen LR-Bereich in einem einzigen Training-Run.
Der LR Finder erhöht die Learning Rate exponentiell über eine Epoche und findet den optimalen Bereich am steilsten Loss-Abfall – spart stundenlanges Hyperparameter-Tuning.
Erklärung
Die LR steigt von sehr klein bis sehr groß. Der optimale Bereich liegt dort, wo der Loss am steilsten fällt (vor dem Divergenzpunkt). Dauert nur 1 Epoche.
Relevanz für Marketing
Eliminiert das Raten bei der Learning-Rate-Wahl. Essentiell für One-Cycle Policy und spart stundenlange Trial-and-Error-Experimente.
Häufige Fallstricke
Ergebnis hängt von Batch Size und Modellinitialisierung ab. Gibt einen Bereich, keinen exakten Wert. Nicht für alle Scheduler-Kombinationen anwendbar.
Entstehung & Geschichte
Leslie Smith (2015) stellte den LR Range Test in "Cyclical Learning Rates for Training Neural Networks" vor. Er wurde integraler Bestandteil der Super-Convergence-Methodik und der Fastai-Library.
Abgrenzung & Vergleiche
Learning Rate Finder vs. Grid Search (für LR)
Grid Search trainiert komplett für jede LR (teuer); LR Finder findet den Bereich in einer Epoche (billig und schnell).
Learning Rate Finder vs. Bayesian Optimization
Bayessche Optimierung tuned alle Hyperparameter gleichzeitig; LR Finder ist ein schneller Einmal-Test nur für die Learning Rate.