Step Decay
Einfachste Learning-Rate-Schedule-Strategie, die die LR nach festen Intervallen (Epochen oder Steps) um einen Faktor reduziert.
Step Decay reduziert die LR sprunghaft nach festen Intervallen – die einfachste Schedule-Strategie, aber heute meist durch Cosine Annealing ersetzt.
Erklärung
Typisch: LR wird alle 30 Epochen um Faktor 0.1 gesenkt. Einfach zu implementieren und zu verstehen, aber weniger smooth als Cosine Annealing.
Relevanz für Marketing
Step Decay war jahrelang Standard in Computer Vision (ResNet-Paper). Heute meist durch Cosine Annealing oder One-Cycle ersetzt.
Häufige Fallstricke
Sprunghafter LR-Abfall kann Training destabilisieren. Zeitpunkte und Faktor müssen manuell getuned werden. Weniger effizient als glatte Schedules.
Entstehung & Geschichte
Step Decay war der Standard in den ImageNet-Trainingsrezepten (AlexNet 2012, VGG 2014, ResNet 2015). Cosine Annealing (2017) und One-Cycle (2018) zeigten konsistent bessere Ergebnisse und ersetzten Step Decay als Standard.
Abgrenzung & Vergleiche
Step Decay vs. Cosine Annealing
Step Decay ist stufig (abrupte Sprünge); Cosine Annealing ist glatt und kontinuierlich – sanftere Transition führt meist zu besseren Ergebnissen.
Step Decay vs. Exponential Decay
Step Decay senkt diskret an festen Punkten; Exponential Decay senkt kontinuierlich mit exponentiellem Faktor. Exponential ist glatter, aber schwerer zu tunen.