Lion Optimizer
Von Google Brain durch AutoML-Suche entdeckter Optimizer, der nur das Vorzeichen der Gradienten nutzt – einfacher als Adam, oft vergleichbare Ergebnisse.
Lion ist ein durch AutoML entdeckter Optimizer, der nur Gradienten-Vorzeichen nutzt – spart Memory vs. Adam und zeigt, dass Optimizer automatisch entdeckt werden können.
Erklärung
Lion nutzt sign(momentum + gradient) als Update-Richtung mit einheitlicher Schrittgröße. Weniger Memory als Adam (kein 2. Moment), aber benötigt sorgfältiges LR- und Weight-Decay-Tuning.
Relevanz für Marketing
Lion zeigt, dass AutoML nicht nur Modelle, sondern auch Optimizer entdecken kann. Spart ~15-30% Memory vs. Adam.
Häufige Fallstricke
Erfordert andere Hyperparameter als Adam (niedrigere LR, höherer Weight Decay). Nicht so extensiv getestet wie AdamW. Performance-Vorteile nicht konsistent.
Entstehung & Geschichte
Chen et al. (Google Brain, 2023) nutzten evolutionäre Suche über Millionen von Optimizer-Kandidaten und fanden Lion. Es erreichte State-of-the-Art auf Vision- und Sprach-Benchmarks mit weniger Memory als AdamW.
Abgrenzung & Vergleiche
Lion Optimizer vs. AdamW
AdamW speichert 2 Moment-Buffers (Memory-intensiv); Lion nutzt nur 1 (sign-basiert). Lion braucht andere Hyperparameter-Ranges.
Lion Optimizer vs. SGD
SGD ist manuell designed, Lion durch AutoML entdeckt. Beide sind einfacher als Adam, aber Lion adaptiert besser an verschiedene Aufgaben.