Was ist One-Cycle Policy?

Learning-Rate-Schedule, der die LR erst hochfährt (Warmup) und dann auf einen sehr niedrigen Wert absenkt – ermöglicht Training in einem Bruchteil der üblichen Epochen. Die LR steigt linear zum Maximum, fällt dann per Cosine Decay. Gleichzeitig wird Momentum invers variiert. Ergebnis: Super-Convergence – bis zu 10x schnelleres Training.

Was ist der Unterschied zwischen One-Cycle Policy und Learning Rate Schedule?

One-Cycle Policy und Learning Rate Schedule sind verwandte Konzepte im Bereich der KI und des Marketings. Learning-Rate-Schedule, der die LR erst hochfährt (Warmup) und dann auf einen sehr niedrigen Wert ab...

Künstliche Intelligenz

(One-Cycle Policy (Super-Convergence))

One-Cycle Policy

Auch bekannt als:

1Cycle Policy

Super-Convergence

Smith Schedule

Aktualisiert: 10.2.2026

Learning-Rate-Schedule, der die LR erst hochfährt (Warmup) und dann auf einen sehr niedrigen Wert absenkt – ermöglicht Training in einem Bruchteil der üblichen Epochen.

Kurz erklärt

One-Cycle Policy kombiniert aggressives Warmup mit Cosine Decay und inversem Momentum – ermöglicht "Super-Convergence" mit bis zu 10x weniger Epochen.

Erklärung

Die LR steigt linear zum Maximum, fällt dann per Cosine Decay. Gleichzeitig wird Momentum invers variiert. Ergebnis: Super-Convergence – bis zu 10x schnelleres Training.

Relevanz für Marketing

Besonders effektiv für Fine-Tuning und Klassifikation. Fastai hat One-Cycle als Default-Schedule implementiert.

Häufige Fallstricke

Maximale LR muss mit LR Finder bestimmt werden. Nicht für alle Aufgaben optimal. Bei LLM Pre-Training seltener genutzt als Warmup + Cosine.

Entstehung & Geschichte

Leslie Smith (2018) entdeckte Super-Convergence: bestimmte LR-Schedules ermöglichen viel schnelleres Training. Fast.ai (Jeremy Howard) popularisierte die Methode und machte sie zum Default-Schedule in der Fastai-Library.

Abgrenzung & Vergleiche

One-Cycle Policy vs. Cosine Annealing

Cosine Annealing senkt nur die LR; One-Cycle erhöht sie erst (Warmup-Phase) und variiert auch Momentum – aggressiver aber oft schneller.

One-Cycle Policy vs. Warmup + Linear Decay

Warmup+Decay ist konservativer; One-Cycle nutzt höhere Peak-LR und inverses Momentum für schnellere Konvergenz.