Konvergenz
Der Punkt, an dem ein Modell aufhört, signifikant besser zu werden – der Loss stabilisiert sich und weitere Epochen bringen keinen Fortschritt.
Konvergenz = der Loss sinkt nicht mehr signifikant. Zeigt, dass das Modell gelernt hat, was es kann – der richtige Zeitpunkt für Early Stopping.
Erklärung
Konvergenz wird durch Loss-Kurven überwacht. Ein konvergiertes Modell hat ein Minimum (lokal oder global) der Loss-Funktion erreicht.
Relevanz für Marketing
Konvergenz bestimmt, wann Training gestoppt werden kann. Nicht-Konvergenz deutet auf Probleme wie falsche Learning Rate oder fehlerhafte Daten.
Häufige Fallstricke
Konvergenz ≠ gute Lösung (lokale Minima). Scheinkonvergenz durch zu niedrige Learning Rate. Langsames Training mit guter Lösung verwechselt.
Entstehung & Geschichte
Konvergenztheorie für Optimierung reicht bis Cauchy (1847) zurück. Für neuronale Netze bewiesen Robbins & Monro (1951) SGD-Konvergenz unter bestimmten Bedingungen. Moderne Forschung untersucht Konvergenzraten verschiedener Optimizer.
Abgrenzung & Vergleiche
Konvergenz vs. Early Stopping
Konvergenz ist der natürliche Endpunkt; Early Stopping stoppt vorher, basierend auf Validation Loss – oft die bessere Wahl.
Konvergenz vs. Overfitting
Training Loss kann konvergieren während Validation Loss wieder steigt – das ist Overfitting, nicht echte Konvergenz.