LARS

LARS (Layer-wise Adaptive Rate Scaling) ist ein Optimierungsalgorithmus, der entwickelt wurde, um das Training tiefer neuronaler Netze mit sehr großen Batch-Größen zu stabilisieren und zu beschleunigen. Er kombiniert die Effizienz von Stochastic Gradient Descent (SGD) mit einer adaptiven Anpassung der Lernrate pro Schicht (Layer-wise). Anstatt eine globale Lernrate für alle Parameter zu verwenden, skaliert LARS die Lernrate für jede Schicht basierend auf dem Verhältnis der Norm der Gewichte zur Norm des Gradients in dieser Schicht. Dies ermöglicht es, größere Batch-Größen zu nutzen, ohne dass das Training instabil wird oder die Modellleistung abnimmt, was besonders bei der Arbeit mit großen Datensätzen von Vorteil ist.

Für Marketing- und Technologieabteilungen, die KI-Modelle entwickeln oder einsetzen, ermöglicht LARS eine effizientere Nutzung von Rechenressourcen. Durch die Fähigkeit, mit großen Batches zu trainieren, können Trainingszeiten erheblich reduziert werden, was die Iterationszyklen beschleunigt. Dies ist entscheidend für das schnelle Prototyping und die Bereitstellung von KI-Lösungen, beispielsweise im Bereich der Bilderkennung für Markenüberwachung oder der Analyse von visuellen Marketinginhalten, und führt zu schnelleren Markteinführungen von KI-gestützten Services.

Ein Unternehmen trainiert ein Computer-Vision-Modell zur automatischen Erkennung von Produktplatzierungen in Social-Media-Bildern. Mit LARS kann das Modell auf einem sehr großen Datensatz von Millionen von Bildern mit einer hohen Batch-Größe effizient trainiert werden. Dies führt zu einer schnelleren Konvergenz und einer robusten Erkennungsleistung, was die Effizienz der Markenanalyse und die Identifizierung von Marketingchancen verbessert.

You, Gitman & Ginsburg (2017) entwickelten LARS für großes Batch-Training bei NVIDIA. Es zeigte, dass Layer-weise Skalierung den "Large Batch Problem" löst. LARS inspirierte LAMB für Adam-basierte Optimizer.

• Large Batch Training of CNNs with LARSPaper