RMSNorm
Eine vereinfachte Variante von Layer Normalization, die nur Root Mean Square nutzt und auf Mean-Zentrierung verzichtet – schneller und in LLaMA/Mistral Standard.
RMSNorm vereinfacht Layer Norm auf Root Mean Square – 10-15% schneller bei gleicher Qualität, Standard in LLaMA und Mistral.
Erklärung
Layer Norm: (x - mean) / sqrt(var). RMSNorm: x / sqrt(mean(x²)). Durch Weglassen der Mean-Zentrierung ist RMSNorm ~10-15% schneller mit vergleichbarer Qualität. Wird in Pre-Normalization-Position (vor Attention/FFN) eingesetzt.
Relevanz für Marketing
RMSNorm ist Standard in LLaMA, Mistral, Gemma – ersetzt Layer Norm in modernen LLM-Architekturen.
Häufige Fallstricke
Nicht immer Drop-in-Replacement für Layer Norm. Hyperparameter-Tuning kann sich unterscheiden.
Entstehung & Geschichte
Zhang und Sennrich (2019) führten RMSNorm als effiziente Alternative zu Layer Norm ein. T5 (Google, 2019) experimentierte damit. LLaMA (Meta, 2023) machte RMSNorm zum Standard für moderne LLMs.
Abgrenzung & Vergleiche
RMSNorm vs. Layer Normalization
Layer Norm nutzt Mean + Varianz; RMSNorm nur RMS – einfacher, schneller, fast immer gleichwertig in LLMs.