Pre-LN vs. Post-LN
Bezeichnet die Position der Layer Normalization in Transformer-Blöcken: Pre-LN normalisiert vor Attention/FFN, Post-LN danach.
Pre-LN normalisiert vor Attention (stabiler, einfacher), Post-LN danach (potenziell bessere Qualität) – die Architektur-Entscheidung, die LLM-Training stabilisiert oder crasht.
Erklärung
Post-LN (Original-Transformer): x → Attention → Add(x) → LN. Pre-LN (GPT-2+): x → LN → Attention → Add(x). Pre-LN trainiert stabiler (braucht kein Warmup), Post-LN konvergiert oft zu besserer Qualität mit sorgfältigem Training. Moderne LLMs nutzen fast alle Pre-LN mit RMSNorm.
Relevanz für Marketing
Die Wahl Pre-LN vs Post-LN beeinflusst Trainings-Stabilität, nötige Learning Rate und finale Modellqualität fundamental.
Häufige Fallstricke
Pre-LN kann zu Representation Collapse führen. Post-LN braucht Learning Rate Warmup. Falsches Umschalten kann Training destabilisieren.
Entstehung & Geschichte
Der Original-Transformer (2017) nutzte Post-LN. Xiong et al. (2020) zeigten, dass Pre-LN stabiler trainiert. GPT-2 (OpenAI, 2019) war eines der ersten großen Modelle mit Pre-LN. Heute: LLaMA, Mistral, Gemma nutzen Pre-RMSNorm.
Abgrenzung & Vergleiche
Pre-LN vs. Post-LN vs. RMSNorm
Pre-LN/Post-LN beschreibt die Position; RMSNorm vereinfacht die Normalisierung selbst (nur RMS statt Mean+Varianz) – beide Entscheidungen sind orthogonal.