Weight Normalization
Weight Normalization reparametrisiert Gewichtsvektoren in Richtung und Magnitude – eine Alternative zu Batch Norm ohne Batch-Abhängigkeit.
Weight Normalization trennt Gewichte in Richtung und Magnitude – einfacher als BatchNorm, keine Batch-Statistiken nötig.
Erklärung
w = g · (v / ||v||), wobei g die Magnitude und v die Richtung ist. Einfacher als BatchNorm (keine laufenden Statistiken), wird direkt auf Gewichte angewandt statt auf Aktivierungen.
Relevanz für Marketing
Nützlich wo BatchNorm nicht anwendbar ist (z.B. RNNs, generative Modelle, Reinforcement Learning).
Entstehung & Geschichte
Salimans & Kingma (OpenAI, 2016) führten Weight Normalization ein. Es fand Anwendung in WaveNet (2016) und einigen RL-Systemen. Weniger verbreitet als BatchNorm/LayerNorm, aber konzeptionell einflussreich.
Abgrenzung & Vergleiche
Weight Normalization vs. Batch Normalization
BatchNorm normalisiert Aktivierungen (braucht Batch-Statistiken); WeightNorm normalisiert Gewichte direkt (keine Batch-Abhängigkeit).