Group Normalization
Group Normalization teilt Channels in Gruppen und normalisiert innerhalb jeder Gruppe – funktioniert batch-unabhängig und ist ideal für kleine Batch-Größen.
Group Normalization normalisiert Channel-Gruppen statt Batches – die Lösung für kleine Batch-Größen in Detection und Segmentation.
Erklärung
GN teilt C Channels in G Gruppen (z.B. 32 Gruppen). Normalisierung erfolgt über H×W×(C/G). Unabhängig von Batch-Größe, daher stabil bei Detection/Segmentation (oft Batch=1-2 wegen großer Bilder).
Relevanz für Marketing
Standard-Normalisierung in Object Detection und Segmentation, wo kleine Batches Batch Norm instabil machen.
Häufige Fallstricke
Anzahl der Gruppen G als Hyperparameter (32 ist Standard). Nicht immer besser als BatchNorm bei großen Batches.
Entstehung & Geschichte
Wu & He (Facebook AI, 2018) führten Group Normalization ein. Es wurde zum Standard in Detectron2 und modernen Detection-Frameworks. MAE (2022) und andere Self-Supervised-Methoden nutzen ebenfalls GN.
Abgrenzung & Vergleiche
Group Normalization vs. Batch Normalization
BatchNorm normalisiert über den Batch (instabil bei kleinen Batches); GroupNorm über Channel-Gruppen (batch-unabhängig).
Group Normalization vs. Layer Normalization
LayerNorm normalisiert alle Channels zusammen; GroupNorm teilt sie in Gruppen – Mittelweg zwischen LayerNorm und InstanceNorm.