Spectral Normalization
Spectral Normalization beschränkt die Lipschitz-Konstante von Netzwerk-Schichten durch Normalisierung mit dem größten Singulärwert – Standard-Stabilisierung in GANs.
Spectral Normalization begrenzt die Lipschitz-Konstante durch den größten Singulärwert – die Standard-Stabilisierung für GANs.
Erklärung
W_SN = W / σ(W), wobei σ(W) der größte Singulärwert ist (effizient per Power Iteration berechnet). Begrenzt die "Aggressivität" des Discriminators in GANs und stabilisiert das Training ohne Gradient Penalty.
Relevanz für Marketing
Standard-Stabilisierungstechnik in GANs (SNGAN, BigGAN, StyleGAN) und zunehmend in Diffusion Models.
Entstehung & Geschichte
Miyato et al. (2018) führten Spectral Normalization für GANs ein (SNGAN). BigGAN (2018) und StyleGAN (2019) übernahmen die Technik. Heute auch in Diffusion Models (z.B. Stable Diffusion U-Net) verbreitet.
Abgrenzung & Vergleiche
Spectral Normalization vs. Gradient Penalty (WGAN-GP)
Gradient Penalty berechnet Gradienten-Norm pro Batch (teuer); Spectral Norm normalisiert Gewichte direkt (schneller, einfacher).