Posterior Collapse
Posterior Collapse tritt bei VAEs auf, wenn der Encoder lernt, den Prior zu kopieren statt informative latente Repräsentationen zu erzeugen.
Posterior Collapse = VAE-Encoder ignoriert den Input und kopiert den Prior – latente Variablen werden nutzlos, obwohl der Decoder gute Outputs produziert.
Erklärung
Der Decoder wird so stark, dass er den latenten Code ignoriert – der Encoder "kollabiert" auf den Prior N(0,1). Die KL-Divergenz geht gegen Null, aber die latenten Variablen tragen keine Information. Gegenmaßnahmen: KL-Annealing, Free Bits, β-VAE.
Relevanz für Marketing
Posterior Collapse macht VAE-basierte generative Tools unbrauchbar – die latenten Variablen steuern nichts mehr.
Beispiel
Ein Text-VAE generiert gut klingende Sätze, aber Änderungen im latenten Raum haben keinen Effekt – alles kommt vom autogressiven Decoder.
Häufige Fallstricke
Posterior Collapse an niedriger KL-Divergenz allein erkennen (kann auch gut regularisiert sein). Zu aggressive KL-Gewichtung schadet Rekonstruktion.
Entstehung & Geschichte
Bowman et al. (2016) identifizierten Posterior Collapse erstmals bei Text-VAEs. KL-Annealing und Free Bits wurden als Gegenmaßnahmen vorgeschlagen. Higgins et al. (2017) führten β-VAE ein, das den KL-Term explizit gewichtet. Das Problem bleibt aktiv erforscht.
Abgrenzung & Vergleiche
Posterior Collapse vs. Mode Collapse (GAN)
Mode Collapse: GAN-Generator ignoriert Modi der Datenverteilung. Posterior Collapse: VAE-Encoder ignoriert Inputs und nutzt nur den Prior.
Posterior Collapse vs. Overfitting
Overfitting memoriert Trainingsdaten; Posterior Collapse ignoriert die latente Struktur komplett.