ELBO (Evidence Lower Bound)
ELBO ist die untere Schranke der Log-Likelihood in Variational Inference – die zentrale Zielfunktion für VAEs und Diffusionsmodelle.
ELBO = Rekonstruktion minus KL-Divergenz – die mathematische Zielfunktion, die VAEs und Diffusionsmodelle trainierbar macht.
Erklärung
ELBO = Rekonstruktions-Term (wie gut wird der Input rekonstruiert) - KL-Divergenz (wie weit weicht die gelernte Posterior vom Prior ab). Maximierung der ELBO approximiert Maximum-Likelihood-Training. Bei Diffusionsmodellen wird ELBO in T Denoising-Steps zerlegt.
Relevanz für Marketing
ELBO ist die Schlüsselmetrik für generative Modellqualität – verstehen Sie ELBO, verstehen Sie warum VAEs und Diffusion Models funktionieren.
Beispiel
Beim VAE-Training: ELBO steigt → Rekonstruktion wird besser UND latenter Raum wird strukturierter. ELBO-Zerlegung zeigt, welcher Term dominiert.
Häufige Fallstricke
ELBO ist nur eine untere Schranke – gute ELBO garantiert nicht gute Samples. KL-Divergenz-Term kann Posterior Collapse verursachen.
Entstehung & Geschichte
ELBO stammt aus Variational Inference (Jordan et al., 1999). Kingma & Welling (2013) machten ELBO durch den VAE praktisch relevant. Ho et al. (2020) zeigten, dass der DDPM-Loss eine gewichtete ELBO-Zerlegung ist.
Abgrenzung & Vergleiche
ELBO (Evidence Lower Bound) vs. Maximum Likelihood
Maximum Likelihood optimiert die exakte Likelihood; ELBO optimiert eine untere Schranke (tractable Approximation).
ELBO (Evidence Lower Bound) vs. GAN Loss
ELBO maximiert eine Likelihood-Approximation; GAN Loss optimiert ein adversariales Spiel ohne explizite Likelihood.