Energy-Based Model (EBM)
Energy-Based Models ordnen Datenpunkten Energiewerte zu – niedrige Energie für wahrscheinliche Daten, hohe für unwahrscheinliche – und generieren durch Energieminimierung.
EBMs definieren eine Energielandschaft über Daten – Generierung durch "bergab gehen" zu niedrigen Energien, das physikalische Konzept hinter Score Matching und Diffusion.
Erklärung
Das Modell lernt eine skalare Energiefunktion E(x). Sampling nutzt MCMC oder Langevin Dynamics, um Punkte niedriger Energie zu finden. EBMs sind flexibler als Likelihood-Modelle, aber schwerer zu trainieren. Score Matching und Contrastive Divergence sind typische Trainingsmethoden.
Relevanz für Marketing
EBMs sind die konzeptuelle Brücke zwischen klassischer Physik und moderner generativer KI – sie erklären, warum Diffusionsmodelle funktionieren.
Beispiel
Ein EBM für Bildgenerierung lernt eine Energielandschaft: natürliche Bilder haben niedrige Energie, Rauschen hat hohe. Generierung = "bergab gehen".
Häufige Fallstricke
Partition Function intractable. MCMC-Sampling langsam. Training instabil mit Contrastive Divergence. In der Praxis oft von Diffusionsmodellen abgelöst.
Entstehung & Geschichte
LeCun (2006) formalisierte das EBM-Framework. Boltzmann Machines (Hinton) und Restricted Boltzmann Machines waren frühe EBMs. Du & Mordatch (2019) zeigten moderne EBMs für Bildgenerierung. Das Konzept lebt in Score-based Generative Models weiter.
Abgrenzung & Vergleiche
Energy-Based Model (EBM) vs. Diffusion Model
Diffusionsmodelle sind eine spezielle Art von EBM mit tractablem Training; allgemeine EBMs brauchen schwieriges MCMC-Sampling.
Energy-Based Model (EBM) vs. GAN
EBMs modellieren eine explizite Energiefunktion; GANs trainieren implizit durch adversariales Spiel ohne Energiekonzept.