Score Matching
Score Matching lernt den Gradienten der Log-Wahrscheinlichkeitsdichte (Score Function) einer Datenverteilung, um Samples durch Langevin-Dynamik zu generieren.
Score Matching lernt den Gradienten der Datenverteilung statt die Verteilung selbst – die mathematische Basis hinter Diffusionsmodellen und moderner Bildgenerierung.
Erklärung
Statt die Verteilung direkt zu modellieren, lernt das Netzwerk die Richtung zur höchsten Wahrscheinlichkeit. Denoising Score Matching trainiert auf verrauschten Daten bei verschiedenen Noise-Levels. Score-based SDEs (Song et al., 2021) vereinheitlichten Score Matching und DDPM.
Relevanz für Marketing
Score Matching ist die mathematische Grundlage moderner Diffusionsmodelle und erklärt, warum diese Bilder generieren können.
Beispiel
Ein Score-Netzwerk lernt für jedes Noise-Level die Richtung zum nächsten sauberen Bild – Sampling folgt dann diesen Gradienten.
Häufige Fallstricke
Mathematisch anspruchsvoll. Score-Schätzung in hochdimensionalen Räumen instabil. Verwechslung von Score Function und Loss Function.
Entstehung & Geschichte
Hyvärinen (2005) führte Score Matching ein. Song & Ermon (2019) kombinierten es mit Langevin Dynamics für generative Modellierung (NCSN). Song et al. (2021) vereinheitlichten Score-based und Diffusions-Ansätze durch SDEs. Dieses Framework ist heute die theoretische Basis aller Diffusionsmodelle.
Abgrenzung & Vergleiche
Score Matching vs. Maximum Likelihood
Maximum Likelihood schätzt die Dichte direkt; Score Matching schätzt nur den Gradienten, was einfacher und flexibler ist.
Score Matching vs. DDPM
DDPM formuliert Diffusion als Markov-Kette; Score Matching als kontinuierliche SDE. Mathematisch äquivalent, aber verschiedene Perspektiven.