Reparameterization Trick
Der Reparameterization Trick ermöglicht Backpropagation durch stochastische Sampling-Operationen, indem Zufälligkeit als externe Variable behandelt wird.
Der Reparameterization Trick trennt Zufälligkeit vom Gradienten-Fluss – der elegante Kniff, der VAEs und damit moderne generative KI trainierbar machte.
Erklärung
Statt direkt aus z ~ N(μ, σ²) zu samplen (nicht differenzierbar), wird z = μ + σ * ε mit ε ~ N(0,1) berechnet. Der Gradient fließt durch μ und σ, ε ist extern. Dies ermöglichte erstmals End-to-End-Training von VAEs.
Relevanz für Marketing
Ohne den Reparameterization Trick gäbe es keine VAEs, keine Latent Diffusion und keine moderne generative KI wie Stable Diffusion.
Beispiel
VAE-Encoder gibt μ und σ aus. Statt z = sample(N(μ,σ²)): z = μ + σ * ε, wobei ε ~ N(0,1). Gradient fließt durch μ, σ zum Encoder.
Häufige Fallstricke
Funktioniert nur für bestimmte Verteilungen (Gauss, nicht direkt für diskrete). Numerische Instabilität bei sehr kleinem σ.
Entstehung & Geschichte
Kingma & Welling (2013) und Rezende et al. (2014) führten den Trick unabhängig ein. Er war die Schlüsselinnovation, die VAEs ermöglichte. Das Konzept wurde auf Gumbel-Softmax (diskrete Variablen) und normalizing flows erweitert.
Abgrenzung & Vergleiche
Reparameterization Trick vs. REINFORCE / Score Function Estimator
Reparameterization hat niedrige Varianz, braucht aber differenzierbare Sampling-Pfade; REINFORCE funktioniert für diskrete Verteilungen, hat aber hohe Varianz.
Reparameterization Trick vs. Straight-Through Estimator
Reparameterization ist mathematisch exakt für kontinuierliche Verteilungen; Straight-Through ist eine Heuristik für diskrete Operationen.