DP-SGD
Ein Trainingsalgorithmus, der Differential Privacy in Stochastic Gradient Descent integriert – durch Gradient Clipping und kalibrierten Noise.
DP-SGD macht Deep Learning privat: Gradient Clipping + Noise garantieren, dass kein einzelner Datenpunkt im Modell nachweisbar ist.
Erklärung
DP-SGD begrenzt den Einfluss einzelner Datenpunkte durch Gradient Clipping (Norm-Begrenzung) und fügt Gaussian-Noise zu aggregierten Gradienten hinzu. Das Privacy-Budget (Epsilon) wird über Training-Epochen akkumuliert.
Relevanz für Marketing
Standard-Methode für datenschutzkonformes Deep Learning: Modelle auf sensitiven Daten trainieren, ohne individuelle Datenpunkte zu memorieren.
Beispiel
Ein Healthcare-Startup trainiert ein Diagnose-Modell mit DP-SGD (ε=8): Das Modell lernt Muster, kann aber keine einzelnen Patientendaten reproduzieren.
Häufige Fallstricke
Accuracy-Verlust bei kleinem Epsilon. Hyperparameter-Tuning (Clipping-Norm, Noise-Multiplier) ist schwierig. Privacy Accounting muss sorgfältig geführt werden.
Entstehung & Geschichte
Abadi et al. (2016, Google) formalisierten DP-SGD mit Moments Accountant. Opacus (Meta, 2020) und TensorFlow Privacy machten es praktisch nutzbar. Rényi-DP und Privacy Loss Distributions verbesserten das Accounting.
Abgrenzung & Vergleiche
DP-SGD vs. Differential Privacy
DP ist das mathematische Framework; DP-SGD ist die konkrete Implementierung für neuronale Netze.
DP-SGD vs. Federated Learning
FL dezentralisiert Training; DP-SGD privatisiert Gradienten. Beide zusammen bieten maximalen Datenschutz.