Deep Compression
Eine dreistufige Kompressionspipeline (Pruning → Quantization → Huffman Coding), die neuronale Netze um 35-49x komprimieren kann – das Grundlagenwerk der Modellkompression.
Deep Compression kombiniert Pruning + Quantization + Huffman Coding für 35-49x Modellkompression – das Grundlagenwerk, das die gesamte Modellkompressionsforschung startete.
Erklärung
Stufe 1: Magnitude Pruning entfernt 90%+ der Gewichte. Stufe 2: Verbleibende Gewichte werden quantisiert (5-8 Bit). Stufe 3: Huffman Coding komprimiert die Gewichts-Verteilung. AlexNet: 240MB → 6.9MB (35x); VGG-16: 552MB → 11.3MB (49x).
Relevanz für Marketing
Deep Compression bewies 2015, dass drastische Kompression ohne signifikanten Qualitätsverlust möglich ist – das Paper inspirierte die gesamte Modellkompressionsforschung.
Beispiel
VGG-16 wird von 552MB auf 11.3MB komprimiert (49x) mit nur 0.2% Genauigkeitsverlust auf ImageNet. Das ermöglichte erstmals CNN-Inference auf Smartphones und IoT-Geräten.
Häufige Fallstricke
Dreistufige Pipeline ist komplex. Huffman Coding hilft nur bei Speicher, nicht bei Rechenzeit. Für moderne LLMs wurden spezialisiertere Methoden entwickelt.
Entstehung & Geschichte
Song Han et al. (Stanford, 2015) veröffentlichten "Deep Compression" und gewannen den ICLR 2016 Best Paper Award. Das Paper und die Lottery Ticket Hypothesis (2018) sind die zwei einflussreichsten Arbeiten in der Modellkompression.
Abgrenzung & Vergleiche
Deep Compression vs. Post-Training Quantization
PTQ quantisiert nur; Deep Compression kombiniert drei Techniken (Pruning + Quantization + Huffman) für maximale Kompression.