Depthwise Separable Convolution
Eine effiziente Convolution-Variante, die eine Standard-Faltung in zwei Schritte zerlegt – Depthwise (pro Kanal) und Pointwise (1x1 Faltung) – für 8-9x weniger Berechnungen.
Depthwise Separable Convolution zerlegt Standard-Faltungen in Depthwise + Pointwise Schritte – 8-9x effizienter, Basis für MobileNet und alle mobilen Vision-Modelle.
Erklärung
Statt einer 3x3-Faltung über alle Kanäle gleichzeitig: Erst 3x3-Faltung pro Kanal separat (depthwise), dann 1x1-Faltung zum Kombinieren der Kanäle (pointwise). MobileNet nutzte dies für mobile-taugliche CNNs.
Relevanz für Marketing
Depthwise Separable Convolutions sind die Grundlage aller effizienten Mobile-Vision-Modelle (MobileNet, EfficientNet) – 8-9x weniger Rechenaufwand bei minimalem Qualitätsverlust.
Beispiel
MobileNetV3 nutzt Depthwise Separable Convolutions für Echtzeit-Bildklassifikation auf Smartphones – 75% ImageNet-Accuracy bei nur 5.4M Parametern und 219M FLOPs.
Häufige Fallstricke
Depthwise-Phase ist Memory-Bandwidth-bound, nicht Compute-bound – profitiert weniger von GPU-Parallelisierung. Channel-Interaktion nur über Pointwise möglich.
Entstehung & Geschichte
Sifre & Mallat (2013) führten Depthwise Separable Convolutions ein. Chollet nutzte sie 2017 für Xception. Howard et al. (Google, 2017) bauten MobileNet darauf auf – der Startschuss für effiziente Mobile-AI.
Abgrenzung & Vergleiche
Depthwise Separable Convolution vs. Standard Convolution
Standard-Faltung: O(K²·Cin·Cout) FLOPs; Depthwise Separable: O(K²·Cin + Cin·Cout) – Faktor K² Ersparnis (8-9x bei 3x3).