Skip Connection
Skip Connections leiten den Input einer Schicht direkt zur Ausgabe späterer Schichten weiter – der Kernmechanismus, der 100+ Layer tiefe Netze trainierbar macht.
Skip Connections leiten Inputs direkt zu späteren Schichten – die Innovation hinter ResNet und Transformer, die 100+ Layer tiefe Netze erst trainierbar machte.
Erklärung
Statt y = F(x) zu lernen, lernt das Netz y = F(x) + x (Residual Learning). Die Identity-Verbindung ermöglicht ungehinderten Gradientenfluss und löst das Vanishing-Gradient-Problem. Jeder moderne Transformer nutzt Skip Connections.
Relevanz für Marketing
Ohne Skip Connections wären weder ResNets noch Transformer möglich – eine der wichtigsten Innovationen in Deep Learning.
Entstehung & Geschichte
He et al. (2015) führten Residual Learning mit ResNet ein und gewannen ImageNet 2015. Die Idee, dass "Identität leichter zu lernen ist als eine neue Funktion", revolutionierte Deep Learning. Transformer (2017) übernahmen Skip Connections als Kernkomponente. DenseNet (2017) erweiterte das Konzept mit dichten Verbindungen.
Abgrenzung & Vergleiche
Skip Connection vs. DenseNet
ResNet addiert Input (y = F(x) + x); DenseNet konkateniert alle vorherigen Outputs (denser Informationsfluss, aber mehr Speicher).