PReLU (Parametric ReLU)
Eine ReLU-Variante mit lernbarem negativem Steigungsparameter – der Leak-Faktor wird während des Trainings optimiert.
PReLU macht den Leak-Faktor von Leaky ReLU lernbar – das Netz findet selbst den optimalen negativen Steigungsparameter.
Erklärung
PReLU: f(x) = x für x > 0, f(x) = aᵢx für x ≤ 0. Der Parameter aᵢ wird pro Channel oder pro Layer gelernt. He et al. zeigten, dass PReLU in ResNets die Accuracy auf ImageNet verbesserte.
Relevanz für Marketing
Zeigte, dass auch Aktivierungsfunktionen lernbare Parameter haben können – ein Schritt Richtung NAS und adaptive Architekturen.
Entstehung & Geschichte
He et al. (2015) führten PReLU im Paper "Delving Deep into Rectifiers" ein – zusammen mit Kaiming-Initialisierung. Das Paper übertraf erstmals menschliche Accuracy auf ImageNet.
Abgrenzung & Vergleiche
PReLU (Parametric ReLU) vs. Leaky ReLU
Leaky ReLU: fixer α-Wert (Hyperparameter); PReLU: α wird aus Daten gelernt (mehr Flexibilität, minimal mehr Parameter).