Leaky ReLU
Eine Variante von ReLU, die negative Werte mit kleinem Faktor (z.B. 0.01) durchlässt statt sie auf 0 zu setzen – verhindert das Dead-Neuron-Problem.
Leaky ReLU lässt negative Werte mit kleinem Faktor durch (statt 0) – verhindert Dead Neurons bei kaum Mehrkosten.
Erklärung
Leaky ReLU: f(x) = x für x > 0, f(x) = αx für x ≤ 0 (typisch α = 0.01). Durch den kleinen negativen Gradienten können Neuronen nie vollständig "sterben" wie bei Standard-ReLU. Einfach zu implementieren, kaum zusätzliche Rechenkosten.
Relevanz für Marketing
Wichtige Verbesserung von ReLU in GANs und tiefen Netzen, wo Dead Neurons ein häufiges Problem sind.
Häufige Fallstricke
Der Leak-Faktor α muss gewählt werden. Nicht immer besser als Standard-ReLU. In Transformern GELU/SwiGLU bevorzugt.
Entstehung & Geschichte
Maas et al. (2013) führten Leaky ReLU ein. Es wurde besonders in GANs populär (DCGAN, 2015), wo Dead Neurons das Training destabilisieren. PReLU (He et al., 2015) machte den Leak-Faktor lernbar.
Abgrenzung & Vergleiche
Leaky ReLU vs. ReLU
ReLU setzt negative Werte auf 0 (Dead Neurons möglich); Leaky ReLU multipliziert sie mit kleinem α (alle Neuronen bleiben aktiv).
Leaky ReLU vs. PReLU
Leaky ReLU hat fixen Leak-Faktor (z.B. 0.01); PReLU lernt den optimalen Faktor pro Channel aus den Daten.