ELU (Exponential Linear Unit)
Eine Aktivierungsfunktion, die negative Werte exponentiell gegen einen negativen Sättigungswert dämpft – glatter als ReLU mit zero-mean Outputs.
ELU dämpft negative Werte exponentiell statt sie abzuschneiden – glatter als ReLU mit natürlichen zero-mean Outputs.
Erklärung
ELU: f(x) = x für x > 0, f(x) = α(eˣ - 1) für x ≤ 0. Der exponentielle Teil sorgt für glatte Gradienten und zero-mean Outputs. Etwas teurer als ReLU durch die Exponentialberechnung.
Relevanz für Marketing
ELU zeigte, dass zero-mean Aktivierungen Batch Normalization teilweise ersetzen können.
Entstehung & Geschichte
Clevert et al. (2015) führten ELU ein und zeigten schnellere Konvergenz als ReLU. SELU (2017) erweiterte ELU mit selbst-normalisierenden Eigenschaften.
Abgrenzung & Vergleiche
ELU (Exponential Linear Unit) vs. ReLU
ReLU: nicht-glatt bei 0, nicht zero-mean; ELU: glatt, zero-mean, aber teurer durch Exponential.
ELU (Exponential Linear Unit) vs. SELU
ELU braucht externe Normalisierung; SELU normalisiert sich selbst durch spezielle α/λ-Werte – braucht aber spezifische Initialisierung.