xLSTM (Extended Long Short-Term Memory)
Eine modernisierte LSTM-Variante von Sepp Hochreiter, die exponentielles Gating und Matrix-Memory nutzt, um mit Transformern zu konkurrieren.
xLSTM modernisiert LSTMs mit exponentiellem Gating und Matrix-Memory – Sepp Hochreiters Antwort auf Transformer, mit vielversprechenden frühen Ergebnissen.
Erklärung
xLSTM erweitert klassische LSTMs durch: (1) Exponentielles Gating statt Sigmoid für bessere Selektion, (2) sLSTM (scalar memory) und mLSTM (matrix memory) als zwei Varianten. mLSTM kann parallel trainiert werden und skaliert auf Milliarden Parameter.
Relevanz für Marketing
xLSTM markiert die Renaissance der RNN-Forschung – LSTMs könnten als Transformer-Alternative zurückkehren.
Häufige Fallstricke
Noch frühe Forschungsphase. Keine großen Production-Modelle. Skalierungsverhalten bei >10B Parametern ungetestet.
Entstehung & Geschichte
Hochreiter et al. (NXAI/JKU Linz, 2024) veröffentlichten xLSTM als "LSTM-Comeback". Beck et al. zeigten kompetitive Ergebnisse bis 1.3B Parameter. NXAI (Spin-off) treibt Kommerzialisierung voran.
Abgrenzung & Vergleiche
xLSTM (Extended Long Short-Term Memory) vs. LSTM
Klassische LSTMs nutzen Sigmoid-Gates und Skalar-Memory; xLSTM nutzt exponentielles Gating und optionale Matrix-Memory für mehr Kapazität.
xLSTM (Extended Long Short-Term Memory) vs. Mamba
Mamba nutzt SSM-Recurrence; xLSTM nutzt LSTM-Recurrence mit modernen Erweiterungen – unterschiedliche Ansätze für lineare Inferenz.