Rekurrentes Neuronales Netz (RNN)
RNNs verarbeiten Sequenzen, indem sie einen Hidden State über Zeitschritte weitergeben – die ursprüngliche Architektur für Sprache und Zeitreihen, heute größtenteils durch Transformer ersetzt.
RNNs verarbeiten Sequenzen mit Hidden State – die Vorgänger-Architektur von Transformern, heute durch Attention-Mechanismen weitgehend abgelöst.
Erklärung
Bei jedem Zeitschritt nimmt das RNN den aktuellen Input und den vorherigen Hidden State, um einen neuen State zu berechnen. Probleme: Vanishing Gradients bei langen Sequenzen, keine Parallelisierung möglich. LSTMs und GRUs verbesserten RNNs, aber Transformer übertrafen sie.
Relevanz für Marketing
RNNs sind historisch wichtig und in Nischen (kleine Geräte, Echtzeit-Streaming) noch relevant. Verständnis erklärt warum Transformer überlegen sind.
Entstehung & Geschichte
Elman Networks (1990) und Jordan Networks waren frühe RNNs. LSTMs (Hochreiter & Schmidhuber, 1997) lösten das Vanishing-Gradient-Problem. GRUs (Cho et al., 2014) vereinfachten LSTMs. Seq2Seq mit Attention (Bahdanau, 2014) war der Übergang. Transformer (2017) machten RNNs für die meisten Aufgaben obsolet.
Abgrenzung & Vergleiche
Rekurrentes Neuronales Netz (RNN) vs. Transformer
RNNs verarbeiten sequenziell (langsam, Vanishing Gradients); Transformer verarbeiten parallel mit Attention (schneller, bessere Long-Range-Dependencies).
Rekurrentes Neuronales Netz (RNN) vs. LSTM
Vanilla RNN hat einfachen Hidden State; LSTM hat Gates (Forget, Input, Output) für bessere Langzeitabhängigkeiten.