Autoregressives Modell
Ein autoregressives Modell generiert Sequenzen Token für Token, wobei jeder neue Token von allen vorherigen abhängt – die Architektur hinter GPT, LLaMA und allen modernen LLMs.
Autoregressive Modelle generieren Token für Token sequenziell – das Paradigma hinter GPT, LLaMA und allen LLMs, das "next token prediction" zur mächtigsten Technik der KI macht.
Erklärung
Das Modell lernt P(x_t | x_1...x_{t-1}) – die bedingte Wahrscheinlichkeit des nächsten Tokens. Bei Inferenz wird Token für Token gesampelt. Stärken: Natürliche Sequenzgenerierung. Schwächen: Langsam (seriell), kein Zurück-Editieren möglich.
Relevanz für Marketing
Fundamental für alles LLM-basierte: Textgenerierung, Code, Chat – wer AI-Marketing versteht, muss das autoregressive Paradigma kennen.
Beispiel
ChatGPT generiert Antworten Wort für Wort – jedes neue Wort basiert auf dem gesamten bisherigen Kontext (Prompt + bisherige Antwort).
Häufige Fallstricke
Kann nicht "zurückspringen" und frühere Token korrigieren. Fehler propagieren sich. Latenz wächst linear mit Output-Länge.
Entstehung & Geschichte
Autoregressive Modelle haben Wurzeln in Statistik (AR-Prozesse, 1927). RNNs und LSTMs waren frühe neuronale AR-Modelle. GPT-1 (2018) kombinierte Autoregression mit Transformer-Architektur. GPT-3 (2020) skalierte auf 175B Parameter. GPT-4 (2023) bewies, dass das autoregressive Paradigma zu emergenten Fähigkeiten führt.
Abgrenzung & Vergleiche
Autoregressives Modell vs. Diffusion Model
AR-Modelle generieren sequenziell (Token für Token); Diffusionsmodelle generieren alle Pixel parallel durch iteratives Entrauschen.
Autoregressives Modell vs. Masked Language Model (BERT)
AR-Modelle sehen nur vorherige Token (unidirektional); Masked LMs sehen den gesamten Kontext (bidirektional), aber generieren schlechter.