Griffin
Googles Hybrid-Architektur, die lineare Recurrences (Gated RNN) mit lokaler Attention kombiniert und in RecurrentGemma produktionalisiert wurde.
Griffin kombiniert Gated Linear Recurrence mit lokaler Attention – Googles Hybrid-Architektur, produktionalisiert als RecurrentGemma.
Erklärung
Griffin nutzt Real-Gated Linear Recurrence Units (RG-LRU) als effiziente Recurrence-Schicht, kombiniert mit lokaler Sliding Window Attention. RecurrentGemma (2B/9B) zeigt, dass diese Hybrid-Architektur Transformer-Qualität bei deutlich weniger Inferenz-Speicher erreichen kann.
Relevanz für Marketing
Griffin/RecurrentGemma ist die erste Transformer-Alternative von Google in Produktion – ein Signal für die Zukunft hybrider Architekturen.
Häufige Fallstricke
Nur in kleinen Modellen (2B/9B) validiert. Wenig Community-Adoption. Google-intern nicht für Gemini genutzt.
Entstehung & Geschichte
De et al. (Google DeepMind, 2024) führten Griffin und den Hawk-Baseline ein. RecurrentGemma (2024) machte Griffin als Open-Source-Modell verfügbar. Zeigte kompetitive Ergebnisse gegen Gemma bei deutlich weniger Inferenz-Kosten.
Abgrenzung & Vergleiche
Griffin vs. Jamba
Jamba nutzt Mamba-SSM + Attention; Griffin nutzt Gated Linear Recurrence + lokale Attention – unterschiedliche Recurrence-Mechanismen.
Griffin vs. Gemma
Gemma ist reiner Transformer; Griffin/RecurrentGemma ersetzt globale Attention teilweise durch Recurrence für bessere Inferenz-Effizienz.