Cache-Augmented Generation (CAG)
Cache-Augmented Generation (CAG) bezeichnet ein Architekturmuster, bei dem ein stabiler, begrenzter Wissenskorpus vorab in den Kontext eines Sprachmodells geladen und dessen Key-Value-Cache wiederverwendet wird. Anfragen greifen auf diesen vorbereiteten Zustand zu, statt bei jedem Aufruf eine Retrieval-Pipeline zu durchlaufen.
Cache-Augmented Generation lädt einen festen Wissensbestand einmalig in den Modellkontext und hält ihn als KV-Cache vor, statt bei jeder Anfrage neu zu retrieven. Das senkt Latenz und Token-Kosten deutlich.
Erklärung
Klassisches RAG sucht pro Anfrage passende Dokumentabschnitte, fügt sie in den Prompt ein und zahlt dafür jedes Mal Suchlatenz und Eingabe-Token. CAG dreht das um: Wenn der Wissensbestand klein und stabil genug ist – etwa ein Produktkatalog, eine Tarifübersicht oder ein Markenhandbuch – wird er einmal in den Kontext geschrieben und der resultierende KV-Cache über viele Anfragen hinweg wiederverwendet. Anbieter rechnen zwischengespeicherte Eingabe-Token typischerweise stark rabattiert ab. Der Preis dafür ist Aktualität: Ändert sich der Bestand, muss der Cache neu aufgebaut werden. In der Praxis kombinieren Teams beides – CAG für den stabilen Kern, RAG für den dynamischen Rand.
Relevanz für Marketing
Für Marketing-Teams ist CAG der direkteste Hebel gegen steigende Inferenzkosten bei Chatbots, Produktberatern und Content-Assistenten. Wer den stabilen Wissensanteil identifiziert und cached, senkt die Kosten pro Konversation oft um mehr als die Hälfte und verbessert gleichzeitig die Antwortzeit spürbar – ein Faktor, der direkt auf Abschlussraten einzahlt.
Beispiel
Ein Möbelhändler betreibt einen Beratungs-Chatbot. Der 40.000-Token-Produktkatalog plus Versand- und Retourenrichtlinien werden als CAG-Kontext gecacht, nur Verfügbarkeiten und Preise kommen live per Tool-Call dazu. Ergebnis: Die Erstantwortzeit sinkt von 4,1 auf 1,3 Sekunden, die Kosten pro Beratungssession von 0,18 auf 0,06 Euro.
Häufige Fallstricke
Der häufigste Fehler ist ein zu großzügig definierter Cache: Wird auch volatiles Wissen eingefroren, liefert der Assistent selbstbewusst veraltete Preise oder Konditionen. Ebenso kritisch sind unbeobachtete Cache-Laufzeiten – läuft der Cache unbemerkt ab, explodieren die Kosten wieder, ohne dass es jemand im Reporting sieht.
Entstehung & Geschichte
Prompt-Caching wurde ab 2024 von den großen Anbietern als reine Kostenoption eingeführt. Mit den langen Kontextfenstern der 2025er-Modellgeneration wurde daraus ein eigenständiges Architekturmuster, das 2026 unter dem Namen Cache-Augmented Generation breite Verwendung fand. Treiber war der Kostendruck agentischer Anwendungen: Sobald ein Agent dieselben Richtlinien und Kataloge dutzendfach pro Session liest, dominiert der Eingabe-Token-Anteil die Rechnung. Seit Mitte 2026 bieten die meisten Inferenz-Stacks explizite Cache-Handles mit steuerbarer Lebensdauer an, wodurch CAG planbar und messbar wurde.
Anwendungsfälle im Marketing
Produktberater im E-Commerce mit stabilem Katalog und dynamischem Preis-Tool-Call.
Interner Markenassistent, der Corporate-Design- und Tonality-Richtlinien dauerhaft im Cache hält.
Support-Bot mit gecachter Wissensdatenbank und Live-Zugriff auf den Ticketstatus.
Kampagnen-Copilot, der Briefing, Personas und Claims-Bibliothek als festen Kontext nutzt.
Häufige Fragen
Ersetzt CAG das klassische RAG vollständig?
Nein. CAG eignet sich für stabile, begrenzte Wissensbestände, die vollständig in das Kontextfenster passen. Sobald der Korpus groß, häufig aktualisiert oder nutzerindividuell ist, bleibt Retrieval die richtige Wahl. In produktiven Systemen sind Hybride die Regel: Der stabile Kern liegt im Cache, alles Volatile wird zur Laufzeit nachgeladen.
Wie groß ist die Kostenersparnis realistisch?
Das hängt vom Anteil wiederholter Eingabe-Token ab. Bei Assistenten, die pro Anfrage denselben umfangreichen Kontext lesen, liegen die Einsparungen auf den Eingabe-Token je nach Anbieter zwischen fünfzig und neunzig Prozent. Bei kurzen, stark variierenden Prompts ist der Effekt dagegen gering und der Zusatzaufwand lohnt sich selten.
Wie hält man einen CAG-Cache aktuell?
Über ein Invalidierungssignal aus dem Quellsystem: Ändert sich der Katalog oder die Richtlinie, wird der Cache neu aufgebaut und versioniert. Empfehlenswert ist ein Monitoring, das Cache-Alter, Trefferquote und Kosten pro Anfrage gemeinsam ausweist, damit stille Ausfälle oder veraltete Inhalte sofort auffallen.
Verwandte Services
Tiefer einsteigen: Agentic AI Hub · Modellvergleich 2026