LLM-Inferenzkosten senken: Der Rechenweg für Token, Latenz und Budget

Die kurze Antwort

Die Rechnung für ein LLM-Feature besteht aus drei Größen: Tokens pro Anfrage, Preis pro Million Tokens und Anfragen pro Monat. Alles andere — Caching, Model Routing, Quantisierung, Speculative Decoding — verändert nur diese drei Größen. Wer sie nicht kennt, optimiert im Nebel. Wer sie kennt, senkt die Kosten in den meisten Marketing-Setups um 40 bis 70 Prozent, ohne die Ausgabequalität anzufassen.

Das Grundmodell

Monatliche Kosten = (Input-Tokens × Input-Preis + Output-Tokens × Output-Preis) × Anfragen pro Monat.

Ein realistisches Beispiel aus einem Content-Workflow: 6.000 Input-Tokens (Briefing, Markenrichtlinien, Beispieltexte), 1.200 Output-Tokens, 12.000 Anfragen im Monat.

Die entscheidende Beobachtung: Der Kostentreiber ist fast nie das Modell, sondern der Kontext, den ihr bei jeder einzelnen Anfrage erneut bezahlt.

Die vier Hebel, die wirklich wirken

1. Prompt Caching für den stabilen Kontextanteil

Alles, was sich zwischen Anfragen nicht ändert — Systemprompt, Tonalitätsregeln, Produktdaten, Few-Shot-Beispiele — gehört in den zwischengespeicherten Präfix. Gecachte Input-Tokens werden bei allen großen Anbietern deutlich günstiger abgerechnet als frische. In dem Beispiel oben fallen damit rund zwei Drittel der Input-Kosten weg. Voraussetzung: Der stabile Teil steht am Anfang des Prompts, der variable Teil am Ende.

2. Model Routing statt Einheitsmodell

Nicht jede Aufgabe braucht das Spitzenmodell. Klassifikation, Tagging, Zusammenfassung kurzer Texte und Formatprüfungen laufen auf einem kleinen, schnellen Modell praktisch gleichwertig. Ein simpler Router — Aufgabentyp erkennen, an das passende Modell schicken, bei niedriger Konfidenz eskalieren — verschiebt typischerweise 60 bis 80 Prozent des Volumens in die günstige Klasse.

3. Kontext-Disziplin

Retrieval, das fünf statt fünfzig Dokumentabschnitte liefert, ist nicht nur billiger, sondern meist auch genauer. Lange Kontexte verwässern die Aufmerksamkeit des Modells. Der Reflex „mehr Kontext hilft" ist in der Praxis die häufigste Ursache für gleichzeitig teure und mittelmäßige Ergebnisse.

4. Ausgabelänge begrenzen

Output-Tokens kosten pro Stück ein Vielfaches der Input-Tokens. Eine harte Längenvorgabe im Prompt plus ein Limit in der API-Konfiguration wirkt sofort — und diszipliniert nebenbei die Textqualität.

Latenz ist ein eigenes Budget

Kosten und Latenz hängen zusammen, sind aber nicht dasselbe. Für Nutzeroberflächen zählen zwei Werte:

• Time to First Token (TTFT): wie lange bis das erste Zeichen erscheint. Unter etwa 800 Millisekunden fühlt sich ein Chat flüssig an.
• Tokens pro Sekunde: wie schnell der Rest folgt. Ab rund 30 Tokens pro Sekunde liest ein Mensch nicht mehr hinterher.

Wichtig ist, in Perzentilen zu denken. Ein Durchschnittswert von 900 Millisekunden bei einem p95 von 6 Sekunden bedeutet: Jede zwanzigste Anfrage fühlt sich kaputt an. Genau daran scheitern interne KI-Tools — nicht an der Qualität, sondern an unzuverlässiger Antwortzeit.

Technisch senken Batching, PagedAttention-basiertes Serving (vLLM und Verwandte), KV-Cache-Wiederverwendung und Speculative Decoding die Latenz spürbar. Für die meisten Marketing-Teams ist das jedoch Anbietersache: Relevant wird es erst, wenn ihr selbst hostet — etwa aus Datenschutzgründen.

Wann Self-Hosting rechnerisch Sinn ergibt

Eigenes Hosting lohnt sich nicht ab einer bestimmten Modellgröße, sondern ab einer bestimmten Auslastung. Eine GPU-Instanz kostet rund um die Uhr, egal ob sie arbeitet. Faustregel: Erst wenn die dauerhafte Auslastung über etwa 40 Prozent liegt und die Anforderungen stabil sind, unterbietet Self-Hosting die API-Preise. Darunter zahlt ihr für Leerlauf. Datenschutz oder Souveränitätsanforderungen können die Entscheidung trotzdem in die andere Richtung kippen — dann ist es aber eine Compliance-Entscheidung, keine Kostenentscheidung.

Was ihr messen solltet

• Kosten pro abgeschlossenem Vorgang (nicht pro Anfrage): Ein Vorgang mit drei Korrekturschleifen kostet dreimal.
• Anteil der Anfragen, die auf das teure Modell eskalieren.
• Cache-Trefferquote auf dem stabilen Präfix.
• p50 und p95 der Antwortzeit, getrennt nach Anwendungsfall.
• Nacharbeitsquote: Wie viele Ausgaben müssen Menschen korrigieren? Diese Kosten stehen in keiner API-Rechnung und übersteigen sie oft deutlich.

Der häufigste Fehler

Teams optimieren den Token-Preis und übersehen die Prozesskosten. Ein Workflow, der 40 Euro Inferenz im Monat kostet, aber wöchentlich zwei Stunden Freigabe- und Korrekturarbeit erzeugt, ist teuer — unabhängig vom Modellpreis. Rechnet die Personenzeit immer mit; sie ist in fast allen Marketing-Setups der größere Posten.

Nächste Schritte

Nehmt euren teuersten KI-Workflow, messt eine Woche lang Tokens, Eskalationen und Nacharbeitszeit, und rechnet dann die vier Hebel durch. Mit unserem ROI-Rechner könnt ihr Zeitersparnis und Kosten gegenüberstellen; die Begriffe hinter dem Thema erklären wir im Glossar unter vLLM, KV-Cache und Speculative Decoding.