LiteLLM
LiteLLM ist ein quelloffenes Projekt, das Anfragen an zahlreiche Modellanbieter auf ein einheitliches, OpenAI-kompatibles Format übersetzt und als Proxy-Server zusätzlich Authentifizierung, Ausgabenverfolgung, Budgets und Lastverteilung übernimmt.
LiteLLM ruft über 100 Modelle im OpenAI-Format auf – als Python-Bibliothek oder als eigener Gateway-Dienst. Der Gateway bringt zusätzlich virtuelle Schlüssel, Kostenzuordnung, Budgets und Ausweichrouten bei Ausfällen.
Erklärung
Ohne Gateway hat jedes Team seinen eigenen Anbieterschlüssel, und niemand weiß, welche Anwendung welche Kosten verursacht. Mit Gateway gibt es einen Eingang: Anwendungen erhalten virtuelle Schlüssel mit Budget, Aufrufe werden protokolliert, Modelle lassen sich zentral tauschen. Fällt ein Anbieter aus, greift eine Ausweichroute, ohne dass Code angepasst wird. Für Plattformteams ist das weniger ein KI-Werkzeug als eine Kostenstelle mit Zugangskontrolle.
Relevanz für Marketing
Sobald mehr als eine Anwendung Modelle nutzt, wird Kostentransparenz zur Managementfrage. Ein Gateway liefert sie ohne Umbau der Anwendungen – und gibt die Möglichkeit, für einzelne Anwendungsfälle ein günstigeres Modell zu setzen, ohne dass Teams verhandeln müssen.
Beispiel
Website-Chat, interne Recherche und Textproduktion laufen über denselben Gateway. Jeder Bereich hat einen eigenen Schlüssel mit Monatsbudget; im Bericht steht, welcher Anwendungsfall welchen Anteil verursacht. Ein Modellwechsel für die Textproduktion ist eine Konfigurationsänderung.
Häufige Fallstricke
Ein Gateway ist ein zentraler Engpass: Fällt er aus, fällt alles aus – Redundanz und Überwachung sind Pflicht. Zweitens sammelt er Prompts und Antworten an einer Stelle; das ist für Auswertung praktisch und für Datenschutz heikel, also braucht es Regeln zu Protokollierung und Aufbewahrung.
Entstehung & Geschichte
LiteLLM begann als schmale Übersetzungsschicht zwischen Anbieter-APIs und wuchs zum Gateway, als Unternehmen mehrere Modelle parallel betrieben. Die Dokumentation nennt Lasttests mit über 1.500 Anfragen pro Sekunde und den Wechsel auf Python 3.10 als Mindestversion in neueren Ausgaben.
Weiterführende Ressourcen
Anwendungsfälle im Marketing
Zentraler Modellzugang mit Budgets je Team oder Anwendung.
Ausweichrouten und Lastverteilung über mehrere Anbieter.
Kostenberichte je Anwendungsfall als Grundlage für Modellentscheidungen.
Häufige Fragen
Brauche ich LiteLLM, wenn ich nur ein Modell nutze?
Dann ist der Nutzen klein. Interessant wird es ab dem Moment, in dem mehrere Anwendungen, mehrere Anbieter oder eine Kostenzuordnung ins Spiel kommen.
Kann ich LiteLLM selbst betreiben?
Ja, der Proxy ist quelloffen und lässt sich in der eigenen Umgebung betreiben. Das ist der übliche Weg, wenn Prompts das eigene Netz nicht verlassen sollen.
Verwandte Services
Tiefer einsteigen: Agentic AI Hub · Modellvergleich 2026