Langfuse
Langfuse ist eine quelloffene Plattform für Observability und Bewertung von KI-Anwendungen. Sie erfasst hierarchische Traces jedes Modellaufrufs, Werkzeugaufrufs und Abrufschritts samt Kosten und Latenz und ergänzt Prompt-Verwaltung, Testdatensätze, Experimente und Evaluationen.
Langfuse ist eine quelloffene Plattform für Nachvollziehbarkeit und Bewertung von KI-Anwendungen: verschachtelte Traces je Modell- und Werkzeugaufruf, Prompt-Verwaltung, Datensätze und Evaluationen. Selbst betreibbar, auch in der EU.
Erklärung
Ohne Traces ist eine KI-Anwendung eine Blackbox mit Meinungen darüber, ob sie besser geworden ist. Langfuse macht daraus Daten: Für jede Anfrage sieht man, welche Abschnitte abgerufen, welche Werkzeuge aufgerufen und welche Tokens verbraucht wurden – filterbar nach Nutzer, Sitzung, Kosten und Dauer. Darauf setzen Bewertungen auf, entweder heuristisch, durch ein Modell als Prüfer oder durch menschliches Review. Der praktische Wert zeigt sich beim Modellwechsel: Man vergleicht auf demselben Testdatensatz statt nach Gefühl zu entscheiden. Weil die Plattform vollständig quelloffen ist und auf offenen Bausteinen aufsetzt, lässt sie sich im eigenen Netz und damit in der EU betreiben – der übliche Weg, wenn Gesprächsinhalte personenbezogen sind. Einzelne Zusatzfunktionen benötigen einen Lizenzschlüssel.
Relevanz für Marketing
Für Entscheider ist Langfuse das Werkzeug, mit dem sich Qualität einer KI-Anwendung abnehmen lässt: Fehlerquote auf einem festen Testsatz, Kosten je Anfrage, Dauer je Schritt. Damit wird aus „fühlt sich gut an“ eine Zahl, die man in einem Abnahmeprotokoll festhalten kann.
Beispiel
Vor dem Wechsel des Chat-Modells werden 80 typische Besucherfragen als Testdatensatz hinterlegt. Beide Modelle laufen darüber, Langfuse zeigt Trefferquote, Kosten und Dauer je Frage. Die Entscheidung fällt auf Basis der Abweichungen, nicht nach Eindruck.
Häufige Fallstricke
Traces enthalten schnell personenbezogene Inhalte – ohne Maskierung und Aufbewahrungsfrist entsteht ein zweiter Datenspeicher mit Gesprächsdaten. Und der Eigenbetrieb bringt echten Aufwand mit, weil Datenbank, Analysespeicher und Objektspeicher mitbetrieben werden müssen.
Entstehung & Geschichte
Langfuse startete 2023 als quelloffenes Tracing-Werkzeug für LLM-Anwendungen und wuchs mit dem Bedarf an belastbaren Bewertungen zur breiteren Plattform. Es unterstützt OpenTelemetry und zahlreiche Frameworks; seit Januar 2026 gehört das Unternehmen zu ClickHouse.
Weiterführende Ressourcen
Anwendungsfälle im Marketing
Nachvollziehbarkeit von Chat- und Agentenläufen bis auf Werkzeugebene.
Bewertungen als Abnahmekriterium vor einem Modellwechsel.
Kostenkontrolle je Anwendungsfall und je Nutzergruppe.
Versionierte Prompts mit dokumentierten Änderungen.
Häufige Fragen
Kann ich Langfuse in der EU betreiben?
Ja. Die Plattform ist quelloffen und vollständig selbst betreibbar, etwa in einem EU-Rechenzentrum. Das ist der übliche Weg, wenn Gesprächsinhalte personenbezogene Daten enthalten.
Langfuse oder LangSmith?
Langfuse ist quelloffen und selbst betreibbar, LangSmith ein kommerzieller Dienst mit engster Anbindung an das LangChain-Ökosystem. Wer Datenhoheit priorisiert, wählt in der Regel Langfuse.
Was gehört in einen Testdatensatz?
Echte, typische Anfragen samt erwarteter Antwortkerne – einschließlich der unangenehmen Fälle. Ein Datensatz aus lauter einfachen Fragen bestätigt nur, was ohnehin funktioniert.
Verwandte Services
Tiefer einsteigen: Agentic AI Hub · Modellvergleich 2026