Eval Washing
Eval Washing beschreibt eine Kommunikations- und Beschaffungspraxis, bei der Anbieter oder interne Teams Evaluationen so zuschneiden, dass gewünschte Ergebnisse entstehen – etwa durch Auswahl günstiger Benchmarks, kontaminierter Testdaten oder unrealistischer Eingabeverteilungen.
Eval Washing bezeichnet das Vorzeigen selektiver oder geschönter Evaluationsergebnisse, um ein KI-System sicherer oder leistungsfähiger erscheinen zu lassen, als es im echten Einsatz ist.
Erklärung
Der Mechanismus ähnelt Greenwashing: Nicht die Aussage ist falsch, sondern ihr Ausschnitt. Typische Muster sind Benchmarks, deren Aufgaben im Trainingsmaterial enthalten waren, Sicherheitstests ausschließlich mit englischen Prompts, Auswertungen ohne Konfidenzintervalle oder Vergleiche gegen veraltete Modellversionen. Weil belastbare Evaluation teuer und domänenspezifisch ist, geraten Käufer schnell in die Position, Marketingzahlen für Messwerte zu halten. Gegenmittel sind eigene Evaluationssets aus echten Kundenanfragen, das Offenlegen von Datenstichtagen und Testverteilungen, das Mitführen von Fehlerfällen sowie vertragliche Kennzahlen, die im Betrieb nachgemessen werden.
Relevanz für Marketing
Wer KI-Werkzeuge einkauft, trifft Budgetentscheidungen auf Basis solcher Zahlen. Eigene, kleine Evaluationssets schützen wirksamer vor Fehlinvestitionen als jede Anbieterfolie mit Spitzenwerten.
Beispiel
Ein Anbieter wirbt mit 96 Prozent Genauigkeit bei der Rechnungsextraktion. Der Test des Kunden mit 200 echten Belegen inklusive Scans und Handschrift ergibt 71 Prozent – die Benchmark bestand ausschließlich aus digital erzeugten PDFs.
Häufige Fallstricke
Der teuerste Fehler ist, Anbieter-Benchmarks ungeprüft in Business Cases zu übernehmen. Ohne eigenen Testsatz lässt sich weder Fortschritt noch Regression belegen.
Entstehung & Geschichte
Mit der Verbreitung öffentlicher Leaderboards ab 2023 wuchs der Anreiz, Ergebnisse zu optimieren statt Fähigkeiten. Als 2025 mehrere Untersuchungen Benchmark-Kontamination nachwiesen, etablierte sich 2026 der Begriff Eval Washing in Beschaffungsleitfäden und Governance-Diskussionen als Gegenstück zu Greenwashing und AI Washing.
Anwendungsfälle im Marketing
Eigenes Evaluationsset aus 100 bis 300 realen Anfragen je Anwendungsfall.
Beschaffungsfragebogen mit Pflichtangaben zu Testverteilung, Stichtag und Fehlerfällen.
Regelmäßige Nachmessung der Anbieterzusagen im Produktivbetrieb.
Dokumentierte Fehlerfallsammlung als Teil der Modellauswahl und Abnahme.
Häufige Fragen
Woran erkennt man Eval Washing?
An fehlenden Angaben: Wenn Testverteilung, Datenstichtag, Sprachabdeckung und Fehlerfälle nicht benannt werden, ist die Zahl nicht überprüfbar. Auch Vergleiche ausschließlich gegen ältere Konkurrenzversionen sind ein deutliches Signal.
Wie groß muss ein eigenes Evaluationsset sein?
Für die meisten Marketinganwendungen genügen 100 bis 300 realistische Fälle, wenn sie die tatsächliche Verteilung abbilden – inklusive Randfälle. Repräsentativität ist wichtiger als Umfang.
Ist Eval Washing dasselbe wie AI Washing?
Nein. AI Washing bedeutet, ein Produkt als KI-basiert zu vermarkten, obwohl kaum KI enthalten ist. Eval Washing setzt später an: Die KI existiert, aber ihre Leistungsnachweise sind selektiv aufbereitet.
Verwandte Services
Tiefer einsteigen: Agentic AI Hub · Modellvergleich 2026