Shadow Eval
Shadow Eval bezeichnet ein Evaluierungsverfahren, bei dem echte Produktionsanfragen zusätzlich an eine Kandidatenversion geschickt werden. Deren Ausgaben werden protokolliert und bewertet, aber nicht ausgeliefert, sodass Qualitätsvergleiche unter realen Bedingungen ohne Nutzerrisiko möglich sind.
Eine Shadow Eval lässt eine neue Modell- oder Prompt-Version parallel zur Produktion mitlaufen und bewertet ihre Ausgaben, ohne dass Nutzende sie zu sehen bekommen – Risiko null, Erkenntnis hoch.
Erklärung
Statische Testsätze veralten schnell und bilden reale Anfragen nur unvollständig ab. Shadow Evals lösen das, indem sie den echten Anfragestrom nutzen: Jede Anfrage läuft durch Produktion und Kandidat, die Ergebnisse werden per Regelprüfung, Modell-Bewertung oder Stichprobe durch Menschen verglichen. So lassen sich Regressionen, Formatfehler und Kostenunterschiede erkennen, bevor eine Version live geht. Wichtig sind Datenschutz durch Pseudonymisierung, eine Begrenzung des gespiegelten Anteils zur Kostenkontrolle und klare Freigabekriterien, ab welcher Verbesserung ein Wechsel erfolgt. In Kombination mit gepinnten Modellversionen entsteht ein belastbarer Freigabeprozess für KI-Änderungen.
Relevanz für Marketing
Für Teams mit produktiven KI-Funktionen ist die Shadow Eval der günstigste Weg, Modellwechsel und Prompt-Änderungen zu verantworten, ohne Kundenkontakte als Testfeld zu benutzen.
Beispiel
Vor dem Wechsel auf ein neues Modell spiegelt ein Team zwei Wochen lang zehn Prozent der Chatbot-Anfragen. Die Auswertung zeigt bessere Antworten, aber 14 Prozent mehr Schemafehler – der Wechsel erfolgt erst nach Anpassung des Ausgabeformats.
Häufige Fallstricke
Ohne Datenschutzkonzept ist das Spiegeln echter Anfragen riskant. Personenbezogene Inhalte gehören pseudonymisiert, und die Aufbewahrungsdauer der Schattenprotokolle muss begrenzt sein.
Entstehung & Geschichte
Das Muster stammt aus dem klassischen Software-Deployment, wo Shadow Traffic seit Jahren zur Absicherung von Releases dient. Mit der Instabilität von Modellversionen und dem Bedarf an laufender Qualitätssicherung wurde es 2026 in KI-Produktteams zum Standardwerkzeug.
Anwendungsfälle im Marketing
Absicherung von Modellwechseln durch parallelen Betrieb vor der Umstellung.
Bewertung neuer Prompt-Versionen anhand echter statt konstruierter Anfragen.
Kostenvergleich zwischen Kandidaten unter realem Anfragemix.
Frühwarnsystem für Regressionen nach unangekündigten Anbieteränderungen.
Häufige Fragen
Wie unterscheidet sich Shadow Eval von A/B-Tests?
Beim A/B-Test sehen echte Nutzende die neue Variante, was Risiko und Aussagekraft zugleich erhöht. Bei der Shadow Eval bleibt die Kandidatenversion unsichtbar, sodass ausschließlich die Ausgabequalität und nicht das Nutzerverhalten gemessen wird.
Wie hoch sollte der gespiegelte Anteil sein?
In der Praxis genügen fünf bis zwanzig Prozent des Verkehrs, um belastbare Aussagen zu erhalten. Der Anteil sollte an das Budget angepasst werden, weil jede gespiegelte Anfrage zusätzliche Modellkosten verursacht.
Wer bewertet die Schattenausgaben?
Meist eine Kombination: automatische Regelprüfungen für Format und Pflichtangaben, ein Bewertermodell für inhaltliche Qualität und eine kleine menschliche Stichprobe zur Kalibrierung der automatischen Bewertung.
Verwandte Services
Tiefer einsteigen: Measurement & Attribution · Modellvergleich 2026