Selective Prediction
Ein Ansatz, bei dem ein Modell unsichere Vorhersagen verweigert und an Menschen oder andere Systeme delegiert.
Selective Prediction lässt Modelle unsichere Vorhersagen verweigern – besser "ich weiß nicht" sagen als falsch antworten.
Erklärung
Selective Prediction nutzt Konfidenz-Schwellenwerte oder gelernte Reject-Funktionen. Das Modell antwortet nur, wenn es sich sicher genug ist – Risiko-Coverage-Trade-off wird explizit gesteuert.
Relevanz für Marketing
Für Chatbots und Support-AI: Lieber an einen Menschen eskalieren als falsch antworten – reduziert Hallucination-Risiko und steigert Vertrauen.
Beispiel
Ein medizinischer Diagnose-Chatbot antwortet bei Unsicherheit: "Ich bin mir nicht sicher genug – bitte konsultieren Sie einen Arzt."
Häufige Fallstricke
Zu hoher Schwellenwert → zu viele Abstentions (schlechte UX); zu niedriger → falsche Antworten passieren. Schwellenwert muss pro Segment tuned werden.
Entstehung & Geschichte
Chow (1970) führte die Reject Option für Classifier ein. El-Yaniv & Wiener (2010) formalisierten den Risk-Coverage-Trade-off. Mit LLMs wurde Selective Prediction ab 2023 durch Abstention-Mechanismen neu relevant.
Abgrenzung & Vergleiche
Selective Prediction vs. Guardrails
Guardrails filtern nach der Generierung; Selective Prediction entscheidet vor der Ausgabe, ob überhaupt geantwortet wird.
Selective Prediction vs. Human-in-the-Loop
HITL involviert Menschen immer; Selective Prediction eskaliert nur bei Unsicherheit – effizienter bei hohem Volumen.