Brier Score

Der Brier Score ist eine Metrik zur Bewertung der Güte probabilistischer Vorhersagen, insbesondere in binären Klassifikationsszenarien. Er misst den mittleren quadratischen Fehler zwischen den vorhergesagten Wahrscheinlichkeiten und den tatsächlichen Ergebnissen (0 oder 1). Ein Brier Score von 0 ist das bestmögliche Ergebnis und zeigt perfekte Kalibrierung und Diskrimination an; höhere Werte bedeuten schlechtere Vorhersagequalität. Der Brier Score berücksichtigt sowohl die Diskriminationsfähigkeit (wie gut das Modell zwischen Klassen unterscheidet) als auch die Kalibrierung (wie gut die vorhergesagten Wahrscheinlichkeiten mit den tatsächlichen Häufigkeiten übereinstimmen).

Für Marketing-Entscheider liefert der Brier Score eine fundierte Basis, um die Zuverlässigkeit von Prognosen (z.B. Kaufwahrscheinlichkeit von Kunden) zu bewerten. Er ermöglicht die Auswahl von Modellen, die nicht nur korrekt klassifizieren, sondern auch realistische Wahrscheinlichkeiten liefern. CTOs und Datenwissenschaftler nutzen ihn, um die Modellgüte im Kontext von Risikobewertungen oder Prognosesystemen objektiv zu vergleichen und zu optimieren.

Ein Marketing-Team verwendet ein Modell zur Vorhersage der Abwanderungswahrscheinlichkeit von Abonnenten. Der Brier Score hilft, verschiedene Modellversionen zu vergleichen und das Modell auszuwählen, dessen vorhergesagte Abwanderungswahrscheinlichkeiten am besten mit der tatsächlichen Kundenabwanderung übereinstimmen, was präzisere Retentionsstrategien ermöglicht.

Glenn W. Brier führte den Score 1950 für Wettervorhersagen ein. Standard in medizinischer Risikoforschung.

• Scikit-learn: Brier ScoreDokumentation