Cohen's Kappa

Cohen's Kappa ist eine statistische Maßzahl, die die Inter-Rater-Reliabilität für kategoriale Bewertungen bewertet. Im Gegensatz zur einfachen prozentualen Übereinstimmung korrigiert Kappa für die Übereinstimmung, die zufällig erwartet werden kann. Es wird berechnet, indem die beobachtete Übereinstimmung (Po) und die zufällige Übereinstimmung (Pe) in Beziehung gesetzt werden: Kappa = (Po - Pe) / (1 - Pe). Der Wertbereich liegt typischerweise zwischen -1 und 1, wobei 1 perfekte Übereinstimmung, 0 zufällige Übereinstimmung und negative Werte weniger als zufällige Übereinstimmung anzeigen. Es ist besonders nützlich, wenn zwei oder mehr Beobachter unabhängige Urteile treffen.

Im Kontext von Marketing und KI ist Cohen's Kappa essenziell, um die Verlässlichkeit der Datenannotation zu objektivieren. Es ermöglicht Unternehmen, die Qualität der manuellen Kategorisierung von Kundendaten, Content-Typen oder Intent-Labels präzise zu bewerten. Ein robustes Kappa-Ergebnis bestätigt die Validität der Trainingsdaten für maschinelles Lernen und trägt somit direkt zur Entwicklung zuverlässiger und effektiver KI-basierter Marketing-Tools bei, indem es menschliche Bewertungskonsistenz sicherstellt.

Zwei Marketing-Mitarbeiter klassifizieren Social-Media-Kommentare als 'Support-Anfrage', 'Produkt-Feedback' oder 'Spam'. Um die Konsistenz ihrer Einordnungen zu überprüfen, wird Cohen's Kappa berechnet. Ein Kappa-Wert von 0.75 deutet auf eine substanzielle Übereinstimmung hin, die über den Zufall hinausgeht, und validiert die Qualität der manuellen Klassifizierung für das Training eines Chatbots.

Jacob Cohen führte Kappa 1960 ein als Verbesserung über Simple Agreement. Die Metrik wurde zum Standard in Medizin, Linguistik und ML-Annotation.

• Cohen's Kappa WikipediaArtikel
• Scikit-learn: Cohen KappaDokumentation