DROP

DROP (Discrete Reasoning Over Paragraphs) ist ein Reading-Comprehension-Benchmark, der die Fähigkeit von KI-Modellen testet, numerische Schlussfolgerungen aus Textpassagen zu ziehen. Im Gegensatz zu vielen anderen QA-Benchmarks, die direkt die Antwort im Text finden, erfordert DROP, dass Modelle arithmetische Operationen (zählen, sortieren, addieren, subtrahieren), Vergleiche oder logische Verknüpfungen auf Basis der im Text gefundenen Zahlen und Fakten durchführen. Die Antworten sind oft keine direkten Zitate aus dem Text, sondern müssen aus mehreren Informationen durch logisches oder numerisches Reasoning abgeleitet werden. Dies stellt eine höhere Anforderung an das Sprachverständnis und die Fähigkeit zur Informationsaggregation dar.

Für Marketing-Verantwortliche ist DROP relevant, da die Fähigkeit von KIs, numerische Daten in Texten korrekt zu interpretieren und zu verarbeiten, für die Analyse von Marktdaten, Finanzberichten oder Leistungsmetriken unerlässlich ist. Ein Modell, das bei DROP gut abschneidet, kann komplexe Geschäftsberichte zusammenfassen, Umsatzprognosen aus Textbeschreibungen ableiten oder die Effektivität von Kampagnen durch die Aggregation von Zahlen aus verschiedenen Quellen bewerten. Dies unterstützt datengestützte Entscheidungen und strategische Planungen, insbesondere im B2B-Bereich, wo faktische Genauigkeit zählt.

Ein Unternehmen nutzt ein bei DROP leistungsstarkes KI-Modell, um monatliche Vertriebsberichte zu analysieren. Das Modell extrahiert aus Freitextfeldern die Anzahl der generierten Leads pro Kanal, vergleicht diese mit den Verkaufszahlen und berechnet die Lead-to-Sale-Konversionsrate. Anschließend fasst es die wichtigsten numerischen Erkenntnisse für das Management zusammen, was eine schnelle Übersicht über die Performance ermöglicht.

DROP wurde 2019 von Allen AI veröffentlicht. Es zeigte, dass Reading-Comprehension-Modelle bei numerischem Reasoning dramatisch versagen.

• DROP PaperPaper
• DROP DatasetDokumentation