MMLU (Massive Multitask Language Understanding)

MMLU steht für Massive Multitask Language Understanding und ist ein weit verbreiteter Benchmark zur Bewertung des Weltwissens und der Fähigkeiten zum Schlussfolgern von Large Language Models (LLMs). Er besteht aus einem Set von 57 Multiple-Choice-Tests, die ein breites Spektrum anspruchsvoller Themen abdecken, darunter Naturwissenschaften (STEM), Geisteswissenschaften, Sozialwissenschaften und andere Domänen wie Recht und Medizin. Für jede Frage müssen LLMs aus vier Antwortmöglichkeiten die korrekte identifizieren. Dieser Benchmark prüft, wie gut ein Modell faktenbasiertes Wissen und kontextuelles Verständnis über diverse Fachgebiete hinweg demonstrieren kann, und gilt als wichtiger Indikator für die Intelligenz eines LLMs.

Für B2B-Marketing und KI-Anwendungen ist MMLU relevant, da es die Fähigkeit eines LLM misst, komplexe, themenspezifische Inhalte zu verstehen und zu generieren. Ein hohes MMLU-Ergebnis deutet darauf hin, dass ein LLM ein tiefes Weltwissen besitzt, was für die Erstellung präziser und fachlich korrekter Marketingtexte, Whitepapers oder die Beantwortung spezialisierter Kundenanfragen von Bedeutung ist. Dies verbessert die Qualität des generierten Contents und stärkt die Glaubwürdigkeit des Unternehmens.

Ein Beratungsunternehmen möchte ein LLM für die Erstellung von Artikeln über Wirtschafts- und Finanzthemen einsetzen. Es wählt ein Modell mit einem hohen MMLU-Score aus, insbesondere in den Kategorien 'Wirtschaft' und 'Finanzen'. Dies stellt sicher, dass das generierte Wissen fundiert ist und die Inhalte keine sachlichen Fehler enthalten, was für die Reputation des Unternehmens entscheidend ist.

MMLU wurde 2021 von Hendrycks et al. (UC Berkeley) veröffentlicht und wurde schnell zum Standard-Knowledge-Benchmark. MMLU-Pro (2024) adressiert einige Kritikpunkte.

• MMLU PaperPaper
• MMLU Hugging FaceDokumentation
• OpenLLM LeaderboardDokumentation