TF-IDF
Statistisches Maß zur Bewertung der Relevanz eines Worts in einem Dokument relativ zu einer Dokumentensammlung.
TF-IDF bewertet Wort-Relevanz durch Häufigkeit im Dokument (TF) gewichtet mit Seltenheit im Korpus (IDF) – Grundlage klassischer Suchsysteme und BM25.
Erklärung
TF (Term Frequency) misst Worthäufigkeit im Dokument, IDF (Inverse Document Frequency) reduziert die Gewichtung häufiger Wörter. TF-IDF = TF × IDF. "Marketing" in einem Marketing-Blog hat hohe TF aber niedrige IDF.
Relevanz für Marketing
TF-IDF ist ein Grundbaustein für Suchmaschinen, Information Retrieval und klassisches NLP.
Häufige Fallstricke
Ignoriert Wortbedeutung und Reihenfolge. Kann nicht mit Synonymen umgehen. Wird zunehmend durch Dense Retrieval ersetzt.
Entstehung & Geschichte
Karen Spärck Jones prägte das IDF-Konzept 1972 am Cambridge. TF-IDF wurde zum Standard in Information Retrieval. BM25 (Robertson et al., 1994) verbesserte TF-IDF mit Dokumentlängen-Normalisierung. Trotz Dense Retrieval bleibt TF-IDF in Hybrid-Search-Systemen relevant.
Abgrenzung & Vergleiche
TF-IDF vs. BM25
BM25 ist eine Weiterentwicklung von TF-IDF mit Sättigungs-Funktion und Dokumentlängen-Normalisierung – der Standard in Elasticsearch und Lucene.
TF-IDF vs. Dense Retrieval
TF-IDF nutzt exakte Wortübereinstimmung (sparse); Dense Retrieval nutzt semantische Vektoren für Bedeutungsähnlichkeit.