Temperature Scaling
Eine Post-hoc-Kalibrierungsmethode, die einen einzigen Parameter (Temperatur) nutzt, um Modell-Konfidenzwerte zu adjustieren.
Temperature Scaling ist die einfachste Kalibrierungsmethode: ein Parameter adjustiert Modell-Konfidenz und kontrolliert bei LLMs die Kreativität.
Erklärung
Temperature Scaling teilt die Logits durch einen gelernten Temperaturwert T vor dem Softmax. T>1 macht Vorhersagen weicher (weniger überkonfident), T<1 macht sie schärfer. Die einfachste und oft effektivste Kalibrierungsmethode.
Relevanz für Marketing
Für LLM-gesteuerte Marketing-Antworten kontrolliert die Temperatur die Kreativität vs. Konsistenz – niedrig für faktenbasierte, hoch für kreative Outputs.
Beispiel
GPT mit Temperatur 0.1 liefert konsistente, faktenbasierte Produktbeschreibungen; mit 0.9 kreative, variierte Marketingtexte.
Häufige Fallstricke
Temperatur-Kalibrierung auf Validierungsdaten generalisiert nicht bei Distribution Shift. Bei LLMs: Temperature ≠ Kalibrierung der Faktengenauigkeit.
Entstehung & Geschichte
Hinton et al. führten Temperature im Kontext von Knowledge Distillation (2015) ein. Guo et al. (2017) zeigten, dass Temperature Scaling für Kalibrierung genügt und komplexere Methoden oft überflüssig macht.
Abgrenzung & Vergleiche
Temperature Scaling vs. Platt Scaling
Platt Scaling lernt zwei Parameter (Slope + Intercept) auf Logits; Temperature Scaling nutzt nur einen Parameter und ist weniger anfällig für Overfitting.
Temperature Scaling vs. Top-p Sampling
Temperature beeinflusst die Wahrscheinlichkeitsverteilung; Top-p limitiert die Auswahl auf die wahrscheinlichsten Tokens.