KTO (Kahneman-Tversky Optimization)

KTO (Kahneman-Tversky Optimization) ist eine Alignment-Methode für Large Language Models (LLMs), die inspiriert ist von der Prospect Theory der Nobelpreisträger Kahneman und Tversky. Im Gegensatz zu Ansätzen, die paarweise Präferenzen benötigen (z.B. A ist besser als B), begnügt sich KTO mit binärem Feedback: Eine Antwort ist entweder 'gut' oder 'schlecht'. Diese Vereinfachung des Feedback-Formats reduziert den Annotationsaufwand erheblich. KTO optimiert das Modell, indem es versucht, die Wahrscheinlichkeit von als 'gut' markierten Antworten zu erhöhen und die Wahrscheinlichkeit von als 'schlecht' markierten Antworten zu senken. Der Ansatz basiert auf der Idee, dass die Bewertung von Ergebnissen nicht absolut, sondern relativ zu einem Referenzpunkt erfolgt und Verluste stärker gewichtet werden als Gewinne, was das Modell robuster gegen suboptimales Feedback machen kann.

Für Marketing-Verantwortliche, die ihre KI-Modelle an spezifische Anforderungen anpassen möchten, bietet KTO eine kostengünstigere und schnellere Möglichkeit des Alignments. Die Reduzierung des Aufwands für die Datenerfassung von Präferenzen ermöglicht agilere Iterationen und die Anpassung an sich ändernde Marktbedingungen oder Kampagnenziele. Dies ist besonders vorteilhaft für die Feinabstimmung von Modellen zur Generierung von Marketingtexten, Chatbot-Antworten oder Produktbeschreibungen, wo binäres Feedback oft einfacher und schneller zu beschaffen ist als detaillierte paarweise Vergleiche.

Ein Unternehmen trainiert einen Kundenservice-Chatbot mit KTO. Mitarbeiter markieren einfach Tausende von Chatbot-Antworten als 'hilfreich' oder 'nicht hilfreich', ohne komplizierte Vergleiche durchführen zu müssen. Das Modell lernt aus diesem einfachen Feedback, seine Antworten zu verbessern und relevanter zu gestalten, was die Kundenzufriedenheit steigert und die Effizienz des Supports erhöht.

Ethayarajh et al. (Stanford, Januar 2024) veröffentlichten KTO als Alternative zu DPO. Benannt nach den Psychologen Kahneman und Tversky (Prospect Theory).

• KTO PaperPaper
• KTO ExplainedArtikel