Lottery Ticket Hypothesis
Die Hypothese, dass jedes große neuronale Netz ein kleines Subnetz ("Winning Ticket") enthält, das bei gleicher Initialisierung allein trainiert die volle Leistung des großen Netzes erreichen kann.
Die Lottery Ticket Hypothesis besagt, dass in jedem großen Netz ein kleines Subnetz steckt, das allein trainiert die gleiche Leistung erreicht – Grundlage für effizientes Pruning.
Erklärung
Frankle & Carlin zeigten 2018, dass 90%+ der Gewichte entfernt werden können, wenn man die richtigen Initial-Gewichte behält. Dies revolutionierte das Verständnis von Pruning und Sparsity.
Relevanz für Marketing
Die Hypothese liefert theoretische Grundlagen für effizientere KI: Warum sind große Modelle nötig, wenn kleine Subnetze ausreichen? Potenzial für drastische Kostensenkung.
Beispiel
Forscher finden in BERT ein "Winning Ticket" mit nur 10% der Parameter – es erreicht 98% der Original-Accuracy und inferiert 5x schneller.
Häufige Fallstricke
Winning Tickets finden erfordert aufwändiges iteratives Pruning. Nicht alle Architekturen haben klare Winning Tickets. Transfer zwischen Tasks nicht garantiert.
Entstehung & Geschichte
Jonathan Frankle und Michael Carlin (MIT) veröffentlichten 2018 das Paper "The Lottery Ticket Hypothesis". Es gewann den Best Paper Award auf ICLR 2019 und inspirierte hunderte Folgearbeiten zu Sparsity.
Abgrenzung & Vergleiche
Lottery Ticket Hypothesis vs. Pruning
Pruning entfernt Gewichte nach dem Training; Lottery Ticket zeigt, dass die richtigen Subnetze schon vor dem Training existieren.
Lottery Ticket Hypothesis vs. Neural Architecture Search
NAS sucht neue Architekturen; Lottery Ticket findet optimale Substrukturen in bestehenden Netzen.