Sinusoidal Positional Encoding
Die ursprüngliche Positionskodierung aus dem Transformer-Paper, die Sinus- und Cosinus-Funktionen verschiedener Frequenzen nutzt.
Sinusoidal Encoding nutzt Sin/Cos-Wellen verschiedener Frequenzen als Positions-Signal – die historisch erste Lösung aus dem Transformer-Paper (2017).
Erklärung
PE(pos, 2i) = sin(pos/10000^(2i/d)), PE(pos, 2i+1) = cos(pos/10000^(2i/d)). Verschiedene Dimensionen haben verschiedene Wellenlängen (2π bis 10000·2π). Vorteil: Kann theoretisch auf beliebige Längen generalisieren, da deterministische Funktion.
Relevanz für Marketing
Historisch wichtig als erste Lösung für Positionsinformation in Transformern – heute meist durch RoPE oder Learned Embeddings ersetzt.
Häufige Fallstricke
Generalisiert in der Praxis nicht gut auf ungesehene Längen. Absolute Positionsinformation statt relative. Moderne LLMs nutzen RoPE statt Sinusoidal.
Entstehung & Geschichte
Vaswani et al. (2017) wählten Sinusoidal Encoding wegen seiner Fähigkeit, relative Positionen durch lineare Transformation darzustellen. BERT (2018) ersetzte es durch Learned Positional Embeddings. RoPE (2021) und ALiBi (2022) lösten beide ab.
Abgrenzung & Vergleiche
Sinusoidal Positional Encoding vs. Learned Positional Embeddings
Sinusoidal ist deterministisch (keine Parameter); Learned Embeddings werden trainiert – flexibler, aber auf Trainingslänge limitiert.
Sinusoidal Positional Encoding vs. RoPE
Sinusoidal addiert Position zum Embedding; RoPE rotiert Q/K-Vektoren – erfasst relative Positionen besser und skaliert mit Techniques wie YaRN.