Tanh (Hyperbolischer Tangens)

Die Tanh-Aktivierungsfunktion (hyperbolischer Tangens) transformiert Eingabewerte in einen Bereich zwischen -1 und 1. Im Gegensatz zur Sigmoid-Funktion, die Werte zwischen 0 und 1 liefert, ist Tanh 'zero-centered', was bedeutet, dass der Mittelwert der Ausgaben nahe Null liegt. Dies kann den Trainingsprozess von tiefen neuronalen Netzen stabilisieren und beschleunigen, da die Gradienten weniger zur 'Zickzack'-Bewegung neigen. Tanh ist eine glatte, differenzierbare Funktion, die in tieferen Schichten besser mit Problemen wie dem Vanishing Gradient umgehen kann als Sigmoid.

Für Marketing-Verantwortliche und CTOs ist das Verständnis von Aktivierungsfunktionen relevant, da sie die Leistungsfähigkeit und Effizienz von KI-Modellen direkt beeinflussen. Eine gute Wahl der Aktivierungsfunktion kann die Konvergenz beschleunigen und die Modellgenauigkeit erhöhen, was sich auf die Qualität von Vorhersagen oder Klassifikationen auswirkt, die im Marketing eingesetzt werden (z.B. Kundensegmentierung, Lead Scoring).

Bei der Entwicklung eines neuronalen Netzes zur Analyse von Stimmungen in Kundenrezensionen könnte Tanh in den Hidden Layers verwendet werden. Die zero-centered Outputs helfen dem Modell, feine Nuancen zwischen positiven, neutralen und negativen Äußerungen effizienter zu lernen und zu klassifizieren, was zu präziseren Marketing-Insights führt.

Tanh wurde als Verbesserung gegenüber Sigmoid in den 1990ern populär (LeCun, 1998). Die Zero-Centered-Eigenschaft verbesserte Konvergenz. Mit dem Aufkommen von ReLU (2010) sank die Bedeutung, aber Tanh bleibt in LSTM/GRU-Gates Standard.

• Efficient BackProp (LeCun et al., 1998)Paper
• PyTorch TanhDokumentation