Sigmoid

Die Sigmoid-Funktion ist eine mathematische Kurve mit einer charakteristischen S-Form. Sie nimmt eine beliebige Zahl entgegen — egal ob 1000 oder −1000 — und gibt immer einen Wert zwischen 0 und 1 zurück. Sehr große positive Zahlen landen nahe bei 1, sehr große negative Zahlen nahe bei 0, und die Zahl 0 landet genau bei 0,5. Diese Eigenschaft macht die Sigmoid-Funktion nützlich, wann immer man eine Aussage als Wahrscheinlichkeit ausdrücken will: Ein Wert von 0,9 lässt sich zum Beispiel als « 90 % sicher » lesen.

Sigmoid als Schaltstelle im neuronalen Netz

Neuronale Netze — das sind grob gesagt Systeme aus vielen miteinander verbundenen Recheneinheiten — verarbeiten Daten in Schichten. Jede Einheit summiert ihre Eingaben und gibt das Ergebnis an die nächste Schicht weiter. Das Problem: Ohne Einschränkung wachsen diese Zahlenwerte unbegrenzt. Die Sigmoid-Funktion wirkt wie ein Ventil, das nach jeder Einheit die Ausgabe in den Bereich 0–1 zwingt.

Dieser Schritt heißt Aktivierung. Ohne eine solche Aktivierungsfunktion wäre das gesamte Netz mathematisch nichts anderes als eine einzige lineare Rechnung — egal wie viele Schichten man stapelt. Die Sigmoid-Funktion bricht diese Linearität auf und erlaubt es dem Netz, komplexere Zusammenhänge zu lernen.

Wie die S-Kurve entsteht

Die Formel lautet σ(x) = 1 / (1 + e^(−x)), wobei e die Eulersche Zahl ist (ungefähr 2,718). Wer diese Formel nicht kennt, muss sie nicht auswendig lernen. Die entscheidende Eigenschaft steckt in der Struktur: Der Nenner wird immer mindestens 1, weil e^(−x) nie negativ wird. Damit ist das Ergebnis immer kleiner als 1. Und weil der Zähler fest auf 1 steht, ist das Ergebnis immer größer als 0.

Der flache Bereich am linken und rechten Rand der Kurve ist auch ihr größter Schwachpunkt. Dort verändert sich die Ausgabe kaum noch, egal wie stark sich die Eingabe ändert. Beim Training eines Netzes — also beim Prozess, in dem das Netz seine Parameter anpasst — braucht man den Anstieg der Kurve als Signal. Im flachen Bereich ist dieses Signal fast null. Das Netz lernt dann an diesen Stellen kaum noch etwas. Dieses Phänomen nennt sich Vanishing Gradient, zu Deutsch: verschwindender Gradient.

Wegen dieses Problems wurde die Sigmoid-Funktion in den mittleren Schichten tiefer Netze weitgehend durch andere Aktivierungsfunktionen ersetzt, vor allem durch ReLU (Rectified Linear Unit), die einfach alle negativen Werte auf null setzt und ansonsten linear bleibt. Sigmoid blieb aber als Ausgabefunktion dort erhalten, wo eine Wahrscheinlichkeit als Ergebnis gefragt ist.

Wo Sigmoid heute noch auftaucht

In der binären Klassifikation — also bei Aufgaben mit genau zwei möglichen Antworten wie « Spam oder kein Spam? » — ist Sigmoid bis heute Standardwahl in der Ausgabeschicht. Der Wert 0,5 dient dabei als Schwelle: Liegt die Ausgabe darüber, entscheidet das Modell für eine Klasse, darunter für die andere.

Auch in der Logistischen Regression — einem klassischen statistischen Verfahren, das älter ist als moderne KI — steckt die Sigmoid-Funktion. Und in Sprachmodellen, also Systemen wie Chatbots, taucht sie in bestimmten Steuerungsmechanismen auf, etwa im sogenannten Gating: Hier entscheidet ein Sigmoid-Wert zwischen 0 und 1, wie viel Information aus einer vorherigen Rechnung in die aktuelle einfließen darf.

Wer also Berichte über neue KI-Modelle liest und auf Begriffe wie « Aktivierungsfunktion », « Ausgabewahrscheinlichkeit » oder « Gating » trifft, bewegt sich im direkten Umfeld der Sigmoid-Funktion — auch wenn das Wort selbst nicht immer fällt.