Tensornetzwerk
Ein Tensornetzwerk ist eine mathematische Struktur, die sehr große Datentabellen in viele kleinere Teile zerlegt und diese durch Verbindungen miteinander verknüpft. In der KI-Forschung werden Tensornetzwerke eingesetzt, um Rechenoperationen effizienter zu machen und riesige Modelle kompakter zu speichern.
Ein Tensor ist im Grunde eine mehrdimensionale Tabelle mit Zahlen. Eine normale Tabelle hat Zeilen und Spalten — also zwei Dimensionen. Ein Tensor kann drei, vier oder noch mehr Dimensionen haben. Das klingt abstrakt, ist aber alltäglich: ein Farbbild ist ein Tensor, weil jeder Bildpunkt drei Werte hat (Rot, Grün, Blau) und außerdem eine Position in Breite und Höhe. Ein Tensornetzwerk entsteht, wenn man viele solcher Tabellen miteinander verknüpft, anstatt eine einzige riesige Tabelle zu verwenden. Das Ziel ist Effizienz: Die Zerlegung in viele kleine Teile spart Speicher und Rechenzeit erheblich.
Warum die Größe von Tensoren zum Problem wird
Moderne KI-Modelle arbeiten mit Tabellen, die schnell astronomische Ausmaße annehmen. Verdoppelt man die Anzahl der Dimensionen eines Tensors, explodiert die Datenmenge nicht linear, sondern exponentiell. Dieses Wachstum nennt man den Fluch der Dimensionalität. Ein Tensor mit nur 100 Einträgen je Dimension und 10 Dimensionen hätte mehr Einträge als Atome im sichtbaren Universum. So etwas kann kein Computer der Welt direkt speichern.
Genau hier setzen Tensornetzwerke an. Sie umgehen das Problem, indem sie den riesigen Tensor gar nicht erst vollständig aufschreiben. Stattdessen beschreiben sie ihn als Zusammenspiel vieler kleiner Tabellen. Die Information steckt dann nicht in einer gigantischen Struktur, sondern verteilt in den Verbindungen zwischen den kleinen Teilen. Das funktioniert gut, weil die meisten Tensoren in der Praxis nicht wirklich zufällig sind — sie enthalten Muster und Redundanzen, die sich komprimieren lassen.
Wie die Zerlegung eines Tensors funktioniert
Man stelle sich vor, eine lange Musikaufnahme zu beschreiben. Statt jeden einzelnen Ton zu notieren, könnte man Akkorde, Rhythmus und Melodie getrennt festhalten und erklären, wie sie zusammenpassen. Das Ergebnis ist dieselbe Musik — aber die Beschreibung ist viel kompakter. Tensornetzwerke arbeiten nach demselben Prinzip. Der ursprüngliche Tensor wird in mehrere kleinere Tensoren aufgeteilt. Diese kleinen Tensoren sind durch sogenannte Indizes miteinander verbunden: geteilte Dimensionen, über die die Teile zusammenspielen.
Eine bekannte Form ist die Matrizenzerlegung, bei der eine große zweidimensionale Tabelle in zwei schmale Tabellen aufgeteilt wird, die man miteinander multipliziert. Tensornetzwerke verallgemeinern das auf beliebig viele Dimensionen und beliebig viele Teilstücke. Je nachdem, wie die Teile miteinander verbunden sind — in einer Kette, einem Baum oder einem Netz — entsteht eine andere Art von Tensornetzwerk mit eigenen Stärken.
Ein wichtiger Begriff dabei ist der Rang. Der Rang beschreibt, wie viele Informationen durch eine Verbindung zwischen zwei Teilstücken fließen dürfen. Ein niedriger Rang bedeutet eine aggressivere Komprimierung — schneller, aber ungenauer. Ein hoher Rang ist präziser, aber teurer. Forscher wählen den Rang je nach Aufgabe ab.
Tensornetzwerke in KI-Modellen und Quantencomputing
In der KI tauchen Tensornetzwerke vor allem dort auf, wo Modelle komprimiert oder beschleunigt werden sollen. Eine konkrete Anwendung ist die Komprimierung von Gewichtsmatrizen — also der gelernten Zahlentabellen — in großen Sprachmodellen. Statt eine riesige Matrix im Speicher zu halten, speichert man ihre Tensornetzwerk-Darstellung. Das Modell bleibt dabei fast gleich leistungsfähig, braucht aber deutlich weniger Ressourcen. Für den Einsatz von KI auf Smartphones oder in Autos ist das entscheidend.
Noch älter ist die Verbindung zur Quantenphysik. Quantenzustände — die Zustände winziger Teilchen — lassen sich als Tensoren darstellen, und ihre Simulation ist klassisch kaum möglich. Tensornetzwerke sind seit den 1990er-Jahren das wichtigste Werkzeug der theoretischen Physik, um Quantensysteme trotzdem zu berechnen. Quantencomputer-Unternehmen wie Google oder IBM nutzen Tensornetzwerkverfahren, um ihre Maschinen zu simulieren und zu testen.
In News begegnet man dem Begriff oft im Zusammenhang mit „effizientem KI“ oder „Modellkomprimierung“. Wer liest, dass ein Modell durch Zerlegungsverfahren um den Faktor vier verkleinert wurde, hat es häufig mit einer Variante von Tensornetzwerken zu tun — auch wenn dieser Name nicht immer explizit fällt.