Sparse Matrix

Sparse Matrix

Eine Sparse Matrix ist eine Tabelle aus Zahlen, in der die große Mehrheit der Einträge null ist. KI-Systeme nutzen diese Struktur, um Speicher und Rechenzeit zu sparen, indem nur die wenigen Nicht-null-Werte gespeichert werden.

Eine Matrix ist eine rechteckige Tabelle aus Zahlen — so wie ein Tabellenblatt in Excel. Mathematiker und Informatiker rechnen ständig mit solchen Tabellen, zum Beispiel um Zusammenhänge zwischen Dingen darzustellen. Eine Sparse Matrix — auf Deutsch etwa « dünnbesetzte Matrix » — ist eine solche Tabelle, bei der fast alle Felder den Wert null enthalten. Nur ein kleiner Bruchteil der Einträge ist von null verschieden. Das klingt zunächst wie ein Sonderfall, ist in der Praxis aber der Normalfall: Die meisten großen Datentabellen in der Informatik sind dünn besetzt.

Warum Nullen teuer werden

Ein naiver Computer speichert jede Zahl in einer Tabelle einzeln ab — egal ob sie null ist oder nicht. Bei einer Matrix mit einer Million Zeilen und einer Million Spalten ergibt das eine Billion Einträge. Selbst wenn 99,9 Prozent davon null sind, belegt die Tabelle enorm viel Speicher und braucht für jede Rechenoperation enorm viel Zeit.

Das ist kein akademisches Problem. Empfehlungssysteme — also die Algorithmen, die bei Netflix oder Spotify vorschlagen, was man als nächstes schauen oder hören soll — arbeiten mit Tabellen, in denen Nutzer die Zeilen und Filme oder Songs die Spalten bilden. Die meisten Nutzer haben nur einen winzigen Bruchteil aller Filme bewertet. Die Tabelle ist also zu über 99 Prozent leer. Wer diese Nullen trotzdem speichert, verschwendet Ressourcen.

Wie man nur das Wesentliche speichert

Der Trick bei einer Sparse Matrix ist, die Nullen gar nicht erst zu speichern. Stattdessen legt man eine kompakte Liste an: Für jeden Nicht-null-Wert notiert man nur drei Dinge — die Zeile, die Spalte und den eigentlichen Wert. Eine Tabelle mit einer Milliarde Feldern, aber nur zehntausend Einträgen ungleich null, belegt dann nur Platz für zehntausend Datensätze.

Es gibt verschiedene technische Formate für diese kompakte Darstellung, zum Beispiel das « Compressed Sparse Row »-Format (CSR). Dabei sortiert man die Nicht-null-Werte nach ihrer Zeile und speichert zusätzlich, wo jede neue Zeile in der Liste beginnt. Das klingt aufwendig, ermöglicht aber extrem schnelle Rechenoperationen, weil der Computer zusammenhängende Daten im Speicher besonders effizient verarbeiten kann.

Wichtig ist dabei: Die mathematischen Ergebnisse sind identisch mit denen einer vollen Matrix. Es handelt sich nicht um eine Näherung oder Vereinfachung. Man speichert und berechnet dieselben Zahlen — nur cleverer.

Sparse Matrices in KI-Modellen und Produkten

In der KI begegnet man Sparse Matrices an vielen Stellen. Sprachmodelle wie ChatGPT arbeiten intern mit einer Darstellung von Wörtern als Zahlenreihen — sogenannten Vektoren. Diese Vektoren sind oft dünn besetzt. Auch die Verbindungen in einem neuronalen Netz, also dem Rechengeflecht, das das KI-Modell bildet, können absichtlich auf wenige aktive Verbindungen reduziert werden. Diese Technik heißt « Pruning » (Beschneiden) und erzeugt bewusst eine Sparse-Struktur, um das Modell schneller und sparsamer zu machen.

In Suchmaschinen wie Google steckt ebenfalls eine klassische Sparse-Matrix: die sogenannte Term-Dokument-Matrix, bei der jede Zeile ein Wort und jede Spalte ein Dokument im Internet darstellt. Da kein Dokument alle Wörter enthält, sind fast alle Felder null. Ohne Sparse-Speicherung wäre ein Index des gesamten Internets schlicht nicht in einem Rechenzentrum unterzubringen.

Spezialisierte Bibliotheken wie SciPy in Python oder eigene Hardware-Einheiten in modernen KI-Chips beschleunigen Rechnungen mit Sparse Matrices gezielt. Die Unterscheidung zwischen einer vollen (« dense ») und einer dünn besetzten Matrix gehört deshalb zu den ersten Entscheidungen, die Entwickler treffen, wenn sie ein KI-System für den produktiven Einsatz optimieren.

Aktuelle News

Subscribe free. Unsubscribe the second it sucks.

High-signal news across AI, business, UX, and tech. Every morning.