PyTorch

Wer ein KI-Modell bauen will, schreibt dafür ein Programm. Niemand beginnt dabei bei null. Stattdessen greift man auf eine Sammlung fertiger Bausteine zurück, die andere Leute vorbereitet haben. Eine solche Sammlung nennt man Bibliothek, und PyTorch ist die bekannteste davon. Sie liefert die Rechenoperationen, aus denen ein lernendes Programm zusammengesetzt wird, und übernimmt die aufwendige Mathematik dahinter. Entwickelt wurde sie ab 2016 bei Facebook, heute betreut sie eine unabhängige Stiftung, und jeder darf sie kostenlos benutzen.

Warum fast jedes neue Modell damit gebaut wird

PyTorch hat sich in der Forschung als Standard durchgesetzt. Wenn eine Universität ein neues Verfahren veröffentlicht, liegt der Beispielcode meist in PyTorch vor. Dadurch entsteht ein Kreislauf: Weil alle es nutzen, lohnt es sich für Neueinsteiger, es ebenfalls zu lernen. Schätzungen zufolge entstehen weit über 80 Prozent der wissenschaftlichen KI-Arbeiten mit diesem Werkzeug.

Der Hauptkonkurrent heißt TensorFlow und kommt von Google. Er war jahrelang führend, galt aber als sperrig und schwer zu durchschauen. PyTorch wirkte dagegen wie normales Programmieren und war leichter zu debuggen, also nach Fehlern zu durchsuchen. Diesen Vorsprung hat TensorFlow nie wieder aufgeholt.

Wirtschaftlich ist das relevant, weil PyTorch Nvidia-Grafikkarten besonders gut unterstützt. Wer ein Modell in PyTorch schreibt, kauft mit hoher Wahrscheinlichkeit auch Nvidia-Hardware. Konkurrenten wie AMD müssen deshalb viel Arbeit investieren, damit PyTorch auch auf ihren Chips sauber läuft.

Tensoren, Gradienten und der Bauplan im Hintergrund

Die Grundeinheit in PyTorch heißt Tensor. Das ist einfach eine Tabelle aus Zahlen, die auch mehr als zwei Dimensionen haben darf. Ein Foto wird zum Beispiel zu einem Tensor aus Helligkeitswerten, ein Satz zu einem Tensor aus Zahlencodes. Alles, was ein KI-Modell tut, ist im Kern das Rechnen mit solchen Zahlentabellen.

Der zweite Kernbaustein ist das automatische Ableiten. Beim Training muss ein Modell wissen, in welche Richtung es seine internen Zahlenwerte verschieben soll, um weniger Fehler zu machen. Diese Richtung heißt Gradient und wird über eine bestimmte mathematische Rechnung bestimmt. PyTorch merkt sich jede Rechenoperation und leitet den Gradienten selbstständig ab. Man beschreibt also nur den Weg vorwärts, den Rückweg erledigt die Bibliothek.

Besonders praktisch ist, dass PyTorch den Rechenweg erst während der Ausführung aufbaut. Man kann also mitten im Programm Schleifen oder Bedingungen einbauen und zwischendurch Zwischenergebnisse anschauen. Frühere Werkzeuge verlangten, dass der komplette Bauplan vorher feststeht. Genau diese Flexibilität war der Grund für den Erfolg von PyTorch.

Von der Uni-Übung bis zum Rechenzentrum

Direkt sichtbar ist PyTorch für normale Nutzer nie. Es steckt aber unter der Oberfläche vieler bekannter Produkte. Die Sprachmodelle von Meta, große Bildgeneratoren und zahlreiche Modelle auf der Plattform Hugging Face sind damit gebaut. Wer ein Modell von dort herunterlädt, bekommt in der Regel eine PyTorch-Datei.

In Nachrichten taucht der Name vor allem bei Streitfragen um Hardware und Abhängigkeiten auf. Wenn ein Chiphersteller meldet, dass sein neuer Beschleuniger PyTorch nativ unterstützt, ist das eine wirtschaftliche Nachricht, keine technische Randnotiz. Ohne diese Unterstützung ist ein Chip für die meisten Entwickler praktisch wertlos.

Ein häufiger Irrtum ist, PyTorch sei selbst eine KI. Das stimmt nicht. Es ist reines Werkzeug, vergleichbar mit einer Werkbank samt Maschinen. Was darauf entsteht, hängt vollständig von den Daten und dem Entwurf des Entwicklers ab. Einsteiger können PyTorch mit Grundkenntnissen in der Programmiersprache Python ausprobieren, oft schon im Browser ohne eigene Grafikkarte.