Nemotron

Nemotron ist der Name einer Reihe von Computerprogrammen, die Texte verstehen und schreiben können. Solche Programme nennt man Sprachmodelle. Sie funktionieren ähnlich wie ChatGPT: Man stellt eine Frage, das Programm antwortet in ganzen Sätzen. Entwickelt werden sie von NVIDIA, einer Firma aus Kalifornien, die vor allem Grafik- und Rechenchips herstellt. Der Unterschied zu vielen bekannten Konkurrenten liegt in der Veröffentlichung: NVIDIA gibt die fertigen Modelle samt ihrer internen Zahlenwerte frei zum Herunterladen. Wer genug Rechenleistung hat, kann Nemotron also auf eigenen Computern laufen lassen, statt einen fremden Dienst im Internet zu benutzen.

Warum ein Chiphersteller eigene Modelle baut

NVIDIA verdient sein Geld nicht mit Sprachmodellen, sondern mit den Chips, auf denen sie rechnen. Das erklärt die ungewöhnliche Strategie. Je mehr Firmen eigene KI-Systeme bauen, desto mehr NVIDIA-Hardware wird gekauft. Kostenlose, gut dokumentierte Modelle sind aus dieser Sicht Werbung für das eigentliche Produkt.

Für Unternehmen ist das aus einem anderen Grund interessant. Viele dürfen ihre Daten nicht an externe Anbieter schicken, etwa Krankenhäuser oder Banken. Ein Modell, das im eigenen Rechenzentrum läuft, löst dieses Problem. Man ist außerdem nicht davon abhängig, dass ein Anbieter seine Preise stabil hält oder ein Modell weiterbetreibt.

Ein zweiter Zweck ist weniger offensichtlich. Nemotron-Modelle werden ausdrücklich dafür angeboten, Trainingsmaterial für andere KI-Systeme zu erzeugen. Solche künstlich erzeugten Beispieltexte heißen synthetische Daten. Wer ein eigenes kleines Modell trainieren will, aber zu wenig echte Beispiele hat, lässt sich Millionen davon von Nemotron schreiben.

Vom Basismodell zum antwortfreudigen Assistenten

Im Kern ist Nemotron ein sogenanntes Transformer-Modell — die Bauweise, die praktisch allen heutigen Sprachmodellen zugrunde liegt. Zuerst liest das Modell riesige Mengen Text und lernt dabei nur eine Aufgabe: das jeweils nächste Wortstück vorherzusagen. Danach folgt ein zweiter Schritt, bei dem Menschen bewerten, welche Antworten hilfreich und welche unbrauchbar sind. Erst durch diesen Feinschliff wird aus einem Textvorhersager ein brauchbarer Assistent.

Nemotron erscheint in mehreren Größen, meist gemessen in Milliarden Parametern. Parameter sind die einstellbaren Zahlen im Inneren des Modells, vergleichbar mit Stellschrauben. Kleine Varianten mit wenigen Milliarden Parametern laufen auf einer einzelnen Grafikkarte. Große Varianten brauchen ganze Serverschränke, antworten dafür aber genauer.

Ein Teil der Nemotron-Modelle baut nicht auf Null auf, sondern auf offenen Modellen anderer Firmen, etwa Metas Llama. NVIDIA trainiert diese nach und optimiert sie für die eigenen Chips. Deshalb tauchen Namen wie Llama Nemotron auf. Neuere Versionen können außerdem in mehreren Schritten « nachdenken », bevor sie antworten, was bei Mathematik und Programmieraufgaben hilft.

Wo Nemotron in der Praxis auftaucht

Als normaler Nutzer wirst du Nemotron selten bewusst begegnen. Die Modelle stecken meist unsichtbar in Produkten anderer Firmen: in Kundenservice-Systemen, in Suchfunktionen für Firmendokumente oder in Software-Assistenten für Programmierer. Der Endkunde sieht dort den Namen des Anbieters, nicht den des Modells.

In Wirtschaftsnachrichten taucht Nemotron dagegen regelmäßig auf. Meist geht es dann um NVIDIAs Rolle im KI-Markt: Die Firma liefert nicht mehr nur Chips, sondern auch Software und Modelle. Analysten deuten das als Versuch, sich unentbehrlich zu machen — nicht nur als Zulieferer, sondern als Plattform.

Ein häufiger Irrtum ist, Nemotron sei ein fertiger Chatbot wie ChatGPT. Das trifft nicht zu. Es ist ein Bauteil, das Entwickler herunterladen, anpassen und in eigene Anwendungen einbauen. Ausprobieren kann man die Modelle trotzdem: Sie liegen auf Plattformen wie Hugging Face, einer Art öffentlichem Lager für KI-Modelle, und lassen sich dort direkt im Browser testen.