Kollaboratives Training
Beim kollaborativen Training arbeiten mehrere Beteiligte gemeinsam an einem KI-Modell, obwohl jeder seine eigenen Daten oder Rechner behält. Statt alles an einer Stelle zu sammeln, werden nur Zwischenergebnisse ausgetauscht und zu einem gemeinsamen Modell zusammengeführt.
Ein Computerprogramm, das aus Beispielen lernt, nennt man ein Modell. Damit es etwas lernt, braucht es sehr viele Beispiele und sehr viel Rechenleistung. Normalerweise legt man beides an einem Ort zusammen: alle Daten auf einen großen Rechnerverbund, und dort wird gerechnet. Beim kollaborativen Training macht man das bewusst anders. Mehrere Krankenhäuser, Firmen, Universitäten oder auch Privatleute mit ihren eigenen Rechnern arbeiten gemeinsam an einem Modell, ohne ihre Daten oder Geräte herzugeben. Jeder rechnet bei sich, und ausgetauscht werden nur die Lernergebnisse.
Warum Daten oft nicht zusammengelegt werden dürfen
Viele der wertvollsten Datensätze darf man gar nicht verschicken. Patientenakten eines Krankenhauses fallen unter den Datenschutz. Ein Autobauer gibt seine Testfahrtdaten nicht an einen Konkurrenten. Eine Bank darf Kontobewegungen nicht auf fremde Server kopieren. Ohne kollaboratives Training würde dieses Wissen ungenutzt liegen bleiben, weil kein einzelner Beteiligter genug Beispiele für ein gutes Modell hat.
Der zweite Grund ist die Rechenleistung. Große Modelle zu trainieren kostet zweistellige Millionenbeträge und erfordert Tausende spezialisierter Grafikchips. Diese Chips besitzen weltweit nur eine Handvoll Konzerne. Wenn viele kleine Beteiligte ihre Rechner zusammenschalten, entsteht daraus eine Art gemeinsamer Supercomputer. Genau das versuchen mehrere Open-Source-Projekte, um nicht von den großen Anbietern abhängig zu sein.
Ein dritter Punkt wird oft übersehen: Vielfalt. Ein Modell, das nur mit Daten aus einer Klinik lernt, kennt nur deren Patienten und deren Geräte. Zwanzig Kliniken aus verschiedenen Ländern liefern zusammen ein deutlich robusteres Modell. Kollaboratives Training ist deshalb nicht nur ein Kompromiss, sondern führt oft zu besseren Ergebnissen.
Der Kreislauf aus Rechnen und Zusammenführen
Der Ablauf ist ein sich wiederholender Kreislauf. Ein Server verteilt zunächst den aktuellen Stand des Modells an alle Teilnehmer. Jeder Teilnehmer trainiert diese Kopie mit seinen eigenen, lokalen Daten weiter. Dabei verändern sich die internen Zahlenwerte des Modells, die man Parameter nennt. Zurückgeschickt wird nur diese Veränderung, nicht ein einziges Datenbeispiel.
Der Server mittelt anschließend alle eingegangenen Veränderungen zu einem neuen gemeinsamen Modell. Dieses geht wieder an alle zurück, und die nächste Runde beginnt. Man kann es sich wie eine Lerngruppe vorstellen, in der jeder allein ein anderes Kapitel durcharbeitet. Danach trifft man sich und gleicht die Notizen ab. Niemand muss sein Buch aus der Hand geben.
Ganz sicher ist das Verfahren allerdings nicht automatisch. Aus den zurückgeschickten Veränderungen lassen sich unter Umständen Rückschlüsse auf die Originaldaten ziehen. Deshalb kombiniert man kollaboratives Training häufig mit Zusatzverfahren, die gezielt Rauschen in die Werte mischen. Ein zweites Problem ist die Verbindung: Wenn Teilnehmer über normale Internetleitungen statt über schnelle Rechenzentrumsnetze kommunizieren, wird das Verschicken der Parameter schnell zum Flaschenhals.
Von der Handytastatur bis zur Forschungsallianz
Das bekannteste Beispiel steckt in fast jedem Smartphone. Die Wortvorschläge der Tastatur lernen mit, welche Formulierungen typisch sind. Ein Teil dieses Lernens findet direkt auf dem Gerät statt, damit private Nachrichten das Handy nicht verlassen. Google hat dieses Verfahren unter dem Namen Federated Learning bekannt gemacht, was auf Deutsch föderiertes Lernen heißt und die verbreitetste Spielart des kollaborativen Trainings ist.
In der Medizin schließen sich Kliniken zu Forschungsverbünden zusammen, um etwa Tumorerkennung auf Röntgenbildern zu trainieren. In den Nachrichten taucht der Begriff außerdem auf, wenn Open-Source-Projekte über das Internet verteilt Sprachmodelle trainieren. Solche Projekte verstehen sich als Gegengewicht zu geschlossenen Modellen einzelner Konzerne. Wer den Begriff in Meldungen liest, sollte prüfen, ob wirklich Daten getrennt bleiben oder nur Rechenlast verteilt wird. Beides wird gelegentlich unter demselben Etikett verkauft.