Mixture of Experts
Mixture of Experts ist ein Bauprinzip für KI-Modelle, bei dem pro Anfrage nur ein Bruchteil der vorhandenen Bausteine rechnet. Das macht sehr große Modelle im Betrieb bezahlbar.
Stell dir eine Redaktion vor, in der zu jeder Frage alle hundert Mitarbeiter gleichzeitig recherchieren. Das wäre gründlich, aber absurd teuer. Sinnvoller ist es, pro Frage die zwei Leute zu fragen, die sich damit auskennen. Genau das macht ein Mixture-of-Experts-Modell.
Wie die Auswahl funktioniert
Ein kleines Zusatznetz, der Router, entscheidet für jedes Wort, welche Experten zuständig sind. Dieser Router wird mittrainiert, niemand teilt die Fachgebiete von Hand ein. Was ein Experte am Ende können wird, ergibt sich aus dem Training.
Der Haken
Das ganze Modell muss trotzdem im Speicher liegen, auch die Experten, die gerade nichts tun. Man spart Rechenzeit, nicht Platz. Und wenn der Router schlecht verteilt, sind manche Experten überlastet und andere arbeitslos.