DCN v2
DCN v2 ist ein Modellaufbau, mit dem Empfehlungssysteme vorhersagen, ob ein Nutzer auf etwas klickt oder etwas kauft. Seine Besonderheit ist ein Bauteil, das Merkmale wie Alter, Uhrzeit und Produktkategorie systematisch miteinander kombiniert, statt sie nur einzeln zu betrachten.
Wenn ein Online-Shop dir ein Produkt vorschlägt, steckt dahinter eine Vorhersage. Ein Rechenverfahren schätzt, wie wahrscheinlich du auf diesen Vorschlag klickst. Dafür wertet es viele Einzelangaben aus: dein Gerät, die Uhrzeit, das Land, die Produktkategorie, deine letzten Klicks. Das Entscheidende liegt aber oft nicht in einer einzelnen Angabe, sondern in ihrer Kombination. « Abends » und « Smartphone » und « Sportartikel » zusammen sagen mehr aus als jede Angabe für sich. DCN v2, ausgeschrieben Deep & Cross Network Version 2, ist ein 2020 bei Google entwickelter Modellaufbau, der genau solche Kombinationen gezielt bildet, statt zu hoffen, dass das Modell sie von allein findet.
Warum Google den Vorgänger neu bauen musste
Empfehlungen sind für viele Unternehmen das Geschäft. Bei einem Werbeanbieter entscheidet die Klickvorhersage direkt über den Umsatz. Schon ein Prozent bessere Treffgenauigkeit kann Millionen bedeuten. Deshalb wird an diesen Modellen ähnlich intensiv geforscht wie an Sprachmodellen, nur mit weniger öffentlicher Aufmerksamkeit.
Die Vorgängerversion DCN aus dem Jahr 2017 hatte ein bekanntes Problem. Ihr Kombinationsbauteil war mathematisch sehr sparsam gebaut und konnte deshalb nur eingeschränkte Zusammenhänge abbilden. In der Praxis schlugen einfachere Konkurrenzmodelle sie regelmäßig. DCN v2 ersetzt dieses Bauteil durch eine ausdrucksstärkere Variante und schnitt in Googles Tests sowohl auf öffentlichen Datensätzen als auch im echten Betrieb besser ab.
Wichtig ist dabei ein zweiter Punkt: Rechenzeit. Solche Modelle müssen Millionen Vorhersagen pro Sekunde liefern, oft in wenigen Millisekunden. Ein Modell, das nur genauer, aber deutlich langsamer ist, wäre nutzlos. DCN v2 wurde von Anfang an so entworfen, dass es in diesen engen Zeitrahmen passt.
Kreuzschicht und tiefes Netz im Zusammenspiel
Zuerst werden alle Angaben in Zahlenlisten übersetzt, sogenannte Einbettungen. Aus « Produktkategorie: Laufschuhe » wird also eine Reihe von Zahlen, mit der ein Computer rechnen kann. Diese Zahlenlisten werden aneinandergehängt und bilden die Eingabe für den eigentlichen Modellkern.
Der Kern besteht aus zwei Teilen. Der erste ist das Kreuznetz: Es multipliziert die Eingabe schrittweise mit sich selbst. Nach einer Schicht entstehen Paare von Merkmalen, nach zwei Schichten Dreierkombinationen und so weiter. Der Grad der Kombination wächst also kontrolliert mit der Anzahl der Schichten. Der zweite Teil ist ein gewöhnliches tiefes neuronales Netz, das freiere, schwerer beschreibbare Muster lernt. Beide Teile lassen sich nebeneinander oder hintereinander schalten.
Der eigentliche Trick von Version 2 steckt in einer Matrix, also einer Zahlentabelle, die in jeder Kreuzschicht steht. Der Vorgänger benutzte dort nur eine einzelne Zahlenreihe und war dadurch stark eingeschränkt. Weil solche Tabellen groß und teuer werden, zerlegt DCN v2 sie in zwei kleinere Tabellen. Diese Zerlegung senkt Speicherbedarf und Rechenzeit erheblich, ohne die Genauigkeit spürbar zu kosten. Ein häufiger Irrtum ist übrigens, DCN v2 mit dem gleichnamigen Bauteil aus der Bildverarbeitung zu verwechseln: Deformable Convolution v2 kürzt man ebenfalls DCNv2 ab, hat aber nichts damit zu tun.
Unsichtbar im Feed, sichtbar in Fachdiskussionen
Als Nutzer siehst du DCN v2 nie direkt. Du bemerkst es höchstens daran, dass Vorschläge in einem Shop, einer Video-App oder einem Nachrichtenfeed erstaunlich gut passen. Google setzt den Aufbau nach eigenen Angaben in mehreren Produkten ein, und über die Bibliothek TensorFlow Recommenders steht er frei zur Verfügung.
In Stellenanzeigen und Fachartikeln taucht der Begriff dort auf, wo es um Klickvorhersage oder Rangfolgen geht. Er steht dann meist neben verwandten Namen wie Wide & Deep, DeepFM oder DLRM. Alle lösen dieselbe Aufgabe mit leicht anderen Bauteilen. Wer solche Meldungen liest, sollte wissen: Es geht hier nicht um Chatbots, sondern um die deutlich ältere und wirtschaftlich sehr bedeutsame Disziplin der Empfehlungssysteme.