GIFT-Eval

Viele Daten entstehen im Takt der Zeit: der Stromverbrauch einer Stadt pro Stunde, der Umsatz eines Ladens pro Tag, die Zahl der Autos auf einer Straße pro Minute. Solche Messreihen nennt man Zeitreihen. Computerprogramme versuchen, aus der Vergangenheit einer solchen Reihe die nächsten Werte zu schätzen. GIFT-Eval ist ein Test, der genau diese Programme miteinander vergleicht. Er stellt allen dieselben Aufgaben aus rund zwei Dutzend Datensammlungen und misst, wer am wenigsten danebenliegt. Entwickelt wurde er beim Software-Unternehmen Salesforce, die Ergebnisse stehen in einer frei einsehbaren Rangliste im Internet.

Warum Prognose-Software einen gemeinsamen Prüfstand braucht

Vor GIFT-Eval testete fast jedes Forschungsteam seine Methode an eigenen Daten. Das führte zu einem bekannten Problem: Jeder suchte sich die Beispiele aus, bei denen die eigene Idee gut aussah. Vergleiche zwischen zwei Veröffentlichungen waren dadurch praktisch wertlos. Ein gemeinsamer Prüfstand mit festen Regeln beendet dieses Durcheinander.

Dazu kommt ein zweites Problem, das erst in den letzten Jahren wichtig wurde. Es gibt inzwischen sogenannte Foundation Models für Zeitreihen. Das sind große Modelle, die einmal auf riesigen Datenmengen trainiert wurden und danach beliebige neue Reihen vorhersagen sollen, ohne noch einmal zu lernen. Ob das wirklich funktioniert, kann man nur prüfen, wenn die Testdaten dem Modell vorher unbekannt waren. GIFT-Eval achtet ausdrücklich darauf, diese Trennung sauber zu halten.

Praktisch relevant ist das, weil an solchen Prognosen Geld hängt. Netzbetreiber planen damit Kraftwerkseinsätze, Händler ihre Lagerbestände, Fluglinien ihre Crews. Ein Prozentpunkt weniger Fehler kann dort Millionen bedeuten. Wer einkauft, will nicht dem Werbeversprechen eines Anbieters glauben müssen.

Wie der Test aufgebaut ist und gemessen wird

Die Grundlage sind rund 24 Datensammlungen aus sieben Bereichen, darunter Energie, Verkehr, Wetter, Verkauf und Finanzen. Daraus entstehen über 90 einzelne Testfälle mit insgesamt mehreren hundert Millionen Messpunkten. Die Fälle unterscheiden sich absichtlich stark: Manche Reihen werden im Sekundentakt gemessen, andere nur einmal im Jahr. Auch die Vorhersagelänge wechselt, mal geht es um wenige Schritte, mal um sehr weite Horizonte.

Bewertet wird mit Fehlermaßen, die den Abstand zwischen Vorhersage und tatsächlich eingetretenem Wert messen. Ein zweites Maß prüft, wie gut ein Modell seine eigene Unsicherheit einschätzt. Denn eine gute Prognose sagt nicht nur eine Zahl, sondern auch, wie sicher sie ist. Damit sich Datensätze mit ganz verschiedenen Größenordnungen überhaupt zusammenrechnen lassen, werden die Fehler auf eine sehr einfache Vergleichsmethode bezogen. Diese Referenz sagt im Kern voraus, dass sich der letzte Zeitabschnitt wiederholt.

Zusätzlich gibt es einen zweiten, deutlich größeren Datenbestand nur zum Trainieren. Wer ein eigenes Modell entwickelt, soll darauf lernen und nur auf den Testdaten geprüft werden. Diese Trennung ist der Kern der Sache. Ohne sie wäre nicht unterscheidbar, ob ein Modell wirklich Muster versteht oder die Lösung schlicht auswendig gelernt hat.

GIFT-Eval in Fachnews und Produktankündigungen

Am häufigsten begegnet der Begriff in Mitteilungen von Technologiefirmen. Wenn Google, Amazon, Salesforce oder ein Start-up ein neues Zeitreihenmodell vorstellt, steht die Platzierung in der GIFT-Eval-Rangliste oft schon in der Überschrift. Formulierungen wie „Platz eins auf GIFT-Eval“ sind zu einem Verkaufsargument geworden. Die Rangliste selbst wird auf der Plattform Hugging Face gepflegt und ist für jeden einsehbar.

In Unternehmen taucht der Test auf, wenn eine Software für Absatz- oder Bedarfsplanung ausgewählt wird. Er liefert dort einen ersten, neutralen Anhaltspunkt. Verlassen sollte man sich darauf aber nicht allein. Ein Modell, das im Durchschnitt über 90 Testfälle vorne liegt, kann bei den speziellen Daten einer bestimmten Firma trotzdem schwach sein.

Ein verbreiteter Irrtum ist außerdem, GIFT-Eval sage etwas über Sprachmodelle wie ChatGPT aus. Das tut er nicht. Hier geht es ausschließlich um Zahlenreihen über die Zeit, nicht um Text. Und wie bei jeder öffentlichen Rangliste gilt: Je bekannter sie wird, desto stärker optimieren Entwickler gezielt auf sie hin. Genau das schwächt langfristig ihre Aussagekraft.