Inférence & serving LLM — Synthszr Charts

Cette catégorie regroupe les frameworks et moteurs utilisés pour exécuter de grands modèles de langage en production – des serveurs d'inférence aux couches de batching et d'ordonnancement, en passant par les optimisations de latence et de débit. On y trouve des projets comme vLLM, SGLang et TGI, utilisés pour servir des modèles derrière des API ou dans des centres de données auto-hébergés. Ils sont utilisés par des équipes qui doivent faire tourner des modèles à grande échelle et à coût maîtrisé, et non plus seulement les entraîner.

Les Synthszr Charts mesurent pour cette catégorie le momentum à partir des mentions dans des milliers de sources d'actualités et de newsletters, pondéré par la récence et granulaire par version, de sorte que les nouvelles versions comme EAGLE 3.1 sont suivies individuellement. Le classement est mis à jour chaque jour et montre quelles solutions de serving gagnent ou perdent en visibilité.