LLM inference a serving — Synthszr Charts

Tato kategorie zahrnuje frameworky a enginy používané k provozu velkých jazykových modelů v produkci – od inferenčních serverů přes vrstvy pro batching a plánování až po optimalizace latence a propustnosti. Patří sem projekty jako vLLM, SGLang a TGI, které se používají k nasazení modelů za API nebo ve vlastních datacentrech. Využívají je týmy, které potřebují modely provozovat škálovatelně a nákladově efektivně, nejen je trénovat.

Synthszr Charts měří pro tuto kategorii momentum ze zmínek napříč tisíci zdroji zpráv a newsletterů, s váhou podle aktuálnosti a granularitou podle verzí, takže nová vydání jako EAGLE 3.1 jsou sledována samostatně. Žebříček se aktualizuje denně a ukazuje, která serving řešení právě získávají nebo ztrácejí pozornost.