

LLM inference a serving — Synthszr Charts
Tato kategorie zahrnuje frameworky a enginy používané k provozu velkých jazykových modelů v produkci – od inferenčních serverů přes vrstvy pro batching a plánování až po optimalizace latence a propustnosti. Patří sem projekty jako vLLM, SGLang a TGI, které se používají k nasazení modelů za API nebo ve vlastních datacentrech. Využívají je týmy, které potřebují modely provozovat škálovatelně a nákladově efektivně, nejen je trénovat.
Synthszr Charts měří pro tuto kategorii momentum ze zmínek napříč tisíci zdroji zpráv a newsletterů, s váhou podle aktuálnosti a granularitou podle verzí, takže nová vydání jako EAGLE 3.1 jsou sledována samostatně. Žebříček se aktualizuje denně a ukazuje, která serving řešení právě získávají nebo ztrácejí pozornost.
- 1DeepInferdeepseek · 27× · 01. 11. 2026100
- 2vLLMvllm · 90× · 28. 10. 202673
- 3Clef-flashcloudflare · 17× · 13. 10. 202658
- 4SGLanglmsys · 22× · 15. 11. 202646
- 5MACaQhuawei · 2× · 13. 11. 202645
- 6Workers AIcloudflare · 6× · 06. 11. 202644
- 7DeepInferunknown · 3× · 23. 10. 202628
- 8Modalmodal · 3× · 23. 10. 202619
- 9Mango Inferencemangoboost · 2× · 19. 10. 202618
- 10Computercloudflare · 4× · 27. 10. 202615
- 11TabPFN-3.5prior-labs · 5× · 30. 9. 202613
- 12Mercury 2.5inception · 2× · 21. 10. 202612
- 13NeMo-DCRnvidia · 2× · 09. 10. 202612
- 14Ultrafast modeopenai · 2× · 06. 10. 202610
- 15vLLM-Omnivllm · 4× · 09. 10. 20268
- 16Jevanthropic · 2× · 06. 10. 20268
- 17SubQsubquadratic · 22× · 22. 9. 20268
- 18Crusoe Managed Inferencecrusoe · 4× · 21. 9. 20265
- 19TensorRT-LLMnvidia · 6× · 22. 9. 20265
- 20SIE (Superlinked Inference Engine)superlinked · 2× · 10. 9. 20262
- 21FastH3fastvideo · 2× · 03. 9. 20262
- 22Lightningnvidia · 4× · 13. 8. 20262
- 23Mojomodular · 2× · 24. 8. 20261
- 24Tritonopenai · 2× · 26. 8. 20261
- 25TabFMgoogle · 9× · 27. 7. 20261
- 26Mooncakemoonshot · 2× · 19. 7. 20260
- 27ModelOptnvidia · 2× · 15. 7. 20260
- 28Yansubentoml · 3× · 01. 6. 20260
- 29TGIhugging-face · 2× · 19. 6. 20260
- 30CoreWeave Sandboxescoreweave · 3× · 24. 5. 20260
- 31Text Generation Inferencehugging-face · 2× · 28. 5. 20260
- 32Groq Llamagroq · 2× · 17. 5. 20260
- 33vLLM 0.20.0vllm · 4× · 29. 4. 20260
- 34TokenSpeedlightseeking · 2× · 12. 5. 20260
- 35Docker Model Runnerdocker · 2× · 08. 5. 20260
- 36HybridClawhybridai · 2× · 29. 4. 20260
- 37NEAR AI Cloudnear-ai · 7× · 03. 4. 20260
- 38IronClawnear-ai · 7× · 03. 4. 20260
- 39ClawProtencent · 2× · 04. 5. 20260
- 40HDNA Workbenchunknown · 2× · 15. 4. 20260