

LLM-Inferenz & Serving — Synthszr Charts
Disse Kategorie ümfaat Frameworks un Engines, mit de grote Spraakmodelle in Produktion loopt warrt – vun Inferenz-Servers över Batching- un Scheduling-Lagen bit hen to Optimeren vun Latenz un Dörsatz. Dorto höört Projekte as vLLM, SGLang un TGI, de bruukt warrt, üm Modelle achter APIs oder in egen Datenzentren praatstellt to kriegen. Bruukt warrt se vun Teams, de Modelle skaleerbor un kostengünstig bedrieven mööt, nich blots trainen.
De Synthszr Charts meet för disse Kategorie dat Momentum ut Nennen in Dusende vun News- un Newsletter-Bronnen, recency-wicht un na Version fien opdeelt, so dat t.B. nee Releases as EAGLE 3.1 eenzeln erfaat warrt. Dat Ranking warrt jeden Dag nee maakt un wiest so, welk Serving-Lösungen jüst mehr oder weniger Andacht kriegt.
- 1DeepInferdeepseek · 27× · 01. Nov. 2026100
- 2vLLMvllm · 90× · 28. Okt. 202673
- 3Clef-flashcloudflare · 17× · 13. Okt. 202658
- 4SGLanglmsys · 22× · 15. Nov. 202646
- 5MACaQhuawei · 2× · 13. Nov. 202645
- 6Workers AIcloudflare · 6× · 06. Nov. 202644
- 7DeepInferunknown · 3× · 23. Okt. 202628
- 8Modalmodal · 3× · 23. Okt. 202619
- 9Mango Inferencemangoboost · 2× · 19. Okt. 202618
- 10Computercloudflare · 4× · 27. Okt. 202615
- 11TabPFN-3.5prior-labs · 5× · 30. Sept. 202613
- 12Mercury 2.5inception · 2× · 21. Okt. 202612
- 13NeMo-DCRnvidia · 2× · 09. Okt. 202612
- 14Ultrafast modeopenai · 2× · 06. Okt. 202610
- 15vLLM-Omnivllm · 4× · 09. Okt. 20268
- 16Jevanthropic · 2× · 06. Okt. 20268
- 17SubQsubquadratic · 22× · 22. Sept. 20268
- 18Crusoe Managed Inferencecrusoe · 4× · 21. Sept. 20265
- 19TensorRT-LLMnvidia · 6× · 22. Sept. 20265
- 20SIE (Superlinked Inference Engine)superlinked · 2× · 10. Sept. 20262
- 21FastH3fastvideo · 2× · 03. Sept. 20262
- 22Lightningnvidia · 4× · 13. Aug. 20262
- 23Mojomodular · 2× · 24. Aug. 20261
- 24Tritonopenai · 2× · 26. Aug. 20261
- 25TabFMgoogle · 9× · 27. Juli 20261
- 26Mooncakemoonshot · 2× · 19. Juli 20260
- 27ModelOptnvidia · 2× · 15. Juli 20260
- 28Yansubentoml · 3× · 01. Juni 20260
- 29TGIhugging-face · 2× · 19. Juni 20260
- 30CoreWeave Sandboxescoreweave · 3× · 24. Mai 20260
- 31Text Generation Inferencehugging-face · 2× · 28. Mai 20260
- 32Groq Llamagroq · 2× · 17. Mai 20260
- 33vLLM 0.20.0vllm · 4× · 29. Apr. 20260
- 34TokenSpeedlightseeking · 2× · 12. Mai 20260
- 35Docker Model Runnerdocker · 2× · 08. Mai 20260
- 36HybridClawhybridai · 2× · 29. Apr. 20260
- 37NEAR AI Cloudnear-ai · 7× · 03. Apr. 20260
- 38IronClawnear-ai · 7× · 03. Apr. 20260
- 39ClawProtencent · 2× · 04. Mai 20260
- 40HDNA Workbenchunknown · 2× · 15. Apr. 20260