

LLM-Inferenz & Serving — Synthszr Charts
Diese Kategorie umfasst Frameworks und Engines, mit denen große Sprachmodelle in Produktion ausgeführt werden – von Inferenz-Servern über Batching- und Scheduling-Layer bis zu Optimierungen für Latenz und Durchsatz. Dazu zählen Projekte wie vLLM, SGLang und TGI, die für das Bereitstellen von Modellen hinter APIs oder in eigenen Rechenzentren eingesetzt werden. Genutzt werden sie von Teams, die Modelle skalierbar und kosteneffizient betreiben müssen, statt nur zu trainieren.
Die Synthszr Charts messen für diese Kategorie das Momentum aus Erwähnungen in tausenden News- und Newsletter-Quellen, recency-gewichtet und versions-granular, sodass etwa neue Releases wie EAGLE 3.1 einzeln erfasst werden. Das Ranking wird täglich aktualisiert und bildet so ab, welche Serving-Lösungen gerade an Aufmerksamkeit gewinnen oder verlieren.
- 1DeepInferdeepseek · 27× · 01. Nov. 2026100
- 2vLLMvllm · 90× · 28. Okt. 202671
- 3Clef-flashcloudflare · 17× · 13. Okt. 202655
- 4SGLanglmsys · 22× · 15. Nov. 202643
- 5MACaQhuawei · 2× · 13. Nov. 202641
- 6Workers AIcloudflare · 6× · 06. Nov. 202641
- 7DeepInferunknown · 3× · 23. Okt. 202625
- 8Modalmodal · 3× · 23. Okt. 202616
- 9Mango Inferencemangoboost · 2× · 19. Okt. 202616
- 10Computercloudflare · 4× · 27. Okt. 202613
- 11TabPFN-3.5prior-labs · 5× · 30. Sept. 202611
- 12Mercury 2.5inception · 2× · 21. Okt. 202611
- 13NeMo-DCRnvidia · 2× · 09. Okt. 202610
- 14Ultrafast modeopenai · 2× · 06. Okt. 20269
- 15vLLM-Omnivllm · 4× · 09. Okt. 20267
- 16Jevanthropic · 2× · 06. Okt. 20267
- 17SubQsubquadratic · 22× · 22. Sept. 20267
- 18Crusoe Managed Inferencecrusoe · 4× · 21. Sept. 20264
- 19TensorRT-LLMnvidia · 6× · 22. Sept. 20264
- 20SIE (Superlinked Inference Engine)superlinked · 2× · 10. Sept. 20262
- 21FastH3fastvideo · 2× · 03. Sept. 20262
- 22Lightningnvidia · 4× · 13. Aug. 20261
- 23Mojomodular · 2× · 24. Aug. 20261
- 24Tritonopenai · 2× · 26. Aug. 20261
- 25TabFMgoogle · 9× · 27. Juli 20261
- 26Mooncakemoonshot · 2× · 19. Juli 20260
- 27ModelOptnvidia · 2× · 15. Juli 20260
- 28Yansubentoml · 3× · 01. Juni 20260
- 29TGIhugging-face · 2× · 19. Juni 20260
- 30CoreWeave Sandboxescoreweave · 3× · 24. Mai 20260
- 31Text Generation Inferencehugging-face · 2× · 28. Mai 20260
- 32Groq Llamagroq · 2× · 17. Mai 20260
- 33vLLM 0.20.0vllm · 4× · 29. Apr. 20260
- 34TokenSpeedlightseeking · 2× · 12. Mai 20260
- 35Docker Model Runnerdocker · 2× · 08. Mai 20260
- 36HybridClawhybridai · 2× · 29. Apr. 20260
- 37NEAR AI Cloudnear-ai · 7× · 03. Apr. 20260
- 38IronClawnear-ai · 7× · 03. Apr. 20260
- 39ClawProtencent · 2× · 04. Mai 20260
- 40HDNA Workbenchunknown · 2× · 15. Apr. 20260