Mango Inference
#3 in LLM-Inferenz & ServingMangoboost · seit Oktober 2026 (kommerzieller Launch am 12. Oktober 2026, laut Pressemeldung) · 2× · zuletzt 19. Okt. 2026
Mango Inference ist eine serverlose LLM-Inferenzplattform von MangoBoost (Seoul/Bellevue), die offene Modelle über eine OpenAI-kompatible API bereitstellt und nutzungsbasiert nach Tokens abrechnet. Die Plattform läuft auf AMD Instinct GPUs mit ROCm, ohne dass Nutzer Server oder GPUs verwalten müssen. Eine dedizierte Inferenz-Option ist laut Ankündigung für später geplant.
Features
| Durchsatz/Latenz | Ziel: Sekunden-Deployment, niedrige Latenz, maximaler Durchsatz (keine belegten Messwerte für den Dienst) |
| Plattform | AMD Instinct GPUs (MI355X, MI350P) mit AMD ROCm; MangoBoost-Infrastruktur |
| Preis | Pro Token abgerechnet; Beispiel GLM-5.2: Input $1.30, Cached $0.14, Output $4.20 pro 1M Tokens (Listenpreis, Launch-Rabatt 30 % bis 11. Nov.) |
| Protokoll-Kompatibilität | OpenAI-kompatibel (Base-URL api.mangoboost.io/v1); Anthropic-kompatibel laut AMD |
| Release-Datum | Oktober 2026 (Launch 12.10.2026, Seoul) |
| Unterstützte Modelle/Provider | GLM-5.2, DeepSeek-V4 (Pro), MiniMax-M3; Kimi-K3 laut Blog verfügbar |
Weitere Produkte in dieser Kategorie: LLM-Inferenz & Serving
Belege (2)
Unternehmens-Analyse: MangoBoost
Stand 18.1.2026Aus Equity‑Analyst‑Sicht (unter der Annahme eines Zugangs zu Private‑Market‑Runden in USD) überwiegen bei MangoBoost die Chancen gegenüber den Risiken: Das Unternehmen adressiert mit DPU‑basierten Datacenter‑Lösungen und LLMBoost‑Inference‑Software zwei der strukturell attraktivsten Segmente im AI‑Infrastrukturmarkt, verfügt über nachweisbare technologische Differenzierung (MLPerf‑Benchmarks, OEM‑Partnerschaften, AWS‑Marketplace‑Präsenz) und hat mit der 55‑Mio.-USD‑Series‑A eine solide Kapitalbasis geschaffen. Dem stehen hohe Ausführungs‑ und Wettbewerbsrisiken sowie eine begrenzte Transparenz bei Finanzkennzahlen gegenüber, die jedoch typisch für das Entwicklungsstadium sind. Für risikobereite Investoren mit langfristigem Horizont (4–5 Jahre) erscheint ein Engagement daher als wachstumsorientierte BUY‑Position gerechtfertigt; konservative oder nur auf liquide, börsennotierte Titel fokussierte Anleger sollten hingegen Abstand halten.
Key Takeaways
- MangoBoost ist ein nicht-börsennotiertes DPU- und AI-Infrastruktur-Startup (Sitz u. a. Bellevue/Seattle und Seoul), das seit 2022 auf programmierbare Data Processing Units und AI-Serverlösungen fokussiert ist und sich klar im High‑Performance‑Datacenter-Segment positioniert. (mangoboost.io)
- Das Unternehmen hat im November 2023 eine Series‑A‑Finanzierungsrunde über 55 Mio. USD abgeschlossen (insgesamt ca. 65 Mio. USD Funding) bei einer damals kolportierten Bewertung von rund 300 Mio. USD – ein Hinweis auf hohe Erwartungen an Wachstum und Technologieführerschaft. (techcrunch.com)
- Technologisch differenziert sich MangoBoost durch DPU‑basierte Lösungen (u. a. Mango BoostX™, GPUBoost™, GPU Storage Boost™) und ein eigenes SDK, die CPU‑Last in Rechenzentren massiv reduzieren und Bandbreite/Latenz bei AI‑ und Storage‑Workloads verbessern sollen; MLPerf‑Benchmarks und Partnerschaften mit AMD, Dell und Supermicro unterstreichen die Leistungsfähigkeit. (mangoboost.io)
- Mit Mango LLMBoost™ adressiert MangoBoost seit Anfang 2025 explizit den AI‑Inference‑Softwaremarkt und verspricht laut eigenen Angaben bis zu 12,6‑fache Performanceverbesserung und bis zu 92 % Kosteneinsparung gegenüber gängigen LLM‑Inference‑Engines; die Verfügbarkeit über AWS Marketplace erleichtert die Skalierung über Cloud‑Kunden. (businesswire.com)
- Der Markt für DPUs und AI‑Datacenter‑Optimierung ist stark kompetitiv (u. a. Nvidia, AMD, Intel, Amazon Nitro, Microsoft SmartNIC), bietet aber strukturelles Wachstum durch steigende AI‑Workloads; MangoBoost ist technologisch gut positioniert, trägt jedoch ein hohes Ausführungs‑, Kommerzialisierungs‑ und Finanzierungsrisiko, da noch keine belastbaren Umsatz‑ oder Profitabilitätsdaten öffentlich vorliegen. (techcrunch.com)
Action-Ideen
Für einen risikobereiten Private‑Market‑Investor (VC/Family Office/Corporate VC) bietet MangoBoost ein attraktives asymmetrisches Chance‑Risiko‑Profil: Die Kombination aus proprietärer DPU‑IP, enger Verzahnung mit führenden GPU‑Anbietern (insb. AMD Instinct) und der Erweiterung in Richtung LLM‑Inference‑Software (LLMBoost) adressiert gleich mehrere strukturelle Wachstumstreiber (AI‑Training, AI‑Inference, Storage‑Offload). Die Series‑A‑Bewertung (~300 Mio. USD) wirkt ambitioniert, ist im Kontext der starken technischen Traktion (MLPerf‑Rekorde, OEM‑Partnerschaften, AWS Marketplace‑Präsenz) aber vertretbar, sofern MangoBoost in den nächsten 2–3 Jahren signifikante Umsätze mit Hyperscalern, OEMs und Cloud‑Kunden realisieren kann. ([techcrunch.com](https://techcrunch.com/2023/10/23/ai-based-data-center-optimization-startup-mangoboost-raises-55m-series-a/?utm_source=openai))
Horizont: 60 Mon.
Für bestehende Investoren (Seed/Series‑A) erscheint ein Halten der Position sinnvoll: Die jüngsten Produkt‑ und News‑Flows (Launch von LLMBoost, MLPerf‑Benchmarks, OEM‑Kooperationen) deuten auf wachsende Marktakzeptanz hin, während gleichzeitig noch zu wenig Daten zu wiederkehrenden Umsätzen und Unit Economics vorliegen, um aggressiv nachzulegen oder auszusteigen. Ein HOLD erlaubt, die weitere Kommerzialisierung (Cloud‑Adoption von LLMBoost, Design‑Wins für DPU‑Lösungen bei großen Datacenter‑Kunden) abzuwarten und erst bei klarer Traktion bzw. bei einer potenziellen Series‑B‑Bewertung neu zu entscheiden. ([mangoboost.io](https://www.mangoboost.io/?utm_source=openai))
Horizont: 24 Mon.
Für Investoren mit geringer Risikotoleranz oder mit Fokus auf kurzfristige Liquidität ist ein (teilweiser) Ausstieg sinnvoll: MangoBoost ist ein frühphasiges Deep‑Tech‑Unternehmen ohne börsennotierte Aktie, mit hohem Kapitalbedarf und intensiver Konkurrenz durch Tech‑Giganten. Ohne belastbare Finanzdaten und mit einem bereits anspruchsvollen Series‑A‑Valuation ist das Downside‑Risiko im Falle technologischer oder kommerzieller Rückschläge erheblich. Wer Portfoliorisiken reduzieren oder Kapital in reifere, cash‑generierende AI‑Infrastruktur‑Titel (z. B. etablierte GPU‑/DPU‑Anbieter) umschichten möchte, kann MangoBoost daher als opportunen Exit‑Kandidaten betrachten. ([techcrunch.com](https://techcrunch.com/2023/10/23/ai-based-data-center-optimization-startup-mangoboost-raises-55m-series-a/?utm_source=openai))
Horizont: 12 Mon.
Google Trends · ↗ steigend
Die weltweite Google‑Suche nach dem Begriff „MangoBoost“ war vor zwei Jahren praktisch nicht vorhanden und zeigt seither einen klar aufwärtsgerichteten, wenn auch von einem niedrigen Niveau ausgehenden Trend. Deutliche Ausschläge sind rund um die Series‑A‑Finanzierungsrunde im Oktober/November 2023 sowie erneut im zweiten Halbjahr 2024 und Anfang 2025 zu erkennen, als MangoBoost mehrere MLPerf‑Benchmarks veröffentlichte und Mango LLMBoost™ lancierte. Insgesamt deutet das Muster auf wachsende Bekanntheit im Fachpublikum (Datacenter/AI‑Infra) hin, ohne dass der Begriff bisher in den Mainstream vorgedrungen wäre.
Contrarian Insights
- • Während viele Investoren primär auf Nvidia‑zentrierte AI‑Plays fokussiert sind, könnte MangoBoost überproportional profitieren, falls sich AMD Instinct‑GPUs und alternative GPU‑Ökosysteme stärker durchsetzen: LLMBoost und die DPU‑basierten Lösungen sind explizit auf AMD‑basierte Multi‑Node‑Setups und heterogene Infrastrukturen optimiert, was MangoBoost zu einem Hebel auf die Diversifizierung weg von Nvidia machen könnte. (mangoboost.io)
- • Trotz des intensiven Wettbewerbs im DPU‑Segment könnte MangoBoosts Fokus auf kundenspezifische, composable DPUs und ein Full‑Stack‑Ansatz (Hardware + SDK + Inference‑Software) langfristig höhere Margen und stärkere Kundenbindung ermöglichen als bei generischen SmartNIC‑Anbietern – insbesondere, wenn sich maßgeschneiderte AI‑Infrastruktur als Differenzierungsmerkmal für Cloud‑ und Enterprise‑Kunden etabliert. (mangoboost.io)
Quellen (7)
- https://www.mangoboost.io/
- https://www.mangoboost.io/about
- https://www.mangoboost.io/media/press-releases/announcing-our-closing-of-series-a-funding-round-and-way-forward
- https://techcrunch.com/2023/10/23/ai-based-data-center-optimization-startup-mangoboost-raises-55m-series-a/
- https://www.businesswire.com/news/home/20250114901191/en/MangoBoost-Launches-Mango-LLMBoost-AI-Inference-Optimization-Software-with-Up-to-12.6x-Relative-Performance-Improvement-and-92-Cost-Savings
- https://www.mangoboost.io/media/press-releases/announcing-the-launch-of-mango-llmboost-tm-cost-effective-ai-inference-just-a-click-away
- https://www.mangoboost.io/solutions/mango-gpu-storage-boost-tm