WebLLM
#8 in Lokale LLM-Runtimesmlc-ai · seit Dezember 2024 · 5× · zuletzt 30. Juni 2026
21
Momentum
WebLLM ist eine Open-Source JavaScript-Bibliothek der MLC-AI Gruppe, die große Sprachmodelle direkt im Webbrowser mit WebGPU-Beschleunigung ausführt. Sie kompiliert quantisierte Modelle durch Apache TVM zu WebAssembly und ermöglicht lokale Inferenz ohne Server-Anfragen. Die API ist kompatibel mit OpenAI-Standards.
Momentum-Verlauf
04.04.03.07.
Features
| Anbieter | MLC AI (Machine Learning Compilation) |
| Modelltyp | LLM Inference Engine für Multi-Modell-Support (Llama 3, Phi 3, Gemma, Mistral, Qwen) |
| Preis-Tier | Kostenlos (Open-Source) |
| Verfügbarkeit | Open-Source (kostenlos); npm-Paket @mlc-ai/web-llm |