Prismml · since 31. März 2026 (1-bit Bonsai, LLM-Familie); Ternary Bonsai am 16. April 2026 nachgereicht · 8× · last seen Jun 30, 2026
Bonsai is a family of small language models from PrismML (a Caltech spin-off) available in 8B, 4B and 1.7B parameter sizes, using end-to-end 1-bit weights (embeddings, attention, MLP, LM head). The flagship Bonsai 8B requires only about 1.15 GB of memory versus 16.38 GB in FP16, while PrismML reports benchmark scores comparable to standard full-precision 8B models. The models are open-sourced under the Apache 2.0 license and designed for local inference on CPU, GPU (CUDA), Apple Silicon (Metal/MLX), and iPhone/iPad; no paid API offering currently exists. A related "Ternary Bonsai" variant uses 1.58-bit weights, and a separate multimodal image-generation model "Bonsai Image 4B" is also offered.
Features
| Key-Benchmark (%) | 70,5 Durchschnittspunkte über 6 Benchmark-Kategorien (IFEval, GSM8K, HumanEval+, BFCL, MuSR, MMLU-Redux), Bonsai 8B |
| Kontextfenster (Token) | 65.536 Token (Bonsai 8B, maximal unterstützt) |
| Lizenz | Apache 2.0 (offene Gewichte, kommerzielle Nutzung erlaubt) |
| Multimodalität | Nein, reines Text-LLM (kein Vision/Audio); separates Bildmodell 'Bonsai Image 4B' existiert eigenständig |
| Plattform | GGUF (llama.cpp: CUDA, Metal, CPU) und MLX (Apple Silicon); läuft auf Mac, iPhone, iPad, Android, Windows/Linux |
| Preis pro 1M Token | Kein API-Preismodell; kostenloser Download der Gewichte, lokale Inferenz ohne nutzungsabhängige Kosten |
| Release-Datum | 31. März 2026 (1-bit Bonsai 8B/4B/1.7B) |