Bonsai 27B
#3 in Small & Edge-ModellePrismml · 27b · 16× · zuletzt 17. Juli 2026
97
Momentum
Bonsai 27B ist ein multimodales Sprachmodell von PrismML, das auf Alibabas Qwen3.6 27B basiert und mittels endToEnd 1-Bit- bzw. 1,58-Bit-ternärer Quantisierung von rund 54 GB (FP16) auf 3,9 GB (1-Bit) bzw. 5,9 GB (ternär) komprimiert wurde. Es ist das erste Modell seiner 27B-Größenklasse, das auf einem Smartphone (iPhone 17 Pro/Pro Max) läuft, unterstützt Bild- und Texteingaben, Tool-Calling, agentische Workflows und ein Kontextfenster von 262.000 Token. Das Modell wurde am 14. Juli 2026 unter Apache-2.0-Lizenz veröffentlicht und läuft nativ auf Apple-Geräten via MLX sowie auf NVIDIA-GPUs via CUDA.
Momentum-Verlauf
19.04.18.07.
Features
| Key-Benchmark (%) | Ternär-Variante: 80,49 Punkte Ø über 15 Thinking-Mode-Benchmarks = 95% der FP16-Baseline; 1-Bit-Variante: 76,11 Punkte = ca. 90% der FP16-Baseline |
| Kontextfenster (Token) | 262.000 Token |
| Lizenz | Apache 2.0 (kostenlos herunterladbar seit 14. Juli 2026) |
| Multimodalität | Ja – akzeptiert Bild- und Texteingaben (Vision-Tower separat in 4-Bit quantisiert) |
| Plattform | Läuft nativ auf Apple-Geräten (Mac, iPhone, iPad) via MLX sowie auf NVIDIA-GPUs via CUDA; unterstützt auch llama.cpp (CUDA, Metal, CPU) |
| Release-Datum | 14. Juli 2026 |