Bonsai

#11 in Small & Edge-Modelle

prismml · seit März 2026 · 5× · zuletzt 30. Juni 2026

24

Momentum

Bonsai ist eine Familie von 1-Bit Large Language Models von PrismML, die für extrem effiziente Inferenz auf Edge-Geräten optimiert sind. Das Flaggschiff Bonsai 8B komprimiert 8,2 Milliarden Parameter auf 1,15 GB Speicher und erreicht dabei Benchmark-Scores, die mit Standard-8B-Modellen vergleichbar sind. Die Familie nutzt eine proprietäre 1-Bit-Architektur, bei der jedes Gewicht nur als binärer Wert ({−1, +1}) mit gemeinsamen Skalierungsfaktoren gespeichert wird, wodurch eine 14-fache Reduktion des Speicherbedarfs im Vergleich zu 16-Bit-Modellen erreicht wird.

Belege (5)