

Exo · seit 24.06.2024 (erste öffentliche Veröffentlichung auf GitHub) · 2× · zuletzt 12. Nov. 2026
27
Momentum
exo ist eine Open-Source-Software von Exo Labs (London), die mehrere Geräte — vor allem Apple-Silicon-Macs, daneben Linux und weitere Hardware — zu einem lokalen KI-Cluster verbindet. Modelle, die auf ein einzelnes Gerät nicht passen, werden über Tensor- bzw. Pipeline-Parallelismus auf die Geräte verteilt; der Cluster wird über eine API und ein Dashboard gesteuert.
Momentum-Verlauf
18.08.16.11.
Features
| Durchsatz/Latenz | Tensor Parallelism: bis 1,8x Speedup auf 2 Geräten, bis 3,2x auf 4 Geräte; DeepSeek V3 671B (4-bit) auf 8x M4 Pro Mac Mini: 5,37 Tokens/s, TTFT 2,91 s |
| Lizenz | Apache 2.0 (EXO 1.0 als Open Source) |
| Plattform | macOS (Apple Silicon, App ab macOS Tahoe 26.2), Linux (aus Quellcode); Installation auch per Homebrew |
| Protokoll-Kompatibilität | OpenAI-, Claude- und Ollama-kompatible APIs; ChatGPT-kompatible API auf localhost:52415 |
| Release-Datum | 24. Juni 2024 (erste öffentliche GitHub-Version) |
| Unterstützte Modelle/Provider | MLX- und tinygrad-Backend; u. a. LLaMA, Mistral, Qwen, DeepSeek, LLaVA; Kimi K2.5, MiniMax M2.1 (v1.0.67) |