Synthszr Charts — die großen AI-Marken im Wettkampf ums Podium
synthszr charts
exo

Exo · seit 24.06.2024 (erste öffentliche Veröffentlichung auf GitHub) · 2× · zuletzt 12. Nov. 2026

27
Momentum

exo ist eine Open-Source-Software von Exo Labs (London), die mehrere Geräte — vor allem Apple-Silicon-Macs, daneben Linux und weitere Hardware — zu einem lokalen KI-Cluster verbindet. Modelle, die auf ein einzelnes Gerät nicht passen, werden über Tensor- bzw. Pipeline-Parallelismus auf die Geräte verteilt; der Cluster wird über eine API und ein Dashboard gesteuert.

Momentum-Verlauf
18.08.16.11.

Features

Durchsatz/LatenzTensor Parallelism: bis 1,8x Speedup auf 2 Geräten, bis 3,2x auf 4 Geräte; DeepSeek V3 671B (4-bit) auf 8x M4 Pro Mac Mini: 5,37 Tokens/s, TTFT 2,91 s
LizenzApache 2.0 (EXO 1.0 als Open Source)
PlattformmacOS (Apple Silicon, App ab macOS Tahoe 26.2), Linux (aus Quellcode); Installation auch per Homebrew
Protokoll-KompatibilitätOpenAI-, Claude- und Ollama-kompatible APIs; ChatGPT-kompatible API auf localhost:52415
Release-Datum24. Juni 2024 (erste öffentliche GitHub-Version)
Unterstützte Modelle/ProviderMLX- und tinygrad-Backend; u. a. LLaMA, Mistral, Qwen, DeepSeek, LLaVA; Kimi K2.5, MiniMax M2.1 (v1.0.67)

Weitere Produkte in dieser Kategorie: Lokale LLM-Runtimes

Belege (2)

Subscribe free. Unsubscribe the second it sucks.

High-signal news across AI, business, UX, and tech. Every morning.