Unknown · 2× · zuletzt 28. Sept. 2026
Ollaya ist eine quelloffene lokale Laufzeitumgebung, die spezialisierte "Decision Models" (u.a. Laya, Decider, NLI, GLiClass, Kev, Von, Qwen3Guard) auf dem eigenen Rechner ausführt, statt Text zu generieren. Sie liefert typisierte, kalibrierte Wahrscheinlichkeiten für Klassifizierungs-, Routing- und Scoring-Aufgaben in Millisekunden und ist über eine zu TypeSafes System-One-API kompatible Schnittstelle (/v1/systemone) ansprechbar. Die Software läuft komplett lokal (127.0.0.1), nutzt ONNX Runtime bzw. llama.cpp für Inferenz auf CPU/GPU und ist als CLI, Desktop-App (macOS/Windows/Linux) sowie Docker-Image verfügbar. Ollaya ist ein unabhängiges Community-Projekt und nicht mit Ollama oder TypeSafe AI affiliiert.
Features
| Durchsatz/Latenz | Laya (ModernBERT-large, 421M): 8–10 ms für 5 Fragen auf RTX 4090; decider:2b ca. 178 ms; JevK5 (4B) ca. 288 ms für 5 Fragen auf RTX 4090 |
| Lizenz | Apache-2.0 (Runtime); einzelne Modelle behalten eigene Lizenz (z.B. nli:deberta-v3-large ist MIT) |
| Plattform | Linux (x86_64/arm64), macOS (Apple Silicon), Windows x64 (CPU); Desktop-App für macOS/Windows/Linux; Docker-Images inkl. CUDA-Variante |
| Preis | Kostenlos, quelloffen; kein Metering, keine API-Gebühren |
| Protokoll-Kompatibilität | TypeSafe-kompatibel: POST /v1/systemone, /v1/decisions, GET /v1/models wire-identisch; offizielles TypeSafe-SDK funktioniert unverändert via TYPESAFE_BASE_URL |
| Release-Datum | Ca. September 2026, kurz nach TypeSafe AI's Jev-Launch (15. September 2026) |
| Unterstützte Modelle/Provider | Laya, Decider, NLI, GLiClass, Kev, Von, Qwen3Guard, JevK5 u.a. Decision-Modelle, per Namen pull- und ausführbar |