SubQ 1.1
#25 in Small & Edge-ModelleSubquadratic · v1.1 · 2× · zuletzt 28. Sept. 2026
24
Momentum
SubQ 1.1 Small ist ein Sprachmodell von Subquadratic, das auf der firmeneigenen "Subquadratic Sparse Attention" (SSA)-Architektur basiert und lineare statt quadratische Skalierung des Rechenaufwands mit der Kontextlänge ermöglicht. Es erreicht nahezu perfekte Retrieval-Ergebnisse bei Kontextfenstern von bis zu 12 Millionen Token und benötigt laut Hersteller deutlich weniger Rechenleistung als dichte Aufmerksamkeitsmechanismen. Das Modell wird aktuell mit ausgewählten Design-Partnern eingesetzt, die Gewichte sind nicht offen verfügbar. Es ist auf Text- und Code-Verarbeitung fokussiert; multimodale Fähigkeiten (Bild etc.) wurden bisher nicht veröffentlicht.
Momentum-Verlauf
30.06.28.09.
Features
| Key-Benchmark (%) | RULER 128K: 99,12%; Needle-in-a-Haystack 1–2M: 100%; 6–12M: 98% |
| Kontextfenster (Token) | bis zu 12.000.000 Token (nahezu perfektes Retrieval bei 1M, 2M, 6M und 12M) |
| Lizenz | Closed-Weights, kein Open Source; Basis ist ein offen gewichtetes Ausgangsmodell, das mit SSA modifiziert wurde |
| Multimodalität | Text-/Code-only; keine veröffentlichten multimodalen Benchmarks (kein Bild-Input dokumentiert) |
| Plattform | API (OpenAI-kompatibel), aktuell in privater Beta mit Design-Partnern |
| Release-Datum | 16. Juni 2026 (Modellkarte/Technical Report) |