RWKV-7 G1j
#21 in Open-Source-SprachmodelleRwkv · v7 · g1j · 5× · zuletzt 03. Sept. 2026
40
Momentum
RWKV-7 G1 (Codename "GooseOne") ist eine Serie offener, quelloffener Sprachmodelle des RWKV-Projekts (Linux Foundation AI & Data), die auf der RWKV-7 "Goose"-Architektur basiert – einem reinen RNN ohne Self-Attention und ohne KV-Cache. Die G1-Serie ergänzt die Basisarchitektur um deutlich mehr Trainingsdaten und "Denk"-/Reasoning-Fähigkeiten (Chain-of-Thought) und ist in Größen von 0,1B bis 13,3B Parametern verfügbar. Die Modelle werden unter Apache-2.0-Lizenz veröffentlicht und laufen u. a. über Hugging Face, Ollama und llama.cpp/GGUF; erste Release-Version erschien im März 2025, seither erscheinen regelmäßig verbesserte Datenversionen (G1a bis G1f und weiter).
Momentum-Verlauf
08.06.06.09.
Features
| Key-Benchmark (%) | MMLU 61,2% (rwkv7-g1a-2.9b, Single-Token Eval); 2,9B-Modell erreicht 71,5% Ø-Englisch-Benchmark-Genauigkeit |
| Kontextfenster (Token) | Trainiert mit ctxlen 4096 (z. B. rwkv7-g1-1.5b-ctx4096); als RNN theoretisch unbegrenzt, praktisch verlässlicher Speicher bis ca. 8k–16k Token |
| Lizenz | Apache 2.0 |
| Multimodalität | Rein textbasiert (Text-Generation), mehrsprachig (u.a. Englisch, Chinesisch, Japanisch, Koreanisch, Französisch, Arabisch, Spanisch, Portugiesisch) |
| Plattform | Hugging Face, Ollama, llama.cpp/GGUF, RWKV pip-Paket (≥0.8.28) |
| Release-Datum | Erstveröffentlichung März 2025 (RWKV7-G1 „GooseOne“), seither laufende Updates (G1a–G1f, G1d im Feb. 2026, G1e im März 2026) |