Qwen2.5-14B-Instruct
#56 in Open-Source-Sprachmodellealibaba · v2.5 · 14b instruct · seit 2024-09-19 · 2× · zuletzt 30. Juni 2026
7
Momentum
Qwen2.5-14B-Instruct ist ein instruction-feinjustiertes, dicht parametrisiertes Sprachmodell von Alibaba Clouds Qwen-Team mit 14,7 Milliarden Parametern, veröffentlicht im September 2024 unter der Apache-2.0-Lizenz. Es unterstützt nativ einen Kontextumfang von bis zu 128.000 Tokens und kann bis zu 8.000 Tokens generieren. Das Modell wurde auf 18 Billionen Tokens vortrainiert und deckt über 29 Sprachen ab. Im offiziellen Technical Report schneidet es auf mehreren Benchmarks vergleichbar mit GPT-4o-mini ab.
Momentum-Verlauf
04.04.03.07.
Features
| Benchmark-Score (MMLU/ähnlich) | MMLU: 79,7; BBH: 78,2 (Qwen-offizierller Blog); MMLU-Redux: 80,0%; GSM8k: 94,8%; MATH: 80,0%; HumanEval: 83,5% (llm-stats.com) |
| Kontextfenster | 128.000 Tokens (nativer Support); default config.json auf 32.768 Tokens gesetzt; Ausgabe bis zu 8.000 Tokens |
| Modellgröße (Parameter) | 14,7 Milliarden Parameter (aktiv und gesamt); trainiert auf 18 Billionen Tokens |
| Speicher-Anforderung | BF16 (Vollpräzision): ca. 29,6 GB VRAM (Modellgewichte); Q4_K_M-Quantisierung: ca. 8,7 GB; Q8_0: ca. 14,7 GB (jeweils zzgl. 1–2 GB KV-Cache-Overhead) |