Mixtral 8x7B
#100 in Open-Source-SprachmodelleMistral AI · 8× · zuletzt 30. Juni 2026
Mixtral 8x7B ist ein von Mistral AI entwickeltes offenes Sprachmodell mit einer sparsamen Mixture-of-Experts-Architektur (SMoE). Jede Schicht besteht aus acht Experten-Feedforward-Blöcken, von denen pro Token nur zwei aktiv genutzt werden, wodurch bei insgesamt rund 46,7 Milliarden Parametern nur etwa 12,9 Milliarden Parameter pro Token aktiviert werden. Das Modell wurde am 11. Dezember 2023 unter der freizügigen Apache-2.0-Lizenz veröffentlicht und übertrifft nach Angaben von Mistral AI Llama 2 70B auf den meisten Benchmarks bei etwa sechsfach schnellerer Inferenz, während es GPT-3.5 auf vielen Standard-Benchmarks erreicht oder übertrifft. Es unterstützt ein Kontextfenster von 32.000 Token und beherrscht Englisch, Französisch, Deutsch, Spanisch und Italienisch; zusätzlich existiert eine i
Features
| Key-Benchmark (%) | MMLU (5-shot): 70,6% |
| Kontextfenster (Token) | 32.000 Token |
| Lizenz | Apache 2.0 |
| Multimodalität | Nein, reines Textmodell (kein Bild-/Audio-Input) |
| Plattform | Mistral AI API (La Plateforme, Endpoint 'open-mixtral-8x7b'), Hugging Face, Self-Hosting |
| Preis pro 1M Token | 0,70 $ Input / 0,70 $ Output (offizielle Mistral-API, open-mixtral-8x7b) |
| Release-Datum | 11. Dezember 2023 |