ModernBERT
#57 in Open-Source-SprachmodelleUnknown · 2× · zuletzt 22. Sept. 2026
18
Momentum
ModernBERT ist ein Open-Source-Encoder-Sprachmodell (BERT-Familie), das von Answer.AI und LightOn gemeinsam mit weiteren Partnern entwickelt und im Dezember 2024 veröffentlicht wurde. Es handelt sich um ein bidirektionales, maskiertes Sprachmodell, das auf 2 Billionen Tokens aus Text und Code trainiert wurde und ein natives Kontextfenster von bis zu 8.192 Tokens unterstützt. ModernBERT wird in zwei Größen angeboten (Base mit 149M und Large mit 395M Parametern) und dient als Drop-in-Ersatz für klassische BERT-Modelle in Aufgaben wie Klassifikation, Retrieval und semantischer Suche.
Momentum-Verlauf
24.06.22.09.
Features
| Key-Benchmark (%) | GLUE-Score: 88,5 (Base) / 90,4 (Large) |
| Kontextfenster (Token) | 8.192 Token |
| Lizenz | Apache 2.0 (Modellarchitektur, Gewichte und Trainingscode) |
| Multimodalität | Nicht multimodal – reines Text-/Code-Encoder-Modell (kein Bild/Audio) |
| Plattform | Hugging Face Transformers (ab v4.48.0), Open-Source-Checkpoints (answerdotai/ModernBERT-base/large) |
| Release-Datum | 19. Dezember 2024 |