ModernBERT
#126 in Open-Source-SprachmodelleUnknown · 2× · zuletzt 22. Sept. 2026
3
Momentum
ModernBERT ist ein Open-Source-Encoder-Sprachmodell (BERT-Familie), das von Answer.AI und LightOn gemeinsam mit weiteren Partnern entwickelt und im Dezember 2024 veröffentlicht wurde. Es handelt sich um ein bidirektionales, maskiertes Sprachmodell, das auf 2 Billionen Tokens aus Text und Code trainiert wurde und ein natives Kontextfenster von bis zu 8.192 Tokens unterstützt. ModernBERT wird in zwei Größen angeboten (Base mit 149M und Large mit 395M Parametern) und dient als Drop-in-Ersatz für klassische BERT-Modelle in Aufgaben wie Klassifikation, Retrieval und semantischer Suche.
Momentum-Verlauf
08.08.06.11.
Features
| Key-Benchmark (%) | GLUE-Score: 88,5 (Base) / 90,4 (Large) |
| Kontextfenster (Token) | 8.192 Token |
| Lizenz | Apache 2.0 (Modellarchitektur, Gewichte und Trainingscode) |
| Multimodalität | Nicht multimodal – reines Text-/Code-Encoder-Modell (kein Bild/Audio) |
| Plattform | Hugging Face Transformers (ab v4.48.0), Open-Source-Checkpoints (answerdotai/ModernBERT-base/large) |
| Release-Datum | 19. Dezember 2024 |