Eleutherai · seit 13. Februar 2023 (Modellsuite); Paper veröffentlicht 3. April 2023 · 2× · zuletzt 19. Aug. 2026
Pythia ist eine Suite von 16 quelloffenen autoregressiven Transformer-Sprachmodellen von EleutherAI, die in Größen von 70 Millionen bis 12 Milliarden Parametern verfügbar sind. Alle Modelle wurden auf exakt denselben Daten (dem Pile-Datensatz) in identischer Reihenfolge trainiert, um wissenschaftliche Forschung zu Interpretierbarkeit und Lernverläufen von LLMs zu ermöglichen. Für jedes der 16 Modelle werden 154 Trainings-Checkpoints öffentlich bereitgestellt, was eine Analyse der Modellentwicklung während des Trainings erlaubt. Pythia ist unter Apache-2.0-Lizenz frei verfügbar und wird primär für Forschungszwecke und nicht für kommerzielle Produktivanwendungen konzipiert.
Features
| Kontextfenster (Token) | 2.048 Token (Modellgröße-abhängig, gemäß Trainingssequenzlänge) |
| Lizenz | Apache 2.0 |
| Multimodalität | Nicht multimodal – reines Text-Sprachmodell (causal-lm) |
| Plattform | Open Source, verfügbar auf GitHub und Hugging Face, trainiert mit GPT-NeoX-Bibliothek |
| Preis pro 1M Token | Kostenlos (Open-Source-Modellgewichte zum Selbst-Hosting, kein offizieller API-Preis) |
| Release-Datum | 13. Februar 2023 (Modell-Release), Paper 3. April 2023 |