ByteDance · 8× · zuletzt 30. Juni 2026
Lance ist ein von ByteDance (Intelligent Creation Lab) quelloffen veröffentlichtes, natives unified multimodales Modell mit 3 Milliarden aktivierten Parametern, das Bild- und Videoverständnis, -generierung und -bearbeitung in einer einzigen Architektur vereint. Es nutzt eine Dual-Stream-Mixture-of-Experts-Architektur (initialisiert aus Qwen2.5-VL-3B) sowie eine modalitätsbewusste rotatorische Positionskodierung (MaPE), um Rechenlast zu senken und Signalinterferenzen zwischen Bild- und Videotoken zu reduzieren. Das Modell wurde komplett neu trainiert mit einem begrenzten Budget von bis zu 128 A100-GPUs und erreicht trotz geringer Größe konkurrenzfähige bis führende Ergebnisse bei Benchmarks für Bild-/Videogenerierung, -bearbeitung und Videoverständnis. Lance steht unter Apache-2.0-Lizenz of
Features
| Key-Benchmark (%) | GenEval: 0,90 (Gesamtscore, Bestwert unter unified Modellen); DPG-Bench: 84,67 |
| Lizenz | Apache 2.0 |
| Multimodalität | Bild & Video: Verständnis (Captioning, VQA, OCR, Grounding, Reasoning), Generierung (Text-zu-Bild, Text-zu-Video, Bild-zu-Video) und Bearbeitung (Bild-/Video-Editing inkl. Multi-Turn-Konsistenz) |
| Plattform | Open-Source: GitHub-Repo (bytedance/Lance) und Hugging Face (bytedance-research/Lance), lokale Inferenz via CLI/Gradio, seit 03.06.2026 auch in vLLM-Omni unterstützt |
| Release-Datum | 18. Mai 2026 (Projektseite, GitHub, Hugging Face live; technischer Report auf arXiv am 19. Mai 2026) |