Turbo-dLLM ist eine Open-Source-Bibliothek von Stanfords Scaling Intelligence Lab (u.a. Azalia Mirhoseini) für das verteilte Training von Diffusions-Sprachmodellen (Block-Diffusion-LLMs). Kernstück ist die Implementierung von Context-Sharded Block Parallelism (CSBP), einer neuen Parallelisierungsstrategie, die das Training auf sehr lange Kontexte beschleunigt. Die Bibliothek enthält zudem typisierte Konfiguration, Daten-Pipelines, Checkpointing und optimierte CUDA-Kernel. Laut den Autoren beschleunigt CSBP auf 8x H100-GPUs das Training des DFlash2-Spekulativ-Decoders um das 2,48-fache bei 512K und um das 7,59-fache bei 1M Kontextlänge.

Belege (2)