Groq · od 2024-02-19 (Soft-Launch GroqCloud Developer Platform) · 16× · naposledy 24. 7. 2026
23
Momentum
Groq is a US-based company that offers the LPU (Language Processing Unit), a chip purpose-built for AI inference, along with its GroqCloud platform. The LPU relies on large on-chip SRAM instead of external memory, deterministic statically-scheduled execution, and a custom compiler stack to achieve low latency and high throughput for language model inference. The hardware is provided via GroqCloud (pay-per-token API) and GroqRack clusters for on-premise deployment; in December 2025 Groq also announced a multibillion-dollar non-exclusive licensing agreement with Nvidia for its LPU technology.
Vývoj momenta
19.05.17.08.
Vlastnosti
| Fertigungsprozess (nm) | 14 nm (erste LPU-Generation, GlobalFoundries) |
| Lizenz | Proprietäre Hardware/Architektur (LPU™, GroqChip™, GroqCard™ sind eingetragene Marken von Groq, Inc.) |
| Plattform | GroqCloud (Cloud-API, OpenAI-kompatibel), GroqRack/GroqNode für On-Premise-Einsatz |
| Preis | GroqCard-Beschleuniger ca. $19.948; GroqCloud API ab $0,05 pro 1 Mio. Input-Token (Llama 3.1 8B), kostenloser Tarif ohne Kreditkarte verfügbar |
| Rechenleistung (FLOPS/TOPS) | Bis zu 750 TOPS (INT8) bzw. 188 TFLOPS (FP16 @ 900 MHz) pro GroqChip; GroqRack bis zu 12 PetaFLOPS |
| Release-Datum | Erste LPU-Generation 2019 eingeführt; GroqCloud Developer-Plattform ab 19. Februar 2024 öffentlich verfügbar |
| Speicher | 230 MB On-Chip-SRAM pro Chip, 80 TB/s On-Die-Speicherbandbreite; GroqRack bis zu 14 GB globales SRAM |
| Verfügbarkeit | GroqCloud API weltweit online (vier Regionen), Free-Tier ohne Kreditkarte; GroqCard/GroqRack auf Anfrage/On-Premise |