Groq
#1 in KI-Inferenz-Hardwaregroq · seit 2024-02-19 (Soft-Launch GroqCloud Developer Platform) · 15× · zuletzt 02. Juli 2026
Groq ist ein US-amerikanisches Unternehmen, das mit der LPU (Language Processing Unit) einen speziell für KI-Inferenz entwickelten Prozessor-Chip sowie die zugehörige Cloud-Plattform GroqCloud anbietet. Die LPU nutzt große On-Chip-SRAM-Speicher statt externem Speicher, eine deterministische, statisch geplante Ausführung und eine speziell entwickelte Compiler-Architektur, um niedrige Latenz und hohen Durchsatz bei der Ausführung von Sprachmodellen zu erreichen. Die Hardware wird über GroqCloud (Pay-per-Token-API) sowie GroqRack-Cluster für On-Premise-Einsätze bereitgestellt; im Dezember 2025 wurde zudem eine milliardenschwere, nicht-exklusive Lizenzvereinbarung mit Nvidia zur Nutzung der LPU-Technologie bekanntgegeben.
Features
| Fertigungsprozess (nm) | Aktuelle Generation: GlobalFoundries 14nm; nächste Generation: Samsung SF4X 4nm-Prozess |
| Lizenz | Proprietäre Hardware/Cloud-Services (Groq Services Agreement); gehostete Modelle sind meist Open-Source (z.B. Llama) mit eigenen Lizenzen; Dez. 2025 nicht-exklusive Technologie-Lizenz an Nvidia |
| Plattform | GroqCloud (On-Demand Public Cloud, Private/Co-Cloud) und GroqRack Compute Clusters für On-Prem-Einsatz |
| Preis | API ab $0,05/1M Input-Tokens (Llama 3.1 8B) bis $0,59/1M Input-Tokens (Llama 3.3 70B); Output bis $0,79/1M Tokens; Batch-API 50% günstiger |
| Rechenleistung (FLOPS/TOPS) | 1. Generation (TSP, 14nm): >1 TeraOp/s pro mm² Silizium bei 900 MHz Taktfrequenz |
| Release-Datum | GroqCloud Developer Platform Soft-Launch: 19. Februar 2024 |
| Speicher | Bis zu 230 MB SRAM pro Chip (aktuelle Generation); neue Generation (Groq 3 LPU) 500 MB SRAM mit 150 TB/s Bandbreite |
| Verfügbarkeit | Öffentlich verfügbar über GroqCloud API (Free-, Developer- und Enterprise-Tier); GroqRack für Enterprise-Kunden auf Anfrage |