1. Groq 是什么?
Groq 是一家 AI 推理云服务商,最出名的是其自研的 LPU(Language Processing Unit)推理芯片。与通用 GPU 不同,LPU 专为大模型推理设计,输出速度远超常规方案,让实时语音对话等低延迟场景成为可能。
2. 核心功能
- 极速推理:每秒数百 token 的输出速度。
- 开源模型托管:提供 Llama、Mixtral 等模型的 API。
- OpenAI 兼容:现有代码几乎零成本迁移。
3. 适用人群
- 对推理延迟极度敏感的实时应用(语音助手、直播翻译等)。
- 需要高吞吐推理服务的开发者。
4. 常见问题
Groq 免费吗? 提供免费额度,正式生产使用按 token 用量付费。

