Groq

简介

Groq 是以极速推理著称的 AI 平台，使用自研的 LPU（Language Processing Unit）芯片，提供业界最快的模型推理速度。

核心特点

• 极速推理：LPU 芯片，速度远超 GPU
• 超低延迟：毫秒级响应
• 开源模型：Llama、Mistral、Gemma 等
• 免费额度：慷慨的免费使用量

速度优势

Groq 的推理速度可达：

• Llama 3: 500+ tokens/秒
• 比 GPU 推理快 10-20 倍

支持的模型

模型	说明
Llama 3.3 70B	Meta 最新模型
Mixtral 8x7B	Mistral MoE 模型
Gemma 2	Google 开源模型

免费额度

• 每日免费请求次数
• 适合原型开发和测试

官方链接

• 官网：https://groq.com
• 控制台：https://console.groq.com

适用场景

• 实时对话应用
• 低延迟要求场景
• 快速原型开发
• 流式输出体验