Groq 综合介绍
Groq是一家位于加利福尼亚山景城的公司,开发了GroqChip™和Language Processing Unit™(LPU)。以其为低延迟人工智能应用开发的张量处理单元而闻名。
Groq成立于2016年,其名字在同年正式注册商标。Groq的主要产品是语言处理单元(LPU),这是一种新类别的芯片,不是用于训练AI模型,而是用于快速运行它们。Groq的LPU系统已经引领了新一代的AI加速,这种系统专为处理序列数据(如DNA、音乐、代码、自然语言)而设计,性能优于GPU。
他们旨在为实时AI应用提供解决方案,声称在计算中心拥有领先的AI性能,特点为速度快、精准。Groq支持如PyTorch、TensorFlow和ONNX等标准机器学习框架。除此之外,他们还提供GroqWare™套件,包括Groq Compiler等自定义开发和优化工作负载的工具。
Groq 功能列表
- 实时AI应用处理
- 支持标准机器学习框架
- 为SaaS和PaaS轻量级硬件提供支持
- 提供速度快、精准的AI性能
- 自定义优化工作负载的GroqWare™套件
- 确保精确、能效和可重复的大规模推理性能
Groq 使用帮助
- 开发者可以通过GroqCloud上的Playground自助获取开发者访问权限
- 如果您当前正在使用OpenAI API,您只需要三样东西就可以转换为Groq:Groq API密钥、端点、模型
- 如果您需要数据中心规模的最快推理,我们应该进行交谈
你可以点击这里免费申请APIKEY,申请完成后,可选择模型:
Chat Completion
ID | Requests per Minute | Requests per Day | Tokens per Minute | Tokens per Day |
---|---|---|---|---|
gemma-7b-it | 30 | 14,400 | 15,000 | 500,000 |
gemma2-9b-it | 30 | 14,400 | 15,000 | 500,000 |
llama-3.1-70b-versatile | 30 | 14,400 | 20,000 | 500,000 |
llama-3.1-8b-instant | 30 | 14,400 | 20,000 | 500,000 |
llama-3.2-11b-text-preview | 30 | 7,000 | 7,000 | 500,000 |
llama-3.2-1b-preview | 30 | 7,000 | 7,000 | 500,000 |
llama-3.2-3b-preview | 30 | 7,000 | 7,000 | 500,000 |
llama-3.2-90b-text-preview | 30 | 7,000 | 7,000 | 500,000 |
llama-guard-3-8b | 30 | 14,400 | 15,000 | 500,000 |
llama3-70b-8192 | 30 | 14,400 | 6,000 | 500,000 |
llama3-8b-8192 | 30 | 14,400 | 30,000 | 500,000 |
llama3-groq-70b-8192-tool-use-preview | 30 | 14,400 | 15,000 | 500,000 |
llama3-groq-8b-8192-tool-use-preview | 30 | 14,400 | 15,000 | 500,000 |
llava-v1.5-7b-4096-preview | 30 | 14,400 | 30,000 |
(No limit) |
mixtral-8x7b-32768 | 30 | 14,400 | 5,000 | 500,000 |
Speech To Text
ID | Requests per Minute | Requests per Day | Audio Seconds per Hour | Audio Seconds per Day |
---|---|---|---|---|
distil-whisper-large-v3-en | 20 | 2,000 | 7,200 | 28,800 |
whisper-large-v3 | 20 | 2,000 | 7,200 | 28,800 |
接下来以curl格式为例,这个接口是兼容OPENAI接口格式的,所以发挥您的想象力,只要有允许自定义OPENAI API的界面中,一样可以使用Groq。
curl -X POST "https://api.groq.com/openai/v1/chat/completions" \
-H "Authorization: Bearer $GROQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{"messages": [{"role": "user", "content": "Explain the importance of low latency LLMs"}], "model": "mixtral-8x7b-32768"}'