Groq: AI 빅 모델 추론 가속화 솔루션 제공업체, 고속 무료 빅 모델 인터페이스

2.9K 00

Groq 综合介绍

Groq是一家位于加利福尼亚山景城的公司，开发了GroqChip™和Language Processing Unit™（LPU）。以其为低延迟人工智能应用开发的张量处理单元而闻名。

Groq成立于2016年，其名字在同年正式注册商标。Groq的主要产品是语言处理单元（LPU），这是一种新类别的芯片，不是用于训练AI模型，而是用于快速运行它们。Groq的LPU系统已经引领了新一代的AI加速，这种系统专为处理序列数据（如DNA、音乐、代码、自然语言）而设计，性能优于GPU。

他们旨在为实时AI应用提供解决方案，声称在计算中心拥有领先的AI性能，特点为速度快、精准。Groq支持如PyTorch、TensorFlow和ONNX等标准机器学习框架。除此之外，他们还提供GroqWare™套件，包括Groq Compiler等自定义开发和优化工作负载的工具。

Groq 功能列表

实时AI应用处理
支持标准机器学习框架
为SaaS和PaaS轻量级硬件提供支持
提供速度快、精准的AI性能
自定义优化工作负载的GroqWare™套件
确保精确、能效和可重复的大规模推理性能

Groq 使用帮助

开发者可以通过GroqCloud上的Playground自助获取开发者访问权限
如果您当前正在使用OpenAI API，您只需要三样东西就可以转换为Groq：Groq API密钥、端点、模型
如果您需要数据中心规模的最快推理，我们应该进行交谈

你可以여기를 클릭하세요免费申请APIKEY，申请完成后，可选择模型：

Chat Completion

ID	Requests per Minute	Requests per Day	토큰 per Minute	Tokens per Day
gemma-7b-it	30	14,400	15,000	500,000
gemma2-9b-it	30	14,400	15,000	500,000
llama-3.1-70b-versatile	30	14,400	20,000	500,000
llama-3.1-8b-instant	30	14,400	20,000	500,000
llama-3.2-11b-text-preview	30	7,000	7,000	500,000
llama-3.2-1b-preview	30	7,000	7,000	500,000
llama-3.2-3b-preview	30	7,000	7,000	500,000
llama-3.2-90b-text-preview	30	7,000	7,000	500,000
llama-guard-3-8b	30	14,400	15,000	500,000
llama3-70b-8192	30	14,400	6,000	500,000
llama3-8b-8192	30	14,400	30,000	500,000
llama3-groq-70b-8192-tool-use-preview	30	14,400	15,000	500,000
llama3-groq-8b-8192-tool-use-preview	30	14,400	15,000	500,000
llava-v1.5-7b-4096-preview	30	14,400	30,000	(No limit)
mixtral-8x7b-32768	30	14,400	5,000	500,000

Speech To Text

ID	Requests per Minute	Requests per Day	Audio Seconds per Hour	Audio Seconds per Day
distil-whisper-large-v3-en	20	2,000	7,200	28,800
위스퍼-대형-V3	20	2,000	7,200	28,800

接下来以curl格式为例，这个接口是兼容OPENAI接口格式的，所以发挥您的想象力，只要有允许自定义OPENAI API的界面中，一样可以使用Groq。

curl -X POST "https://api.groq.com/openai/v1/chat/completions" \
-H "Authorization: Bearer $GROQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{"messages": [{"role": "user", "content": "Explain the importance of low latency LLMs"}], "model": "mixtral-8x7b-32768"}'