Groq総論
カリフォルニア州マウンテンビューに本社を置くGroq社は、GroqChip™とLanguage Processing Unit™（LPU）を開発した。低レイテンシーのAIアプリケーション向けに開発されたテンソル処理ユニットで知られる。
Groqは2016年に設立され、その名前は同年に正式に商標登録された。Groqの主要製品は言語処理ユニット（LPU）であり、AIモデルを訓練するためではなく、それらを迅速に実行するために設計された新しいクラスのチップである。GroqのLPUシステムは、新世代のAIアクセラレーションを先導し、シーケンシャルデータ（例えば、DNA、音楽、コード、）自然言語）を処理し、GPUを凌駕するように設計されています。
Groqは、PyTorch、TensorFlow、ONNXなどの標準的な機械学習フレームワークをサポートしている。Groqは、PyTorch、TensorFlow、ONNXなどの標準的な機械学習フレームワークをサポートしている。これに加えて、Groq Compilerなどのワークロードのカスタム開発や最適化のためのツールを含むGroqWare™スイートも提供している。
Groq 機能リスト
- リアルタイムAIアプリケーション処理
- 標準的な機械学習フレームワークをサポート
- SaaSおよびPaaSの軽量ハードウェアのサポート
- 高速で正確なAIパフォーマンスを提供
- カスタム最適化ワークロードのためのGroqWare™スイート
- 正確でエネルギー効率に優れ、再現可能な大規模推論性能を確保
Groq ヘルプ
- 開発者はGroqCloud上のPlaygroundを通じて開発者アクセスをセルフサービスできる
- 現在OpenAI APIを使用している場合、Groqに変換するために必要なのは、Groq APIキー、エンドポイント、モデルの3つだけです。
- データセンター・スケールで最速の推論が必要なら、私たちはこう話すべきです。
できる。ここをクリックAPIKEYを無料で申し込み、申し込み完了後に機種を選択する：
チャット完了
| 身分証明書 | 1分あたりのリクエスト数 | 1日あたりのリクエスト数 | トークン 毎分 | トークン/日 |
|---|---|---|---|---|
| ジェマ7bイット | 30 | 14,400 | 15,000 | 500,000 |
| ジェマ2-9b-イット | 30 | 14,400 | 15,000 | 500,000 |
| llama-3.1-70b-versatile | 30 | 14,400 | 20,000 | 500,000 |
| ラマ3.1-8b-インスタント | 30 | 14,400 | 20,000 | 500,000 |
| llama-3.2-11b-text-preview | 30 | 7,000 | 7,000 | 500,000 |
| llama-3.2-1b-プレビュー | 30 | 7,000 | 7,000 | 500,000 |
| llama-3.2-3b-プレビュー | 30 | 7,000 | 7,000 | 500,000 |
| llama-3.2-90b-text-preview | 30 | 7,000 | 7,000 | 500,000 |
| ラマガード-3-8b | 30 | 14,400 | 15,000 | 500,000 |
| ラマ3-70b-8192 | 30 | 14,400 | 6,000 | 500,000 |
| ラマ3-8b-8192 | 30 | 14,400 | 30,000 | 500,000 |
| llama3-groq-70b-8192-tool-use-preview | 30 | 14,400 | 15,000 | 500,000 |
| llama3-groq-8b-8192-tool-use-preview | 30 | 14,400 | 15,000 | 500,000 |
| llava-v1.5-7b-4096-preview | 30 | 14,400 | 30,000 |
(制限なし） |
| ミックストラル-8x7b-32768 | 30 | 14,400 | 5,000 | 500,000 |
テキストへのスピーチ
| 身分証明書 | 1分あたりのリクエスト数 | 1日あたりのリクエスト数 | オーディオ秒/時 | 1日あたりのオーディオ秒数 |
|---|---|---|---|---|
| ディスティル・ウィスパー・ラージ-V3-エン | 20 | 2,000 | 7,200 | 28,800 |
| ウィスパーラージ-V3 | 20 | 2,000 | 7,200 | 28,800 |
次にcurl形式を例にとると、このインターフェイスはOPENAIのインターフェイス形式と互換性があるので、Groqを利用するだけでなく、OPENAI APIをカスタマイズできるインターフェイスがあれば、想像力を働かせてください。
curl -X POST "https://api.groq.com/openai/v1/chat/completions" \
-H "Authorisation: Bearer $GROQ_API_KEY" \ \
-H「Content-Type: application/json」。
-d '{"messages": [{"role": "user", "content": "低遅延LLMの重要性を説明する"}], "model": "mixtral-8x7b-32768"}'.
