はじめに
Together AIは、生成AIモデルに特化したプラットフォームであり、モデルの学習から微調整、推論に至るまで、あらゆるサービスを提供しています。ユーザーは、Together AIの非常に効率的な推論エンジンとGPUクラスターを活用して、さまざまなオープンソースモデルを迅速に展開し、実行することができます。このプラットフォームは、さまざまなAIアプリケーションの要件を満たすために、複数のモデル・アーキテクチャをサポートしています。
機能一覧
- 推論API100以上のオープンソースモデルの推論をサポートし、サーバーレスモデルと専用インスタンスモデルの両方を提供します。
- 微調整機能データの所有権を維持したまま、ユーザーが自分のデータを使って生成AIモデルを微調整できるようにする。
- GPUクラスタ16から1000以上のGPUからなる最先端のクラスタを提供し、大規模なモデルトレーニングをサポートします。
- カスタムモデルのトレーニング最先端のモデルをゼロからトレーニングし、複数のモデルアーキテクチャをサポートします。
- マルチモーダルモデル画像認識、画像推論、画像生成などをサポート。
- 効率的な推論エンジンFlashAttention-3やFlash-Decodingなどの最新の推論技術を統合し、高速で正確な推論サービスを提供します。
ヘルプの使用
インストールと使用
- 登録とログイン::
- Together AIのウェブサイト(https://www.together.ai/)にアクセスし、「Start Building」ボタンをクリックして登録する。
- 登録が完了したら、アカウントにログインし、ユーザーコントロールパネルに移動します。
- セレクト・サービス::
- コントロールパネルで、推論API、微調整機能、GPUクラスタなど、使用するサービスモジュールを選択します。
- 必要に応じてサーバーレスまたは専用インスタンスモードを選択する。
- 推論APIの使用::
- Llama-3、RedPajamaなど、実行するオープンソースモデルを選択します。
- Together AI が提供する API インタフェースを通じて、モデルをアプリケーションに統合します。
- Together AI の組み込みエンドポイントを使用して、独自の RAG アプリケーションを構築します。
- 微調整機能::
- データセットをアップロードし、微調整が必要なモデルを選択します。
- 微調整パラメータを設定し、微調整プロセスを開始する。
- 微調整が完了したら、微調整したモデルをダウンロードし、デプロイする。
- GPUクラスタの使用状況::
- 希望するGPUクラスタサイズを選択し、ハードウェアパラメータを設定します。
- トレーニングデータとモデルコードをアップロードしてトレーニングを開始します。
- 学習が完了すると、学習済みモデルは推論やさらなる微調整のためにダウンロードされる。
- カスタムモデルのトレーニング::
- カスタムモデルトレーニングモジュールを選択して、モデルアーキテクチャとトレーニングパラメータを設定します。
- データセットをアップロードし、トレーニングプロセスを開始する。
- トレーニングが完了すると、モデルは展開と推論のためにダウンロードされる。
ワークフロー
- コントロールパネルへのアクセスログイン後、コントロールパネルで目的のサービスモジュールを選択します。
- 設定パラメータ必要に応じて、推論、微調整、トレーニングパラメータを設定します。
- データのアップロード必要なデータセットまたはモデルコードをアップロードします。
- ミッション開始推論、微調整、トレーニングのタスクを開始し、タスクの進捗状況をリアルタイムで監視します。
- ダウンロード結果タスク完了後、モデルや推論結果はアプリケーション統合のためにダウンロードされる。
一般的な問題
- 正しいモデルの選び方は?
- テキスト生成、画像認識など、アプリケーションのシナリオに基づいて適切なオープンソースモデルを選択します。
- 微調整中にエラーが発生した場合は?
- データセットのフォーマットとパラメーターの設定を確認し、公式ドキュメントを参照して調整してください。
- GPUクラスタ使用時のパフォーマンス低下?
- ハードウェア構成が要件を満たしていることを確認し、トレーニングパラメータを調整して効率を向上させる。
使用可能モデル
サーバーレス・エンドポイント | 著者 | タイプ | 価格(1Mあたり) トークン) | |
---|---|---|---|---|
メタラマ 3.2 11B ビジョン・インストラクター・ターボ | ||||
メタ | おしゃべり | $0.18 | ||
メタラマ3.2 90B ビジョン・インストラクター・ターボ | ||||
メタ | おしゃべり | $1.20 | ||
クウェン2.5 7Bインストラクター・ターボ | ||||
クウェン | おしゃべり | $0.30 | ||
Qwen2.5 72Bインストラクター・ターボ | ||||
クウェン | おしゃべり | $1.20 | ||
フラックス.1 [シュネル] | ||||
ブラックフォレスト・ラボ | イメージ | 価格を見る | ||
FLUX 1.1 [プロ] | ||||
ブラックフォレスト・ラボ | イメージ | 価格を見る | ||
FLUX.1 [プロ] | ||||
ブラックフォレスト・ラボ | イメージ | 価格を見る | ||
FLUX.1 [シュネル] 無料 | ||||
ブラックフォレスト・ラボ | イメージ | 価格を見る | ||
メタラマ 3.2 3B インストラクター・ターボ | ||||
メタ | おしゃべり | $0.06 | ||
メタ・ラマ・ビジョン 無料 | ||||
メタ | おしゃべり | 無料 | ||
メタ・ラマ・ガード3 11B ビジョン・ターボ | ||||
メタ | モデレーション | $0.18 | ||
メタラマ 3.1 8B インストラクター・ターボ | ||||
メタ | おしゃべり | $0.18 | ||
ミクストラル-8x22B インストラクター v0.1 | ||||
ミストラライ | おしゃべり | $1.20 | ||
安定拡散XL 1.0 | ||||
安定性AI | イメージ | 価格を見る | ||
メタラマ 3.1 70B インストラクター・ターボ | ||||
メタ | おしゃべり | $0.88 | ||
メタラマ 3.1 405B インストラクター・ターボ | ||||
メタ | おしゃべり | $3.50 | ||
Gryphe MythoMax L2 Lite (13B) | ||||
グリフェ | おしゃべり | $0.10 | ||
セールスフォース ラマランク V1 (8B) | ||||
セールスフォース | リランク | $0.10 | ||
メタ・ラマ・ガード 3 8B | ||||
メタ | モデレーション | $0.20 | ||
メタラマ3 70B インストラクター・ターボ | ||||
メタ | おしゃべり | $0.88 | ||
メタラマ3 70B インストラクター・ライト | ||||
メタ | おしゃべり | $0.54 | ||
メタラマ3 8Bインストラクター・ライト | ||||
メタ | おしゃべり | $0.10 | ||
メタラマ3 8Bインストラクター・ターボ | ||||
メタ | おしゃべり | $0.18 | ||
メタラマ3 70B インストラクター・リファレンス | ||||
メタ | おしゃべり | $0.90 | ||
メタラマ3 8B インストラクター・リファレンス | ||||
メタ | おしゃべり | $0.20 | ||
クウェン2インストラクター(72B) | ||||
クウェン | おしゃべり | $0.90 | ||
ジェンマ2インストラクター (27B) | ||||
グーグル インターネット企業 | おしゃべり | $0.80 | ||
ジェンマ-2 インストラクター (9B) | ||||
グーグル | おしゃべり | $0.30 | ||
ミストラル (7B)インストラクター v0.3 | ||||
ミストラライ | おしゃべり | $0.20 | ||
クウェン 1.5チャット (110B) | ||||
クウェン | おしゃべり | $1.80 | ||
メタ・ラマ・ガード 2 8B | ||||
メタ | モデレーション | $0.20 | ||
ウィザードLM-2 (8x22B) | ||||
マイクロソフト | おしゃべり | $1.20 | ||
DBRXインストラクター | ||||
データブリック | おしゃべり | $1.20 | ||
ディープシーク LLMチャット(67B) | ||||
ディープシーク | おしゃべり | $0.90 | ||
ジェマ・インストラクター(2B) | ||||
グーグル インターネット企業 | おしゃべり | $0.10 | ||
ミストラル (7B) インストラクター v0.2 | ||||
ミストラライ | おしゃべり | $0.20 | ||
ミクストラル-8x7B インストラクター v0.1 | ||||
ミストラライ | おしゃべり | $0.60 | ||
ミクストラル-8x7B v0.1 | ||||
ミストラライ | 言語 | $0.60 | ||
Qwen 1.5 チャット (72B) | ||||
クウェン | おしゃべり | $0.90 | ||
ラマ・ガード (7B) | ||||
メタ | モデレーション | $0.20 | ||
ヌーエルメス2 - ミクストラル 8x7B-DPO | ||||
ヌースリサーチ | おしゃべり | $0.60 | ||
ミストラル(7B)インストラクター | ||||
ミストラライ | おしゃべり | $0.20 | ||
ミストラル (7B) | ||||
ミストラライ | 言語 | $0.20 | ||
LLaMA-2 チャット (13B) | ||||
メタ | おしゃべり | $0.22 | ||
LLaMA-2 チャット (7B) | ||||
メタ | おしゃべり | $0.20 | ||
LLaMA-2 (70B) | ||||
メタ | 言語 | $0.90 | ||
コードラマ・インストラクター (34B) | ||||
メタ | おしゃべり | $0.78 | ||
アップステージ SOLAR インストラクター v1 (11B) | ||||
人気を攫う | おしゃべり | $0.30 | ||
M2-BERT-検索-32k | ||||
一緒に | 埋め込み | $0.01 | ||
M2-BERT-検索-8k | ||||
一緒に | 埋め込み | $0.01 | ||
M2-BERT-Retrieval-2K | ||||
一緒に | 埋め込み | $0.01 | ||
UAE-ラージ-V1 | ||||
WhereIsAI | 埋め込み | $0.02 | ||
BAAI-Bge-Large-1p5 | ||||
BAAI | 埋め込み | $0.02 | ||
BAAI-Bge-Base-1p5 | ||||
BAAI | 埋め込み | $0.01 | ||
MythoMax-L2 (13B) | ||||
グリフェ | おしゃべり | $0.30 |
使用例
モデル推論の例
インポート オス
インポート リクエスト
url = "https://api.together.xyz/v1/chat/completions"
ペイロード = {
「モデル: "mistralai/Mixtral-8x7B-Instruct-v0.1",
"max_tokens": 512,
温度: 0.7,
"top_p": 0.7,
"top_k": 50,
"repetition_penalty": 1
}
ヘッダー = {
「受け入れる: "application/json",
「コンテンツタイプ: "application/json",
"認可": "ベアラ TOGETHER_API_KEY"
}
response = requests.post(url, json=payload, headers=headers)
プリント(レスポンス.テキスト)
モデルの微調整の例
インポート オス
インポート リクエスト
url = "https://api.together.xyz/v1/fine-tune"
ペイロード = {
「モデル: "togethercomputer/llama-2-70b-chat",
「データ: "パス/to/your/data",
「エポック: 3,
「バッチサイズ: 8
}
ヘッダー = {
「受け入れる: "application/json",
「コンテンツタイプ: "application/json",
"認可": "ベアラ TOGETHER_API_KEY"
}
response = requests.post(url, json=payload, headers=headers)
プリント(レスポンス.テキスト)