ボルケーノ・アーク：ビッグモデルのトレーニングとクラウド・コンピューティング・サービス、150ドル相当の算術に申し込む

はじめに

Volcano Arkは、Volcano Engineが立ち上げたビッグモデルサービスに特化したクラウドコンピューティングプラットフォームで、モデルの選択、トレーニングからアプリケーションまで、完全なソリューションを企業に提供することを目的としています。AI分野におけるByteDanceの深い蓄積に基づき、Volcano Arkは、Baichuan Intelligence、MiniMaxなど、複数のトップAI企業のビッグモデルリソースを統合し、自然言語処理や画像生成などのマルチシナリオアプリケーションをカバーします。すぐに使える事前学習済みモデルや、カスタマイズされたモデルの微調整が必要な場合でも、Volcano Arkはその強力なクラウドインフラストラクチャを通じて需要を満たすことができます。Volcano Ark は、金融、教育、電子商取引などの業界で幅広く利用されており、企業が大規模なモデルを迅速に導入し、インテリジェンスを向上させるのに役立っています。

機能一覧

• モデルスクエア訓練済みのマクロモデルが幅広く用意されており、ユーザーが必要に応じて選択して直接使用することができます。
• モデリングと微調整特定のビジネスシナリオに合わせてビッグモデルを微調整するためのデータのアップロードをサポートします。
• 推論サービスビッグモデルによるリアルタイムデータ処理（テキスト生成、Q&Aなど
• クラウドトレーニング大規模なトレーニングタスクをサポートするために、大規模モデル用の高性能なコンピューティングリソースを提供します。
• 評価ツール大規模なモデルのパフォーマンスをテストするための評価機能を内蔵。
• APIドッキングビッグモデルの機能を企業システムに組み込むためのインターフェースを提供する。
• 安全性大規模なモデルデータと計算プロセスのセキュリティとコンプライアンスを確保する。

ヘルプの使用

登録とログイン

1. 公式サイトに入るタイプhttps://console.volcengine.com/ark/".
2. アカウント登録::
   • 右上の「登録」をクリックし、携帯電話番号またはメールアドレスを入力し、パスワードを設定してください。
   • キャプチャ認証が完了したら、アカウントを有効化します。
3. ログインプラットフォーム::
   • 初回ログイン時には、より多くの機能をアンロックするためにビジネス情報をバインドする必要がある場合があります。

主な機能

1.大型モデル（モデルスクエア）の選定

• **モデル広場へのアクセスログイン後、左のナビゲーションバーから「モデルプラザ」をクリックしてください。
• モデルを見る::
  • このページには、複数の大きなモデル（言語モデル、画像モデルなど）が表示され、それぞれに適用可能なシナリオ（インテリジェントなカスタマーサービス、テキスト生成など）がラベル付けされている。
  • モデル名をクリックすると、パラメータサイズや対応言語などの詳細情報が表示されます。
• モデルの使用::
  • 大きなモデルを選択し、"ワークスペースに追加 "をクリックすると、以降の操作に使用できます。

2.モデルの微調整

• タスクの作成::
  • Model Finishing "に移動し、"New Finishing Task "をクリックします。
• データのアップロード::
  • ビジネス関連のデータセット（TXT、CSV形式をサポート）を準備し、「ファイルをアップロード」をクリックします。
  • データは、対象となるモデルの入力形式（言語モデリング用のプレーンテキストなど）と一致する必要がある。
• パラメータの設定::
  • ベースとなる大きなモデルを選択し、トレーニング・パラメーター（学習率、バッチ・サイズなど）を調整する。
  • デフォルトのパラメーターは初めての試みに適しており、上級ユーザーにはカスタマイズが可能です。
• 微調整開始::
  • Start Training "をクリックすると、プラットフォームがクラウドGPUリソースを呼び出して実行します。
  • タスク管理」で進捗状況を確認し、完了したら微調整した大型モデルをダウンロードする。

3.データ推論

• 新しい推論::
  • 推論サービス」の「新規推論タスク」をクリックします。
• 入力データ::
  • 手入力（例：質問）または一括データアップロード（例：CSVファイル）。
• 大きなモデルを動かす::
  • ワークスペースで大きなモデルを選択し、"Run "をクリックします。
  • システムは、生成されたテキストや分析結果などの結果を返し、直接ダウンロードしたり閲覧したりすることができる。
• アプリケーションシナリオカスタマーサービスへの回答、記事の要約などを作成。

4.クラウドベースのトレーニング

• 環境設定::
  • Cloud Trainingで、計算リソース（例：マルチGPU構成）を選択します。
• リソースのアップロード::
  • カスタムコード（PyTorchスクリプトなど）とトレーニングデータセットをアップロードする。
• エグゼクティブ・トレーニング::
  • Start Training "をクリックすると、プラットフォームは大規模なモデルトレーニングを実行するためのリソースを割り当てます。
  • トレーニングログはリアルタイムで表示され、パラメーターはいつでも調整できる。

5.モデル評価

• レビューへ::
  • 評価ツール」に移動し、テストしたい大型モデルを選択する。
• テストセットのアップロード::
  • ラベル付けされたデータ（例：質問と回答のペア）を入力し、「評価開始」をクリックします。
• 結果を見る::
  • システムは、グラフィカルに表示されるメトリクス（精度、F1スコアなど）を生成する。
  • モデル最適化のための評価レポートのエクスポートをサポート。

注目の機能

ビッグモデルAPIドッキング

• キーを入手する::
  • Developer Centre "の "Generate API Key "をクリックし、適切に保存する。
• 統合システム::
  • Volcano Ark SDKをダウンロードし、ドキュメントに従って環境を設定する。
  • サンプルコード（Python）：

    from volcengine.ark import ArkClient
    client = ArkClient(api_key='your key')
    result = client.inference(model_id='モデルID', input='Hello')
    print(result)
    

• 使用スマートQ&Aシステムのような企業アプリケーションにビッグモデル機能を組み込む。

大規模モデルのセキュリティ管理

• 特権割当::
  • セキュリティ管理でチームのアクセスレベルを設定します。
• データ保護::
  • デフォルトで暗号化された送信、ユーザーがストレージの暗号化を有効にするためのサポート。
• コンプライアンス::
  • 内蔵ツールは、業界規制に準拠しているかデータをチェックします。

ヒントとコツ

• データ準備大規模なモデルの性能に影響を与える余計なノイズを避けるため、微調整の前にデータの品質を確認する。
• 資源モニタリング合理的なタスクプランニングのために「課金管理」でコンピューティングリソースの消費量を表示します。
• サポート・チャンネルご不明な点は、ヘルプセンターのドキュメントをご確認いただくか、カスタマーサービスまでお問い合わせください。

以上の手順により、ユーザーはVolcano Arkの大型モデル機能をフルに活用し、選択から微調整、適用までの一連のプロセスを簡単に実現することができる。