Maestro：主流のオープンソース視覚言語のモデルの微調整プロセスを簡素化するツール

はじめに

MaestroはRoboflowによって開発されたツールで、マルチモーダルモデルのファインチューニングプロセスを簡素化、高速化し、誰もが独自のビジュアルグランドモデルをトレーニングできるようにします。Florence-2、PaliGemma 2、Qwen2.5-VLなどの一般的な視覚言語モデル(VLM)のファインチューニングのための既成のレシピを提供します。Maestroは、設定、データロード、再現性、トレーニングループ設定を扱うコアモジュールにベストプラクティスをカプセル化することで、ユーザがより効率的にモデルのファインチューニングを行うことを可能にします。

機能一覧

• 構成管理モデルの設定ファイルを自動的に処理し、設定プロセスを簡素化します。
• データロード複数のデータ形式をサポートし、データの前処理と読み込みを自動化。
• トレーニング・サイクルの設定標準化されたトレーニングサイクルを提供し、トレーニングプロセスの再現性を確保します。
• 既製フォーミュラユーザーが直接使用できる、モデル用のさまざまな微調整レシピを提供します。
• コマンドラインインターフェイス (CLI)微調整のプロセスは、シンプルなコマンドライン命令によって開始される。
• Python API: 微調整プロセスをカスタマイズできる柔軟なPythonインターフェースを提供します。
• 料理本詳細なチュートリアルとサンプルで、すぐに使い始めることができます。

ヘルプの使用

設置プロセス

1. 仮想環境の構築モデルによって依存関係が衝突する可能性があるため、モデルごとに専用のPython環境を作成することをお勧めします。

   python -m venv maestro_env
ソース maestro_env/bin/activate

2. 依存関係のインストール必要に応じてモデル固有の依存関係をインストールします。

   pip install "maestro[paligemma_2]"

コマンドラインインターフェイス（CLI）の使用

1. プライミングと微調整コマンドラインインターフェースを使用して、データセットの場所、トレーニングラウンド数、バッチサイズ、最適化戦略、評価指標などの主要パラメータを指定し、微調整プロセスを開始します。

   maestro paligemma_2 train  \
--dataset "dataset/location"  \
---epochs 10
---バッチサイズ 4
--optimisation_strategy "qlora" ୧--metrics "edit_distance" ୧--.
---metrics "edit_distance"

Python APIを使う

1. トレーニング機能のインポート対応するモジュールからトレーニング関数をインポートし、辞書に設定を定義する。

   from maestro.trainer.models.paligemma_2.core import train
config = {
"dataset": "dataset/location"、


"optimisation_strategy": "qlora"、
"metrics": ["edit_distance"].
}
train(config)

料理本を使う

Maestroは詳細なクックブックを提供し、ユーザーが様々なビジュアルタスクで異なるVLMを微調整する方法を学ぶのに役立ちます：

• LoRAによるターゲット検出のためのFlorence-2の微調整
• LoRAによるJSONデータ抽出のためのPaliGemma 2の微調整
• QLoRAによるJSONデータ抽出のためのQwen2.5-VLの微調整