Maestro: ein Tool zur Vereinfachung des Prozesses der Feinabstimmung von Modellen der gängigen visuellen Open-Source-Sprachen

Allgemeine Einführung

Maestro ist ein von Roboflow entwickeltes Tool, das den Prozess der Feinabstimmung multimodaler Modelle vereinfacht und beschleunigt, sodass jeder seine eigenen visuellen Sprachmodelle trainieren kann. Es bietet vorgefertigte Rezepte für die Feinabstimmung beliebter visueller Sprachmodelle (VLMs) wie Florence-2, PaliGemma 2 und Qwen2.5-VL. Maestro ermöglicht es den Benutzern, die Feinabstimmung von Modellen effizienter durchzuführen, indem es die besten Verfahren in den Kernmodulen kapselt, die sich mit der Konfiguration, dem Laden von Daten, der Reproduzierbarkeit und den Einstellungen der Trainingsschleife beschäftigen.

Funktionsliste

• KonfigurationsmanagementAutomatischer Umgang mit der Konfigurationsdatei des Modells zur Vereinfachung des Einrichtungsprozesses.
• Laden von DatenUnterstützung für mehrere Datenformate, automatische Datenvorverarbeitung und Laden.
• Einrichtung des TrainingszyklusStandardisierte Ausbildungszyklen, um die Wiederholbarkeit des Ausbildungsprozesses zu gewährleisten.
• fertige FormelBietet eine Vielzahl von Feinabstimmungsrezepten für Modelle, die der Benutzer direkt verwenden kann.
• Befehlszeilenschnittstelle (CLI)Der Feinabstimmungsprozess wird durch einen einfachen Befehl in der Befehlszeile eingeleitet.
• Python-APIBietet eine flexible Python-Schnittstelle, mit der Sie den Feinabstimmungsprozess individuell gestalten können.
• KochbücherDetaillierte Anleitungen und Beispiele für einen schnellen Einstieg in die Anwendung.

Hilfe verwenden

Einbauverfahren

1. Erstellen einer virtuellen UmgebungDa verschiedene Modelle widersprüchliche Abhängigkeiten haben können, empfiehlt es sich, für jedes Modell eine eigene Python-Umgebung zu erstellen.

   python -m venv maestro_env
source maestro_env/bin/activate

2. Installieren von AbhängigkeitenInstallieren Sie bei Bedarf modellspezifische Abhängigkeiten.

   pip install "maestro[paligemma_2]"

Verwendung der Befehlszeilenschnittstelle (CLI)

1. Grundierung und FeinabstimmungStarten Sie den Feinabstimmungsprozess über die Befehlszeilenschnittstelle, indem Sie Schlüsselparameter wie den Ort des Datensatzes, die Anzahl der Trainingsrunden, die Stapelgröße, die Optimierungsstrategie und die Bewertungsmetriken angeben.

   maestro paligemma_2 train \
--dataset "dataset/location" \
--epochs 10 \
--batch-size 4 \
--optimization_strategy "qlora" \
--metrics "edit_distance"

Verwendung der Python-API

1. Trainingsfunktionen importierenImportieren Sie die Trainingsfunktion aus dem entsprechenden Modul und definieren Sie die Konfiguration im Wörterbuch.

   from maestro.trainer.models.paligemma_2.core import train
config = {
"dataset": "dataset/location",
"epochs": 10,
"batch_size": 4,
"optimization_strategy": "qlora",
"metrics": ["edit_distance"]
}
train(config)

Kochbücher verwenden

Maestro bietet detaillierte Kochbücher, mit denen die Benutzer lernen können, wie sie verschiedene VLMs für eine Vielzahl von visuellen Aufgaben feinabstimmen können:

• Feinabstimmung von Florence-2 für die Zielerfassung mit LoRA
• Feinabstimmung von PaliGemma 2 für die Extraktion von JSON-Daten mit LoRA
• Feinabstimmung mit QLoRA Qwen2.5-VL JSON-Datenextraktion durchführen