Maestro: инструмент для упрощения процесса тонкой настройки моделей основных визуальных языков с открытым исходным кодом

Общее введение

Maestro - это инструмент, разработанный компанией Roboflow для упрощения и ускорения процесса тонкой настройки мультимодальных моделей, чтобы каждый мог обучать свои собственные визуальные модели. Он предоставляет готовые рецепты для тонкой настройки популярных визуальных языковых моделей (ВЯМ), таких как Florence-2, PaliGemma 2 и Qwen2.5-VL. Maestro позволяет пользователям выполнять тонкую настройку моделей более эффективно за счет инкапсуляции лучших практик в основные модули, которые занимаются конфигурацией, загрузкой данных, воспроизводимостью и настройками цикла обучения.

Список функций

• управление конфигурацией: Автоматически обрабатывает файл конфигурации модели, упрощая процесс настройки.
• Загрузка данных: Поддержка множества форматов данных, автоматическая предварительная обработка и загрузка данных.
• Настройка тренировочного цикла: Обеспечивает стандартизированные циклы обучения для обеспечения повторяемости процесса обучения.
• готовая формула: Предоставляет множество рецептов тонкой настройки моделей, которые пользователи могут использовать напрямую.
• Интерфейс командной строки (CLI): Процесс тонкой настройки запускается простой командой командной строки.
• API Python: Предоставляет гибкий интерфейс Python, позволяющий настраивать процесс тонкой настройки.
• Кулинарные книгиПодробные руководства и примеры помогут пользователям быстро освоиться.

Использование помощи

Процесс установки

1. Создание виртуальной среды: Поскольку различные модели могут иметь конфликтующие зависимости, рекомендуется создать специальное окружение Python для каждой модели.

   python -m venv maestro_env
source maestro_env/bin/activate

2. Установка зависимостей: При необходимости установите специфические для модели зависимости.

   pip install "maestro[paligemma_2]"

Использование интерфейса командной строки (CLI)

1. грунтовка и тонкая настройка: Запустите процесс тонкой настройки с помощью интерфейса командной строки, указав такие ключевые параметры, как расположение набора данных, количество раундов обучения, размер партии, стратегию оптимизации и метрики оценки.

   maestro paligemma_2 train \
--dataset "dataset/location" \
--epochs 10 \
--batch-size 4 \
--optimization_strategy "qlora" \
--metrics "edit_distance"

Использование API Python

1. Импорт функций обучения: Импортируйте функцию обучения из соответствующего модуля и определите конфигурацию в словаре.

   from maestro.trainer.models.paligemma_2.core import train
config = {
"dataset": "dataset/location",
"epochs": 10,
"batch_size": 4,
"optimization_strategy": "qlora",
"metrics": ["edit_distance"]
}
train(config)

Использование кулинарных книг

Maestro предоставляет подробные "Поваренные книги", чтобы помочь пользователям научиться тонко настраивать различные VLM на различных визуальных задачах:

• Тонкая настройка Florence-2 для обнаружения целей с помощью LoRA
• Тонкая настройка PaliGemma 2 для извлечения данных в формате JSON с помощью LoRA
• Тонкая настройка с помощью QLoRA Qwen2.5-VL Выполните извлечение данных в формате JSON