DragAnything: генерация видео на основе кремния с управлением движением для твердых объектов на изображениях

Общее введение

DragAnything - это проект с открытым исходным кодом, целью которого является достижение управления движением произвольных объектов через представление сущностей. Разработанный командой Showlab и принятый в ECCV 2024, DragAnything предоставляет удобный способ взаимодействия с объектами, просто рисуя линию траектории для управления их движением. Проект поддерживает одновременное управление движением нескольких объектов, включая движение переднего плана, фона и камеры. DragAnything превосходит существующие современные методы по ряду показателей, особенно для управления движением объектов.

Список функций

• Представление сущностей: используйте встраивание открытого поля для представления любого объекта.
• Управление траекторией: управление движением объекта осуществляется путем построения линий траектории.
• Управление несколькими объектами: поддерживает одновременное управление движением переднего плана, фона и камеры.
• Интерактивные демонстрации: поддержка интерактивных демонстраций с помощью Gradio.
• Поддержка наборов данных: поддерживаются наборы данных VIPSeg и Youtube-VOS.
• Высокая производительность: превосходные показатели в FVD, FID и пользовательских исследованиях.

Использование помощи

Процесс установки

1. Клонируйте код проекта:

   git clone https://github.com/showlab/DragAnything.git
cd DragAnything

2. Создайте и активируйте среду Conda:

   conda create -n DragAnything python=3.8
conda activate DragAnything

3. Установите зависимость:

   pip install -r requirements.txt

4. Подготовьте набор данных:
   • Загрузите наборы данных VIPSeg и Youtube-VOS в ./data Каталог.

Использование

1. Запустите интерактивную демонстрацию:

   python gradio_run.py

Откройте браузер и перейдите по указанному адресу, чтобы начать работу с интерактивной демонстрацией.

2. Управляет движением объекта:
   • Нарисуйте траекторную линию на входном изображении и выберите объект, которым хотите управлять.
   • Запустите скрипт для создания видео:

    python demo.py --input_image <path_to_image> --trajectory <path_to_trajectory>
   

   • Созданное видео будет сохранено в указанной директории.
3. Настройте траекторию движения:
   • Используйте инструмент Co-Track для обработки собственных файлов аннотаций треков движения.
   • Поместите обработанные файлы в указанную директорию и запустите скрипт для создания видео.

Основные функции

• физическое представление: Представьте любой объект с помощью встраивания в открытое поле, без необходимости ручного аннотирования объекта.
• Управление траекторией: Пользователь может управлять движением объекта, просто рисуя линию траектории на входном изображении.
• многообъектное управление: Поддерживает управление движением нескольких объектов одновременно, включая передний план, фон и камеру.
• Интерактивная презентация: С помощью интерактивного интерфейса Gradio пользователи могут наблюдать за эффектами управления движением в режиме реального времени.
• высокая производительность: Отличная производительность в FVD, FID и пользовательских исследованиях, особенно в управлении движением объекта.