VACE: модель с открытым исходным кодом для создания и редактирования видео (не открыта)

Общее введение

VACE - это проект с открытым исходным кодом, разработанный Alitongyi Visual Intelligence Lab (ali-vilab) и ориентированный на создание и редактирование видео. Это универсальный инструмент, объединяющий множество функций, таких как генерация видео на основе ссылок, редактирование существующего видеоконтента, изменение локализации и так далее. Официально выпущенный в марте 2025 года, проект ставит своей целью дать пользователям возможность выполнять сложные задачи по обработке видео с помощью одной модели. Разработанный с учетом гибкости и эффективности, VACE поддерживает свободное комбинирование функций, что делает его подходящим для создателей, разработчиков и даже обычных пользователей. Его код размещен на GitHub, поэтому любой желающий может бесплатно скачать, изучить или улучшить его. Команда разработчиков опирается на мощную техническую поддержку Ali и сочетает последние достижения в области искусственного интеллекта и обработки видео, чтобы предоставить пользователям мощную, но практичную платформу для творчества.

Список функций

• Видео эталонного поколения (R2V): Генерирование совершенно нового видеоконтента на основе заданных исходных материалов, таких как изображения или видеоклипы.
• Редактирование видео с видео (V2V): Изменение общего стиля или содержания существующего видео, например корректировка цветового тона или замена фона.
• Редактирование видео с маской (MV2V): Поддерживается локальное редактирование, позволяющее пользователям выбирать определенные области видео для изменения с помощью маски.
• управление движением: Настраивает траекторию движения объектов в видео, например, заставляет персонажа двигаться в заданную позицию.
• Замена основного корпуса: Замените субъект (например, человека или объект) в видео на что-то другое.
• Расширение экрана: Расширение видеокадра для создания кадров за пределами исходных границ.
• Поколение анимации: Преобразование неподвижных изображений в динамические анимационные эффекты.

Использование помощи

VACE - это проект с открытым исходным кодом, предназначенный в основном для пользователей с определенной технической базой. У него нет готового графического интерфейса, и его нужно запускать через код. Ниже представлено подробное руководство, которое поможет вам быстро начать работу.

Процесс установки

1. Подготовка среды
   • Убедитесь, что на вашем компьютере установлен Python 3.9 или выше. Вы можете сделать это в командной строке, набрав python --version Проверьте.
   • Установите инструмент Git для загрузки кода с GitHub, который можно загрузить с сайта git-scm.com для пользователей Windows и Mac. brew install git Установка.
   • Необходима поддержка NVIDIA GPU и CUDA, поскольку VACE полагается на ускорение GPU. Если у вас нет GPU, вы можете попробовать режим CPU, но производительность будет снижена.
2. Код загрузки
   • Откройте терминал (CMD или PowerShell для Windows, Terminal для Mac).
   • Введите следующую команду, чтобы клонировать репозиторий VACE:

     git clone https://github.com/ali-vilab/VACE.git
     

   • После завершения клонирования перейдите в папку с проектом:

     cd VACE
     

3. Установка зависимостей
   • VACE требует поддержки некоторых библиотек Python. Для их установки выполните следующую команду:

     pip install -r requirements.txt
     

   • Если вы получаете ошибку, проверьте подключение к сети или обновите трубопровод (с помощью pip install --upgrade pip).
   • Для пользователей GPU обязательно установите PyTorch и соответствующую версию CUDA, например:

     pip install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu118
     

4. Проверка установки
   • После завершения установки выполните простую тестовую команду, чтобы убедиться, что среда в порядке:

     python -c "import torch; print(torch.cuda.is_available())"
     

   • Если возврат TrueЕсли это FalseЕсли у вас нет установки CUDA, вам может потребоваться проверить установку CUDA.

Как использовать

Работа VACE в основном осуществляется через командную строку, где пользователю необходимо написать конфигурационные файлы и запустить Python-скрипты. Ниже приводится подробное описание основных функций.

Функция 1: Видео опорного поколения (R2V)

• перейти
  1. Подготовьте справочный материал, например, изображение (JPG, PNG) или видео (формат MP4).
  2. Создайте файл конфигурации, например config_r2v.yamlСодержание относится к примерам на GitHub (обычно находится в configs (папка). В файле конфигурации указывается путь к входу и параметры выхода, такие как разрешение, частота кадров и т. д.
  3. Выполните команду в терминале:

     python inference.py --cfg config_r2v.yaml
     

  4. Созданное видео сохраняется в указанной выходной папке (по умолчанию output (папка).
• типичный пример
  • Введите в файл конфигурации изображение маленького мальчика с описанием: "Маленький мальчик бежит направо по солнечному свету". При запуске VACE генерирует видеоролик с бегущим мальчиком.

Функция 2: Редактирование видео в видео (V2V)

• перейти
  1. Подготовьте видео, которое необходимо отредактировать, например input.mp4.
  2. Редактирование файла конфигурации config_v2v.yamlЕсли вы хотите изменить фон на луг, задайте цель редактирования, например, "Изменить фон на луг".
  3. Выполнить команду:

     python inference.py --cfg config_v2v.yaml
     

  4. Отредактированное видео будет сохранено автоматически.
• типичный пример
  • Вводим видео с городской улицей, в файле конфигурации указываем "Заменить фон на лес", в результате получаем персонажа, идущего по лесу.

Функция 3: Редактирование видео с маской (MV2V)

• перейти
  1. Подготовьте видео и файл маски (маска - это черно-белое изображение, белая область обозначает часть редактирования).
  2. В файле конфигурации config_mv2v.yaml Укажите путь видео и путь маски в разделе "Маска" и задайте содержание редактирования, например "Заменить область маски львом".
  3. Выполнить команду:

     python inference.py --cfg config_mv2v.yaml
     

  4. Просмотрите результаты, и замаскированная область будет заменена.
• типичный пример
  • Войдите в видеозапись кофейни, выберите чашки на столе в маске, замените на "котенок", в результате на столе появится кот.

Функция 4: Управление движением и замена предметов

• перейти
  1. Подготовьте видеоролик и описание целевого действия, например, "Заставьте лошадь бежать влево".
  2. Задайте параметры действия или замените тело (например, "лошадь заменена коровой") в файле конфигурации.
  3. Выполните команду, чтобы создать новое видео.
• типичный пример
  • Введите видео с верховой ездой, установите "Лошадь, бегущая вправо, заменить на фиолетововолосого всадника", в результате появится фиолетововолосый всадник, бегущий вправо на лошади.

Меры предосторожности при обращении

• Формат файла конфигурации: YAML-файлы строгие, следите за отступами и синтаксисом.
• требования к оборудованиюРекомендуется использовать : GPU с не менее чем 12 ГБ оперативной памяти, в противном случае вам может потребоваться настройка параметров для уменьшения объема памяти.
• Советы по отладке: Если что-то пошло не так, проверьте журналы терминала, обычно это ошибки пути или отсутствие зависимостей.
• Поддержка общества: Вы можете задавать вопросы на странице Issues на GitHub, и разработчики и сообщество помогут ответить на них.

Выполнив эти действия, вы сможете легко создавать и редактировать видео с помощью VACE. Его сила заключается в гибкости, которая позволяет реализовать широкий спектр творческих идей при условии, что вы знакомы с конфигурацией.