MatAnyone: инструмент с открытым исходным кодом для извлечения видео с указанием целевого портрета, генерации видео с целевым портретом

Общее введение

MatAnyone - это проект с открытым исходным кодом, ориентированный на кеинг видео, разработанный исследовательской группой в S-Lab, Наньянский технологический университет, Сингапур, и опубликованный на GitHub. Он предоставляет пользователям стабильные и эффективные возможности обработки видео благодаря последовательной технике распространения памяти и особенно хорошо справляется с задачами кеинга в сложных фоновых условиях. Проект, запущенный в 2025 году такими исследователями, как Пейцин Ян (Peiqing Yang), объединяет передовые алгоритмы компьютерного зрения для сценариев, требующих высококачественной сегментации видео, таких как постпродакшн кино и телевидения, замена виртуального фона и т. д. Основная сила MatAnyone заключается в модуле слияния памяти, который способен тонко сохранять детали границ объектов, сохраняя семантическую стабильность основной области. Проект привлек внимание академического сообщества и сообщества разработчиков открытого кода и выпущен под лицензией NTU S-Lab License 1.0, которая позволяет пользователям бесплатно скачивать, использовать и изменять код.

Список функций

• Целевая заданная видеоподстройка: Поддерживает заданную пользователем привязку к конкретным объектам, подходит для сегментации видео людей или других динамических объектов.
• Когерентная передача памяти: Обеспечение когерентного ключевого результата между видеокадрами с помощью регионального адаптивного слияния памяти.
• Высококачественная обработка границ: Сохранение мелких деталей краев объектов и повышение точности кеинга для профессионального редактирования видео.
• Предсказание маски первого кадра: Прогнозирует альфа-мат последующих кадров на основе маски сегментации первого кадра без дополнительных вспомогательных данных.
• Поддержка открытых источников: Предоставляется полный код и документация, позволяющие оптимизировать или доработать программу под нужды пользователя.
• Кросс-платформенная совместимость: Работает на различных операционных системах и легко интегрируется разработчиками в существующие рабочие процессы.

Использование помощи

Процесс установки

MatAnyone - это проект с открытым исходным кодом на GitHub, который требует наличия базовой среды программирования Python и инструментов Git. Ниже приведены шаги по установке MatAnyone:

1. Подготовка окружающей среды

• операционная системаПоддерживаются Windows, Linux или macOS.
• зависимость от программного обеспечения::
  • Python 3.8 или выше.
  • Git (для клонирования кода с GitHub).
  • Conda (рекомендуется для создания виртуальных сред).
• требования к оборудованию: Для ускорения процесса вывода рекомендуется использовать графический процессор (например, видеокарту NVIDIA), процессор также может работать, но с меньшей скоростью.

2. Загрузка кода

Откройте терминал или командную строку и введите следующую команду, чтобы клонировать репозиторий MatAnyone:

git clone https://github.com/pq-yang/MatAnyone.git
cd MatAnyone

Это позволит загрузить файлы проекта в локальный каталог.

3. Создание виртуальных сред

Используйте Conda для создания и активации отдельного окружения Python и избегайте конфликтов зависимостей:

conda create -n matanyone python=3.8 -y
conda activate matanyone

4. Установка зависимостей

В корневом каталоге проекта выполните следующую команду для установки необходимых библиотек Python:

pip install -r requirements.txt

Зависимости requirements.txt В комплект входят все необходимые для проекта библиотеки, такие как PyTorch, OpenCV и т. д. Если у вас возникли проблемы с сетью, попробуйте изменить источник pip (например, используя pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt).

5. загрузка предварительно обученных моделей

Для работы MatAnyone требуются предварительно обученные файлы моделей. Авторы предоставляют ссылку для загрузки модели на странице проекта (обычно в README.md), которую пользователь должен скачать вручную и поместить в указанную папку (например. models/ (Каталог). Конкретные шаги:

• Посетите страницу проекта на GitHub (https://github.com/pq-yang/MatAnyone).
• Найдите ссылку на скачивание модели в README (она может указывать на Google Drive или Hugging Face).
• Загрузите и распакуйте файлы моделей в папку MatAnyone/models/ Каталог.

6. Проверка установки

Выполните следующую команду, чтобы проверить, успешно ли настроена среда:

python test.py

Если ошибок нет, установка завершена, и вы можете приступать к работе.

Основные функции

Основная особенность MatAnyone - это видео-ключ с указанием цели, и вот основные шаги по его использованию:

Функция 1: Целевая видеоподборка ключей

1. Подготовка к вводу видео::
   • Поместите видеофайл для обработки (например. input_video.mp4) в каталог проекта под data/ (вы можете создать эту папку вручную, если она не существует).
   • Убедитесь, что формат видео поддерживается (например, MP4, AVI) и что разрешение умеренное (слишком высокое может потребовать больше вычислительных ресурсов).
2. Создайте маску первого кадра::
   • С помощью внешнего инструмента, например Photoshop или инструмента сегментации с открытым исходным кодом, создайте маску сегментации целевого объекта для первого кадра видео (в формате PNG, с белым цветом для целевой области и черным для фона).
   • Имя файла маски mask_frame1.pngвкладывать в data/masks/ Папка.
3. Выполните команду создания ключей::
   Перейдите в каталог проекта в терминале и выполните следующую команду:

   python inference.py --video data/input_video.mp4 --mask data/masks/mask_frame1.png --output output/
   

   • --video Указывает путь входного видеосигнала.
   • --mask Указывает первый путь маски кадра.
   • --output Укажите выходную папку, и результат будет сохранен в виде видеофайла с прозрачным фоном.
4. Посмотреть результаты::
   • После завершения обработки откройте output/ папку, сгенерированное видео с ключом будет сохранено как последовательность кадров или как полное видео (в зависимости от конфигурации).

Функция 2: Последовательное распространение памяти

• теория: MatAnyone обеспечивает согласованность результатов обработки ключей во временном измерении, запоминая особенности предыдущего кадра и внедряя их в обработку текущего кадра.
• буровая установка: Дополнительная настройка не требуется, эта функция встроена в процесс вывода. Если указана маска первого кадра, программа будет автоматически распространять память кадр за кадром.
• Советы по оптимизации::
  • Если на видео происходят резкие изменения освещения, настройте параметры в файле конфигурации (например. memory_fusion_rate), описание параметров см. config.yaml Документация.
  • Пример команды настройки:

    python inference.py --video data/input_video.mp4 --mask data/masks/mask_frame1.png --config config.yaml --output output/
    

Функция 3: Высококачественная обработка границ

• Метод включения: Включено по умолчанию, дополнительных действий не требуется. Программа автоматически оптимизирует детали кромок.
• подтвердить (теорию): При обработке видео со сложным фоном (например, волосы персонажа развеваются на ветру) обратите внимание на то, насколько естественны границы в выходном видео.
• улучшающий эффект: Если результаты не удовлетворяют, попробуйте увеличить разрешение вывода, добавив команду --resolution 1080 Параметры:

  python inference.py --video data/input_video.mp4 --mask data/masks/mask_frame1.png --resolution 1080 --output output/
  

Меры предосторожности при использовании

• вычислительный ресурс: Обработка происходит быстрее в среде GPU. Если используется CPU, рекомендуется сократить длину видео (менее 30 секунд), чтобы уменьшить время ожидания.
• Качество маски первого кадра: Точность маски напрямую влияет на результаты последующих кадров, поэтому рекомендуется тщательная прорисовка, особенно в краевых областях.
• ссылка на документацию: В случае возникновения проблем обратитесь к README.md Или свяжитесь с автором по адресу peiqingyang99@outlook.com.
• Поддержка общества: Страница GitHub Issues содержит отзывы пользователей и решения, поэтому рекомендуется регулярно проверять ее на наличие обновлений.

Выполнив все вышеперечисленные действия, пользователи смогут быстро начать работу с MatAnyone и пройти весь процесс от установки до создания видео. Будь то профессиональное редактирование или исследования и разработки, MatAnyone обеспечивает стабильную техническую поддержку.