Тонкая пластина-сплайн-модель движения: статическая карта портрета Эталонное видео генерации движения портрета Видео

Общее введение

Thin-Plate-Spline-Motion-Model - новаторский проект по созданию анимации изображений, представленный на CVPR 2022. В основе проекта лежит теория тонкопластинчатого сплайн-преобразования, позволяющая создавать высококачественную анимацию статичных изображений на основе видео движения. В проекте используется сквозная система обучения без контроля, которая особенно хорошо справляется с ситуациями, когда между исходным изображением и видеозаписью вождения существует большая разница в позах. Благодаря инновационным методам оценки движения с помощью тонкого сплайна и маскировки в нескольких разрешениях, модель может генерировать более естественные и плавные анимационные эффекты. Проект не только предоставляет открытый исходный код полной реализации, но и предоставляет предварительно обученную модель и онлайн-демонстрацию, что позволяет исследователям и разработчикам легко воспроизвести и применить эту технику.

Что делать, если представитель публичного образа уходит? Вы можете сохранить изображение представителя, а затем попросить кого-то другого записать видео так, чтобы изображение представителя имитировало действия записанной видеозаписи для создания видео, подобно технологии замены лиц.

Список функций

• Создание анимации статических изображений
• Поддержка обучения на нескольких наборах данных (VoxCeleb, TaiChi-HD, TED-talks и т. д.)
• Предварительно обученные модели доступны для загрузки
• Поддержка веб-презентаций (интеграция Hugging Face Spaces)
• Поддерживает работу Google Colab в режиме онлайн
• Поддержка обучения на нескольких графических процессорах
• Обеспечивает функцию обучения сети AVD (Advanced Video Decoder)
• Функция оценки реконструкции видео
• Поддержка вызовов Python API
• Поддержка среды Docker

Использование помощи

1. конфигурация окружающей среды

Для проекта требуется среда Python 3.x (рекомендуется Python 3.9), а шаги по установке следующие:

1. Хранилище проектов клонирования:

git clone https://github.com/yoyo-nb/Thin-Plate-Spline-Motion-Model.git
cd Thin-Plate-Spline-Motion-Model

2. Установите зависимость:

pip install -r requirements.txt

2. подготовка данных

Проект поддерживает множество наборов данных:

• Набор данных MGif: обратитесь к проекту Monkey-Net, чтобы получить его
• Наборы данных TaiChiHD и VoxCeleb: обработка в соответствии с рекомендациями по предварительной видеообработке
• Набор данных TED-talks: в соответствии с руководящими принципами проекта MRAA

Загрузка набора данных для предварительной обработки (на примере VoxCeleb):

# 下载后合并解压
cat vox.tar.* > vox.tar
tar xvf vox.tar

3. Обучение модели

Приказы о базовом обучении:

CUDA_VISIBLE_DEVICES=0,1 python run.py --config config/dataset_name.yaml --device_ids 0,1

Обучение работе с сетью AVD:

CUDA_VISIBLE_DEVICES=0 python run.py --mode train_avd --checkpoint '{checkpoint_folder}/checkpoint.pth.tar' --config config/dataset_name.yaml

4. Оценка видеореконструкции

CUDA_VISIBLE_DEVICES=0 python run.py --mode reconstruction --config config/dataset_name.yaml --checkpoint '{checkpoint_folder}/checkpoint.pth.tar'

5. графические анимационные презентации

Предлагает множество способов использования:

1. Jupyter Notebook: использование demo.ipynb
2. Командная строка Python:

CUDA_VISIBLE_DEVICES=0 python demo.py --config config/vox-256.yaml --checkpoint checkpoints/vox.pth.tar --source_image ./source.jpg --driving_video ./driving.mp4

3. Веб-демонстрация:
   • интервьюОбнимающиеся лицаОнлайн-демонстрация
   • пользоватьсяРепликацияВеб-демонстрация платформы
   • пройти (законопроект, проверку и т.д.)Google Colabбыть в движении

6. приобретение модели для предварительного обучения

Предусмотрено несколько источников загрузки:

• Google Диск
• Яндекс Диск
• Baidu.com (код извлечения: 1234)

7. Оговорки

• Для получения лучших результатов рекомендуется проводить тренировки с большим количеством данных и более длительными циклами обучения
• Обеспечьте достаточный объем памяти GPU
• Для обучения рекомендуется использовать предварительно обработанный набор данных