StableAnimator: генерирует высококачественную видеоанимацию, сохраняющую черты персонажа.

Общее введение

StableAnimator - это инновационная система сквозной диффузии видео с сохранением идентичности, способная синтезировать высококачественное видео на основе эталонного изображения и серии поз без какой-либо постобработки. Разработанный в сотрудничестве с исследователями из Фуданьского университета, Microsoft Research Asia, Huya Inc и Университета Карнеги-Меллона, StableAnimator обеспечивает идентичность в видео. Фреймворк демонстрирует высокие результаты в различных бенчмарках и генерирует портретные анимации с высокой точностью, сохраняющие идентичность.

Список функций

• Сохранение идентичности Создание видео: Создание высококачественных видеороликов на основе эталонных изображений и последовательностей поз для обеспечения соответствия идентичности.
• Без постобработки: Полученное видео не требует постобработки с помощью инструментов для смены лиц или моделей восстановления лица.
• Глобальный кодировщик лиц с учетом содержимого: Дальнейшая оптимизация встраивания лица путем взаимодействия с встраиванием изображения.
• Адаптер идентификации с учетом распределения: Предотвращение вмешательства временного уровня при сохранении согласованности идентификации.
• Оптимизация по Гамильтону-Якоби-Беллману: Качество лица еще больше повышается благодаря решению уравнения HJB в процессе рассуждения.

Использование помощи

Процесс установки

1. склад клонов: Клонируйте репозиторий StableAnimator, выполнив следующую команду в терминале:

   git clone https://github.com/Francis-Rings/StableAnimator.git

2. Установка зависимостей: Перейдите в каталог репозитория и установите необходимые зависимости:

   cd StableAnimator
pip install -r requirements.txt

3. Запуск приложения: Для запуска приложения используйте следующую команду:

   python app.py

Процесс использования

1. Подготовка эталонных изображений и последовательностей поз: Убедитесь, что у вас есть эталонное изображение и серия изображений поз, которые будут использоваться для создания анимации.
2. Запуск сценариев вывода: Используйте следующую команду, чтобы запустить сценарий вывода для создания видеоанимации:

   python inference_basic.py --reference_image path_to_reference_image --pose_sequence path_to_pose_sequence

3. Просмотр сгенерированных результатов: Созданное видео будет сохранено в указанном выходном каталоге, и вы сможете просмотреть результат с помощью любого видеоплеера.

Детальное управление функциями

• Сохранение идентичности Создание видео: Предоставляя эталонное изображение и последовательность поз, StableAnimator способен генерировать высококачественную видеоанимацию, гарантируя, что идентичность людей на видео соответствует эталонному изображению.
• Глобальный кодировщик лиц с учетом содержимого: Этот модуль дополнительно оптимизирует встраивание лица, взаимодействуя с встраиванием изображения, чтобы обеспечить высокую точность передачи деталей лица в сгенерированном видео.
• Адаптер идентификации с учетом распределения: Во время создания видео модуль обеспечивает согласованность идентичности в видео с помощью методов выравнивания, которые предотвращают интерференцию временных слоев.
• Оптимизация по Гамильтону-Якоби-Беллману: Качество и согласованность лиц в сгенерированном видео еще больше повышается благодаря решению уравнения HJB в процессе вывода.