Sonic: портретные изображения с аудиоуправлением создают цифровые демонстрационные видеоролики с яркой мимикой

Общее введение

Sonic - это инновационная платформа, ориентированная на глобальное восприятие звука и предназначенная для создания ярких портретных анимаций, управляемых звуком. Разработанная командой исследователей из Tencent и Чжэцзянского университета, платформа использует аудиоинформацию для управления мимикой и движениями головы, создавая естественные и плавные анимационные видео. Основные технологии Sonic включают в себя обучение аудио с учетом контекста, контроллеры, развязанные с движением, и модули слияния позиционных сдвигов с учетом времени. Эти технологии позволяют Sonic генерировать стабильные и реалистичные длинные видео с различными стилями изображений и различными типами аудиовходов.

Код и весовые коэффициенты для этого проекта будут выпущены (уже выпущены) после того, как он пройдет внутреннюю проверку на открытость.Инструкции по установке для пользователей Windows.

Демо: https://huggingface.co/spaces/xiaozhongji/Sonic

Список функций

• Аудиообучение с расширенным контекстом: Извлечение аудиознаний из длительных временных отрезков позволяет получить априорную информацию о выражениях лица и движениях губ.
• Контроллер развязки движения: Независимое управление движениями головы и выражения лица для более естественной анимации.
• Слияние позиционных сдвигов с учетом времени: Слияние глобальной аудиоинформации для создания длинного и стабильного видео.
• Универсальная генерация видео: Поддержка различных стилей изображений и различных разрешений для создания видео.
• Сравнение с методами с открытым и закрытым исходным кодом: Демонстрирует сильные стороны Соника в выражении и естественном движении головы.

Использование помощи

Процесс установки

Платформа Sonic в настоящее время проходит внутреннюю проверку с открытым исходным кодом, и по ее завершении код и весовые коэффициенты будут выложены на GitHub. Пользователи могут установить и использовать Sonic, выполнив следующие действия:

1. Посетите страницу Sonic на GitHub.
2. Хранилище клонирования:git clone https://github.com/jixiaozhong/Sonic.git
3. Установите зависимость:pip install -r requirements.txt
4. Загрузите предварительно обученные веса модели и поместите их в указанную директорию.

Процесс использования

1. Подготовка к вводу данных: Собирает видеоизображения и аудиофайлы, которые необходимо сгенерировать для анимации.
2. Запустите сгенерированный скрипт: Запустите процесс генерации с помощью предоставленных скриптов, например:python generate.py --image input.jpg --audio input.wav
3. Параметры настройки: Настройте параметры в сценарии генерации так, как это необходимо для достижения наилучших результатов.
4. Просмотр выходных данных: Созданное видео будет сохранено в указанном выходном каталоге.

Детальное управление функциями

• Аудиообучение с расширенным контекстом: Обучаясь на длинных отрезках аудио, Sonic способен улавливать тонкие изменения в звуке, чтобы создавать более естественные выражения лица и движения губ.
• Контроллер развязки движения: Контроллер отдельно обрабатывает движения головы и выражения лица, что делает создаваемую анимацию более реалистичной. Пользователи могут оптимизировать эффект анимации, настраивая параметры контроллера.
• Слияние позиционных сдвигов с учетом времени: Этот модуль обеспечивает стабильность сгенерированного видео в течение длительного периода времени за счет слияния глобальной аудиоинформации. Пользователь может контролировать плавность и стабильность видео, настраивая параметры временного окна.
• Универсальная генерация видео: Sonic поддерживает различные стили изображений (например, мультяшные, реалистичные) и несколько разрешений для создания видео. Пользователи могут выбирать подходящие изображения и аудиовходы в соответствии со своими потребностями и генерировать видеоэффекты, которые соответствуют их ожиданиям.

Sonic One-Click Installer

Baidu: https://pan.baidu.com/share/init?surl=iCR4l4ClSRZswm1E2K_NNA&pwd=8520