DreamTalk: создавайте выразительные разговорные видеоролики с помощью одного изображения аватара!

DreamTalk Общее введение

DreamTalk - это основанная на диффузионной модели система генерации выразительных говорящих голов, разработанная совместно Университетом Цинхуа, Alibaba Group и Хуачжунским университетом науки и технологий. Она состоит из трех основных компонентов: сети шумоподавления, эксперта по губам, учитывающего стиль, и предиктора стиля, и способна генерировать разнообразные и реалистичные говорящие головы на основе входного аудиосигнала. Система способна работать с многоязычным и шумным аудио, обеспечивая высокое качество движения лица и точную синхронизацию рта.

Список функций DreamTalk

Создавайте реалистичные видеоролики с говорящими головами на основе аудиозаписей
Поддержка нескольких языков и голосового ввода
Поддержка вывода нескольких стилей и выражений
Поддержка пользовательских аватаров персонажей и ссылок на стиль
Поддержка онлайн-демонстрации и загрузки кода

Помощь DreamTalk

Посетите домашнюю страницу проекта для получения дополнительной информации и демонстрационных видеороликов
Посетите адрес статьи, чтобы ознакомиться с техническими деталями и результатами экспериментов
Посетите адрес GitHub, чтобы загрузить код и предварительно обученную модель
Следуйте руководству по установке для настройки среды и зависимостей
Запустите inference_for_demo_video.py для рассуждения и генерации видео
Настройте параметры ввода и вывода в соответствии с описанием параметров

Адрес онлайн-опыта DreamTalk

Свойства DreamTalk Java с открытым исходным кодом

Рабочая среда DreamTalk colab