DreamTalk : générez des vidéos parlantes expressives avec une seule image d'avatar !

DreamTalk 综合介绍

DreamTalk est un cadre de génération de têtes parlantes expressives basé sur un modèle de diffusion, développé conjointement par l'université de Tsinghua, le groupe Alibaba et l'université des sciences et technologies de Huazhong. Il se compose de trois éléments principaux : un réseau de réduction du bruit, un expert en lèvres sensible au style et un prédicteur de style. Il est capable de générer des têtes parlantes diverses et réalistes sur la base d'entrées audio. Il est capable de générer des têtes parlantes diverses et réalistes sur la base d'une entrée audio. Le cadre est capable de gérer des données audio multilingues et bruyantes, de fournir des mouvements faciaux de haute qualité et une synchronisation précise de la bouche.

DreamTalk 功能列表

根据音频生成逼真的说话头部视频
支持多种语言和语音输入
支持多种风格和表情的输出
支持自定义人物头像和风格参考
支持在线演示和代码下载

DreamTalk 使用帮助

访问项目主页查看更多信息和演示视频
访问论文地址阅读技术细节和实验结果
访问GitHub地址下载代码和预训练模型
遵循安装指南配置环境和依赖
运行inference_for_demo_video.py进行推理和生成视频
根据参数说明调整输入和输出选项

DreamTalk在线体验地址

DreamTalk开源地址

DreamTalk colab运行环境