DreamTalk: ¡Genera expresivos vídeos parlantes con una sola imagen de avatar!

DreamTalk 综合介绍

DreamTalk es un marco de generación de cabezas parlantes expresivas basado en modelos de difusión, desarrollado conjuntamente por la Universidad de Tsinghua, Alibaba Group y la Universidad de Ciencia y Tecnología de Huazhong. Consta de tres componentes principales: una red de reducción de ruido, un experto en estilo labial y un predictor de estilo, y es capaz de generar cabezas parlantes diversas y realistas a partir de una entrada de audio. El marco es capaz de manejar audio multilingüe y ruidoso, y proporciona un movimiento facial de alta calidad y una sincronización precisa de la boca.

DreamTalk 功能列表

根据音频生成逼真的说话头部视频
支持多种语言和语音输入
支持多种风格和表情的输出
支持自定义人物头像和风格参考
支持在线演示和代码下载

DreamTalk 使用帮助

访问项目主页查看更多信息和演示视频
访问论文地址阅读技术细节和实验结果
访问GitHub地址下载代码和预训练模型
遵循安装指南配置环境和依赖
运行inference_for_demo_video.py进行推理和生成视频
根据参数说明调整输入和输出选项

DreamTalk在线体验地址

DreamTalk开源地址

DreamTalk colab运行环境