드림톡: 하나의 아바타 이미지로 표현력 있는 토킹 동영상을 생성하세요!

DreamTalk 综合介绍

드림톡은 칭화대학교, 알리바바 그룹, 화중과학기술대학교가 공동으로 개발한 확산 모델 기반의 표현형 토킹 헤드 생성 프레임워크입니다. 노이즈 감소 네트워크, 스타일 인식 립 전문가, 스타일 예측기의 세 가지 주요 구성 요소로 구성되어 있으며, 오디오 입력을 기반으로 다양하고 사실적인 토킹 헤드를 생성할 수 있습니다. 이 프레임워크는 다국어와 잡음이 있는 오디오를 모두 처리할 수 있어 고품질의 얼굴 모션과 정확한 입 동기화를 제공합니다.

DreamTalk 功能列表

根据音频生成逼真的说话头部视频
支持多种语言和语音输入
支持多种风格和表情的输出
支持自定义人物头像和风格参考
支持在线演示和代码下载

DreamTalk 使用帮助

访问项目主页查看更多信息和演示视频
访问论文地址阅读技术细节和实验结果
访问GitHub地址下载代码和预训练模型
遵循安装指南配置环境和依赖
运行inference_for_demo_video.py进行推理和生成视频
根据参数说明调整输入和输出选项

DreamTalk在线体验地址

DreamTalk开源地址

DreamTalk colab运行环境