울트라라이트 디지털 휴먼: 원클릭 설치 패키지로 초경량 디지털 휴먼을 실시간으로 실행하는 오픈 소스 엔드사이드 실시간 실행

일반 소개

Ultralight Digital Human 是一个开源项目，旨在开发一个超轻量级的数字人模型，可以在移动设备上实时运行。该项目通过优化算法和模型结构，实现了在移动端设备上的流畅运行，适用于社交应用、游戏和虚拟现实等多种场景。用户可以轻松训练和部署自己的数字人模型，享受个性化和沉浸式的体验。

关于在移动端上运行也是没问题的，只需要把现在这个模型通道数改小一点，音频特征用wenet就没问题了。

기능 목록

• 실시간 운영：模型可以在移动设备上实时运行，响应迅速。
• 경량 설계：优化后的模型结构，适合资源有限的移动设备。
• 오픈 소스 프로젝트：代码和模型完全开源，用户可以自由修改和使用。
• 멀티 시나리오 애플리케이션：适用于社交应用、游戏、虚拟现实等多种场景。
• 音频特征提取：支持 wenet 和 hubert 两种音频特征提取方案。
• 同步网络：通过 syncnet 技术提升唇形同步效果。
• 详细教程：提供详细的训练和使用教程，帮助用户快速上手。

도움말 사용

설치 프로세스

1. 환경 준비::
   • 安装 Python 3.10 及以上版本。
   • 安装 PyTorch 1.13.1 及其他依赖库：

     conda create -n dh python=3.10
     conda activate dh
     conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia
     conda install mkl=2024.0
     pip install opencv-python transformers numpy==1.23.5 soundfile librosa onnxruntime
     

2. 모델 파일 다운로드::
   • 从以下链接下载 wenet encoder.onnx 文件，并放置在 data_utils/ 카탈로그: 다운로드 링크

사용 프로세스

1. 准备视频::
   • 准备一个 3-5 分钟的视频，确保每一帧都有完整的面部曝光，声音清晰无杂音。
   • 将视频放置在一个新的文件夹中。
2. 提取音频特征::
   • 使用以下命令提取音频特征：

     cd data_utils
     python process.py YOUR_VIDEO_PATH --asr hubert
     

3. 교육 모델::
   • 训练 syncnet 模型以获得更好的效果：

     cd ..
     python syncnet.py --save_dir ./syncnet_ckpt/ --dataset_dir ./data_dir/ --asr hubert
     

   • 使用最低 loss 的 checkpoint 训练数字人模型：

     python train.py --dataset_dir ./data_dir/ --save_dir ./checkpoint/ --asr hubert --use_syncnet --syncnet_checkpoint syncnet_ckpt
     

4. 추론::
   • 提取测试音频特征：

     python extract_test_audio.py YOUR_TEST_AUDIO_PATH --asr hubert
     

   • 추론 실행:

     python inference.py --dataset ./data_dir/ --audio_feat ./your_test_audio_hu.npy --save_path ./output.mp4 --checkpoint ./checkpoint/best_model.pth
     

주의

• 确保视频帧率与所选的音频特征提取方案匹配：wenet 为 20fps，hubert 为 25fps。
• 在训练和推理过程中，定期监控模型的 loss 值，选择最优的 checkpoint 进行训练。

猴哥一键整合包

https://pan.baidu.com/s/19DcRlR0kJVg4bLb7snUrBQ?pwd=tct1

为方便大家实操，我把上述流程进行了整合和封装（包括模型权重和测试用例):

你只需傻瓜式操作：

step 0：安装依赖：

conda create -n udh python=3.10
conda activate udh
pip install -r requirements.txt

step 1：数据准备：

python data_prepare.py

step 2：模型训练：

python train.py

step 3：模型推理：

python inference.py