EchoMimic : portraits audio pour générer des vidéos parlantes (EchoMimicV2 accelerated installer)

Introduction générale

EchoMimic est un projet open source visant à générer des animations de portraits réalistes à partir de données audio. Développé par la division Terminal Technologies d'Ant Group, le projet utilise des conditions de points de repère modifiables pour générer des vidéos de portraits dynamiques combinant des points de repère audio et faciaux. EchoMimic a été comparé de manière exhaustive à de nombreux ensembles de données publics et propriétaires, démontrant ses performances supérieures dans les évaluations quantitatives et qualitatives.

EchoMimicV2版本优化推理速度，加入手势动作，推荐。

演示地址：https://www.modelscope.cn/studios/BadToBest/BadToBest V2：https://huggingface.co/spaces/fffiloni/echomimic-v2

Liste des fonctions

• 音频驱动动画：通过音频输入生成逼真的肖像动画。
• 标志点驱动动画：利用面部标志点生成稳定的肖像动画。
• 音频+标志点驱动：结合音频和选定的面部标志点生成更自然的肖像动画。
• Prise en charge multilingue：支持中文、英文等多种语言的音频输入。
• Raisonnement efficace：优化后的模型和管道显著提高了推理速度。

Utiliser l'aide

Processus d'installation

1. Télécharger le code: :

   git clone https://github.com/BadToBest/EchoMimic
   cd EchoMimic
   

2. Configuration de l'environnement Python: :
   • 推荐使用conda创建虚拟环境：

     conda create -n echomimic python=3.8
     conda activate echomimic
     

   • Installer les paquets de dépendances :

     pip install -r requirements.txt
     

3. 下载并解压ffmpeg-static: :
   • 下载ffmpeg-static并解压，然后设置环境变量：

     export FFMPEG_PATH=/path/to/ffmpeg-4.4-amd64-static
     

4. Télécharger les poids de pré-entraînement: :
   • 根据项目说明下载相应的预训练模型权重。

Processus d'utilisation

1. 运行Web界面: :
   • Lancer l'interface web :

     python webgui.py
     

   • 访问本地服务器查看界面并上传音频文件进行动画生成。
2. raisonnement en ligne de commande: :
   • 使用以下命令进行音频驱动的肖像动画生成：

     python infer_audio2vid.py --audio_path /path/to/audio --output_path /path/to/output
     

   • 结合标志点进行推理：

     python infer_audio2vid_pose.py --audio_path /path/to/audio --landmark_path /path/to/landmark --output_path /path/to/output
     

3. Optimisation du modèle: :
   • 使用优化后的模型和管道可以显著提高推理速度，例如在V100 GPU上从7分钟/240帧提高到50秒/240帧。

mise en garde

• 确保使用的Python版本和CUDA版本与项目要求一致。
• 在使用过程中，如遇到问题，可以参考项目的README文件或在GitHub上提交issue寻求帮助。

Windows 一键安装包

链接：https://pan.quark.cn/s/cc973b142d41
提取码：5T57

EchoMimicV2加速版下载

夸克：https://pan.quark.cn/s/12acd147a758

百度：https://pan.baidu.com/s/1z8tiuGtN29luQ7Cg2zHJ8Q?pwd=9e8x