EchoMimic: 오디오 기반 인물 사진으로 말하는 동영상 생성(EchoMimicV2 가속 설치 프로그램)

일반 소개

에코미믹은 오디오로 사실적인 인물 애니메이션을 생성하는 것을 목표로 하는 오픈 소스 프로젝트입니다. 앤트 그룹의 터미널 기술 부서에서 개발한 이 프로젝트는 편집 가능한 마커 포인트 조건을 활용하여 오디오와 얼굴 마커 포인트를 결합한 역동적인 인물 동영상을 생성하며, 여러 공개 및 독점 데이터 세트에서 종합적으로 비교하여 정량적, 정성적 평가 모두에서 우수한 성능을 입증했습니다.

EchoMimicV2版本优化推理速度，加入手势动作，推荐。

演示地址：https://www.modelscope.cn/studios/BadToBest/BadToBest V2：https://huggingface.co/spaces/fffiloni/echomimic-v2

기능 목록

• 音频驱动动画：通过音频输入生成逼真的肖像动画。
• 标志点驱动动画：利用面部标志点生成稳定的肖像动画。
• 音频+标志点驱动：结合音频和选定的面部标志点生成更自然的肖像动画。
• 다국어 지원：支持中文、英文等多种语言的音频输入。
• 효율적인 추론：优化后的模型和管道显著提高了推理速度。

도움말 사용

설치 프로세스

1. 코드 다운로드::

   git clone https://github.com/BadToBest/EchoMimic
   cd EchoMimic
   

2. 设置Python环境::
   • 推荐使用conda创建虚拟环境：

     conda create -n echomimic python=3.8
     conda activate echomimic
     

   • 종속성 패키지를 설치합니다:

     pip install -r requirements.txt
     

3. 下载并解压ffmpeg-static::
   • 下载ffmpeg-static并解压，然后设置环境变量：

     export FFMPEG_PATH=/path/to/ffmpeg-4.4-amd64-static
     

4. 사전 트레이닝 웨이트 다운로드::
   • 根据项目说明下载相应的预训练模型权重。

사용 프로세스

1. 运行Web界面::
   • 启动Web界面：

     python webgui.py
     

   • 访问本地服务器查看界面并上传音频文件进行动画生成。
2. 명령줄 추론::
   • 使用以下命令进行音频驱动的肖像动画生成：

     python infer_audio2vid.py --audio_path /path/to/audio --output_path /path/to/output
     

   • 结合标志点进行推理：

     python infer_audio2vid_pose.py --audio_path /path/to/audio --landmark_path /path/to/landmark --output_path /path/to/output
     

3. 모델 최적화::
   • 使用优化后的模型和管道可以显著提高推理速度，例如在V100 GPU上从7分钟/240帧提高到50秒/240帧。

주의

• 确保使用的Python版本和CUDA版本与项目要求一致。
• 在使用过程中，如遇到问题，可以参考项目的README文件或在GitHub上提交issue寻求帮助。

Windows 一键安装包

链接：https://pan.quark.cn/s/cc973b142d41
提取码：5T57

EchoMimicV2加速版下载

夸克：https://pan.quark.cn/s/12acd147a758

百度：https://pan.baidu.com/s/1z8tiuGtN29luQ7Cg2zHJ8Q?pwd=9e8x