Wav2Lip: 오픈 소스 고정밀 립싱크 생성 도구(권장)

일반 소개

Wav2Lip 是一个开源的高精度口型同步生成工具，旨在将任意音频与视频中的口型进行精准同步。该工具由 Rudrabha Mukhopadhyay 等人在 ACM Multimedia 2020 上发布，利用先进的 AI 技术，能够在各种环境下实现高质量的口型同步。Wav2Lip 适用于研究、学术和个人用途，提供了完整的训练代码、推理代码和预训练模型。

项目已经很久没有迭代，这是一个最近的优化版：Easy-Wav2Lip: 고품질 비디오 립싱크를 위한 도구로, Wav2Lip에 최적화되어 있습니다. 。关于 Wav2Lip 如何集成你可以参考 번역 스타터: 오픈 소스 비디오 콘텐츠 번역 동기화 도구 | 언어 변환 | 립싱크 .

Wav2Lip 在 동기화 랩 提供免费托管。

Colab笔记：

https://colab.research.google.com/drive/1IjFW1cLevs6Ouyu4Yht4mnR4yeuMqO7Y#scrollTo=Qgo-oaI3JU2u

https://colab.research.google.com/drive/1tZpDWXz49W6wDcTprANRGLo2D_EbD5J8?usp=sharing

기능 목록

• 高精度口型同步 ：将任意音频与视频中的口型进行精准同步。
• 다국어 지원: CGI 얼굴과 합성 사운드를 포함한 다양한 언어와 사운드로 작업할 수 있습니다.
• 오픈 소스 및 무료: 코드는 완전히 공개되며 사용자는 자유롭게 사용하고 수정할 수 있습니다.
• 대화형 데모: 사용자가 비디오 및 오디오 파일을 업로드하여 체험할 수 있는 온라인 데모를 제공합니다.
• 사전 교육 모델: 다양한 사전 교육 모델을 제공하여 사용자가 직접 사용하거나 2차 교육을 받을 수 있습니다.
• 完整的训练代码 ：包括口型同步判别器和 Wav2Lip 模型的训练代码。

도움말 사용

설치 프로세스

1. 克隆仓库 ：
   bash复制

git clonehttps://github.com/Rudrabha/Wav2Lip

1. 安装依赖 ：
   bash复制

pip install -r requirements.txt

1. 下载预训练模型 ：将预训练模型下载到指定目录，例如 face_detection/detection/sfd/s3fd.pth.
2. 运行推理代码 ：
   bash复制

python inference.py --checkpoint_path <ckpt> --face <video.mp4> --audio <an-audio-source>

사용 프로세스

1. 로컬 서버에 액세스: 브라우저에서 열기 http://localhost:3000.
2. 输入提示 ：在输入框中输入你想生成的图像描述，图像会实时生成。
3. 查看和下载图像 ：生成的图像会显示在页面上，未来版本将添加下载按钮。
4. 使用一致性模式 ：启用一致性模式以生成一致的图像，保持背景或主要对象的一致性。
5. 查看图像历史 ：使用图像历史功能查看所有生成的图像，并在它们之间导航。

고급 기능

• 增强提示 ：使用增强提示选项优化生成结果。
• 选择模型 ：根据需要选择不同的AI模型。
• 自定义开发 ：由于Wav2Lip是开源的，用户可以根据自己的需求进行二次开发。

Wav2Lip Windows一键安装包（内存优化版）

链接：https://pan.quark.cn/s/4755eabcdf52
提取码：Xr86