Wav2Lip : outil open source de génération de synchronisation labiale de haute précision (recommandé)

Introduction générale

Wav2Lip 是一个开源的高精度口型同步生成工具，旨在将任意音频与视频中的口型进行精准同步。该工具由 Rudrabha Mukhopadhyay 等人在 ACM Multimedia 2020 上发布，利用先进的 AI 技术，能够在各种环境下实现高质量的口型同步。Wav2Lip 适用于研究、学术和个人用途，提供了完整的训练代码、推理代码和预训练模型。

项目已经很久没有迭代，这是一个最近的优化版：Easy-Wav2Lip : outil de synchronisation labiale vidéo de haute qualité, optimisé pour Wav2Lip 。关于 Wav2Lip 如何集成你可以参考 Translation Starter : Outil de synchronisation de traduction de contenu vidéo Open Source | Conversion de langue | Lip Sync .

Wav2Lip 在 Sync Labs 提供免费托管。

Colab笔记：

https://colab.research.google.com/drive/1IjFW1cLevs6Ouyu4Yht4mnR4yeuMqO7Y#scrollTo=Qgo-oaI3JU2u

https://colab.research.google.com/drive/1tZpDWXz49W6wDcTprANRGLo2D_EbD5J8?usp=sharing

Liste des fonctions

• 高精度口型同步 ：将任意音频与视频中的口型进行精准同步。
• Prise en charge multilingue : fonctionne avec une grande variété de langues et de sons, y compris des visages CGI et des sons synthétiques.
• Open source et gratuit : le code est entièrement public, et les utilisateurs sont libres de l'utiliser et de le modifier.
• Démonstration interactive : fournit une démonstration en ligne où les utilisateurs peuvent télécharger des fichiers vidéo et audio pour en faire l'expérience.
• Modèles de pré-entraînement : les modèles de pré-entraînement sont nombreux et les utilisateurs peuvent les utiliser directement ou les utiliser pour l'entraînement secondaire.
• 完整的训练代码 ：包括口型同步判别器和 Wav2Lip 模型的训练代码。

Utiliser l'aide

Processus d'installation

1. 克隆仓库 ：
   bash复制

git clonehttps://github.com/Rudrabha/Wav2Lip

1. 安装依赖 ：
   bash复制

pip install -r requirements.txt

1. 下载预训练模型 ：将预训练模型下载到指定目录，例如 face_detection/detection/sfd/s3fd.pth.
2. 运行推理代码 ：
   bash复制

python inference.py --checkpoint_path <ckpt> --face <video.mp4> --audio <an-audio-source>

Processus d'utilisation

1. Accès au serveur local : Ouvrir dans le navigateur http://localhost:3000.
2. 输入提示 ：在输入框中输入你想生成的图像描述，图像会实时生成。
3. 查看和下载图像 ：生成的图像会显示在页面上，未来版本将添加下载按钮。
4. 使用一致性模式 ：启用一致性模式以生成一致的图像，保持背景或主要对象的一致性。
5. 查看图像历史 ：使用图像历史功能查看所有生成的图像，并在它们之间导航。

Fonctionnalités avancées

• 增强提示 ：使用增强提示选项优化生成结果。
• 选择模型 ：根据需要选择不同的AI模型。
• 自定义开发 ：由于Wav2Lip是开源的，用户可以根据自己的需求进行二次开发。

Wav2Lip Windows一键安装包（内存优化版）

链接：https://pan.quark.cn/s/4755eabcdf52
提取码：Xr86