SadTalker : Faire parler les photos | Audio Synchronisation de la bouche | Vidéo Synchronisation de la bouche synthétisée | Personnes numériques gratuites

Introduction générale

SadTalker est un outil open source qui combine une simple photo de portrait avec un fichier audio pour créer des vidéos réalistes de têtes parlantes pour un large éventail de scénarios tels que des messages personnalisés, des contenus éducatifs, etc. L'utilisation révolutionnaire de technologies de modélisation 3D telles que ExpNet et PoseVAE permet de capturer les expressions faciales et les mouvements de tête les plus subtils. Les utilisateurs peuvent utiliser la technologie SadTalker pour des projets personnels et commerciaux tels que la messagerie, l'enseignement ou le marketing.

Améliorations recommandées :SVLS : SadTalker amélioré pour générer des personnes numériques à partir de portraits vidéoLe dernier ajout à la liste est une personne numérique générée par vidéo, qui est passée d'une personne numérique générée par photo à une personne numérique générée par vidéo, et dont l'élocution est plus fluide grâce à la technologie d'insertion d'images.

Liste des fonctions

Synchronisation des mouvements et expressions du visage à l'aide de l'audio

• Convertir des photos portrait en vidéos animées
• Animation synchronisée des lèvres des fichiers audio

Favorise le mode corps entier et la fonction d'amélioration de l'expression

Fournit une interface WebUI configurable

La technologie peut être utilisée grâce à l'intégration de Discord

Fournir une documentation détaillée sur le développement et l'utilisation

Prise en charge de Windows, Linux/Unix et macOS

Utiliser l'aide

Installer les logiciels Anaconda, Python et git nécessaires
Suivez la documentation pour installer l'environnement et télécharger le modèle.
Génération d'animations à l'aide de l'interface WebUI native ou de l'interface de ligne de commande

Attention :

• Pour obtenir les meilleurs résultats, choisissez une photo claire et de face.
• Utiliser des fichiers audio clairs pour garantir la précision de la synchronisation labiale

En fonction des ressources disponibles sur le web, voici les étapes de base pour utiliser SadTalker :

1. Préparation de l'environnement:
   • Si vous n'avez pas d'environnement Python, installez Anaconda.
   • Installez NVIDIA cuda-toolkit pour utiliser l'accélération GPU sur les ordinateurs équipés de cartes graphiques NVIDIA. Le traitement sera plus lent si seul le CPU est utilisé.
2. Installation du modèle et de la bibliothèque:
   • Téléchargez et installez les fichiers de modèles et de bibliothèques nécessaires. Ces fichiers doivent généralement être placés dans un répertoire spécifique tel que./checkpoints/peut-être./gfpgan/weights/.
3. Installation de la bibliothèque vidéo FFMPEG:
   • Installez FFMPEG, qui est nécessaire pour générer des vidéos.
4. Installation de la bibliothèque de conversion vocale TTS:
   • Installez la bibliothèque edge-tts pour convertir le texte en parole.
5. Utilisation de l'interface Web:
   • En cliquant sur le boutonwebui.batLancez l'interface Web de SadTalker.
   • Dans l'interface Web, téléchargez l'image dans la zone spécifiée et définissez les paramètres de conversion de la personne numérique.
   • Après avoir généré une vidéo humaine numérique, vous pouvez visualiser les résultats dans l'interface.
6. Utilisation de la ligne de commande:
   • Si vous souhaitez plus d'options, SadTalker peut être utilisé par le biais d'un script de ligne de commande.
   • Si vous utilisez la ligne de commande, vous pouvez exécutertask.shpour générer facilement des tâches.
7. mise en garde:
   • Lorsque vous l'utilisez, assurez-vous que l'image est de bonne qualité pour obtenir les meilleurs résultats.
   • Si une erreur est rencontrée, telle quelibiomp5md.dllConflits, essayez de les trouver dans la rubriqueapp.pyDéfinition de variables d'environnement dansKMP_DUPLICATE_LIB_OK=TRUEpour le réparer.

Les étapes ci-dessus sont basées sur des tutoriels en ligne et sur l'expérience des utilisateurs, et l'opération exacte peut varier. Il est recommandé de se référer à la documentation officielle de SadTalker et aux tutoriels de la communauté pour obtenir les instructions les plus récentes et les plus détaillées.

Installation de SadTalker

SadTalker Téléchargements Windows

SadTalker fonctionne en ligne gratuitement sur WebUI

visage étreint  google colab