DH live : AI digital people pour une interaction fluide en temps réel sur les cartes graphiques de la série 30/40

Introduction générale

DH_live est un projet d'humain numérique en temps réel basé sur l'apprentissage par échantillonnage, qui vise à fournir aux utilisateurs une expérience de streaming en direct fluide et interactive. Le projet prend en charge les cartes graphiques NVIDIA des séries 30 et 40 et est capable de fonctionner en temps réel à plus de 25 images par seconde. Les utilisateurs peuvent créer et utiliser des humains numériques en quelques étapes simples, ce qui permet de générer des vidéos audio et d'interagir en temps réel.

Liste des fonctions

• Performances en temps réel : Prise en charge des cartes graphiques NVIDIA des séries 30 et 40 pour une expérience interactive fluide en temps réel.
• Apprentissage à partir d'un petit nombre d'exemples : le système est capable d'apprendre à partir d'un petit nombre d'exemples pour générer des réponses réalistes.
• Préparation de la vidéo : utilisez le script data_preparation pour préparer les données vidéo.
• Pilote audio : permet de piloter des personnes numériques à travers des fichiers audio pour générer des vidéos synchronisées.
• Entrée microphone en temps réel : prend en charge les opérations en temps réel via le microphone.

Utiliser l'aide

Création de l'environnement et décompression du fichier modèle

1. Créer un environnement virtuel et l'activer :

   conda create -n dh_live python=3.12
   conda activate dh_live
   

2. Installer la dépendance :

   pip install torch --index-url https://download.pytorch.org/whl/cu124
   pip install -r requirements.txt
   

3. Décompressez les fichiers du modèle :
   • Linux.

     cd checkpoint
     cat render.pth.gz.001 render.pth.gz.002 > render.pth.gz
     gzip -d -c render.pth.gz > render.pth
     

   • Windows : Extraire le fichier du point de contrôle à l'aide de 7zip ou WinRAR.

Préparation de la vidéo

1. utiliser data_preparation.py Vidéo de préparation du scénario :

   python data_preparation.py YOUR_VIDEO_PATH
   

   Les résultats seront stockés dans la base de données ./video_data Catalogue.

Utilisation de fichiers audio

1. Assurez-vous que le fichier audio est au format .wav, avec une fréquence d'échantillonnage de 16 kHz, 16 bits mono.
2. Exécutez le script de démonstration :

   python demo.py video_data/test video_data/audio0.wav 1.mp4
   

fonctionnement en temps réel

1. Utiliser le microphone pour des opérations en temps réel :

   python demo_avatar.py
   

problèmes courants

• Échec de la décompression du fichier modèleLes fichiers des sous-volumes doivent être complets et correctement décompressés.
• Format de fichier audio incorrectPour l'instant, il s'agit d'un fichier .wav conforme.

Installateur DH live en un clic

Lien : https://pan.quark.cn/s/5a34bc9c2f76
Code de l'extrait : sZT4