DisPose : production de vidéos avec contrôle précis de la posture humaine, création de dames dansantes

Introduction générale

DisPose est un projet innovant d'intelligence artificielle open source axé sur la génération d'animations contrôlées d'images de personnages. Développé par une équipe de chercheurs et ouvert sur GitHub, le projet utilise des techniques avancées d'apprentissage profond pour obtenir un contrôle précis de l'animation des personnages en décomposant les informations de pose du squelette.L'innovation principale de DisPose est de décomposer les informations de pose du squelette clairsemées en deux composants clés, à savoir le guidage du champ de mouvement et la correspondance entre les points clés, et cette approche unique permet d'obtenir une animation plus naturelle et plus fluide avec un plus grand nombre de points clés. Cette approche unique rend l'animation générée plus naturelle, plus fluide et plus contrôlable. Le projet fournit non seulement une implémentation complète du code, mais inclut également des modèles pré-entraînés pour permettre aux chercheurs et aux développeurs de déployer et d'utiliser rapidement cette technologie.

Articles similaires :StableAnimator : génère des animations vidéo de haute qualité qui conservent les caractéristiques du personnage.

Liste des fonctions

• Détection de la posture humaine et extraction des points clés
• Génération et contrôle des terrains de sport
• Compositing de l'animation de l'image du personnage
• Contrôle précis de plusieurs articulations
• Détails du visage et des mains
• Capacité de traitement vidéo par lots
• Migration posturale et réorientation des mouvements
• Estimation et suivi de l'attitude en temps réel
• Réglage des paramètres de contrôle de l'animation personnalisée
• Sortie d'animation de haute qualité

Utiliser l'aide

1. configuration de l'environnement

DisPose nécessite la configuration de base suivante de l'environnement :

• Python 3.10 ou version ultérieure
• PyTorch 2.0.1 et supérieur
• TorchVision 0.15.2 et plus
• CUDA 12.4 (pour l'accélération GPU)

Étapes de l'installation :

# 创建conda环境
conda create -n dispose python==3.10
conda activate dispose
# 安装依赖
pip install -r requirements.txt

2. préparation du modèle

1. Téléchargez le fichier des poids du modèle pré-entraîné de Hugging Face :
   • Visitez le site https://huggingface.co/lihxxx/DisPose
   • Télécharger le fichier DisPose.pth
   • Placez le fichier dans le répertoire . /pretrained_weights/

3. les flux d'utilisation des fonctionnalités de base

3.1 Détection de l'attitude

Le système utilise un détecteur DWPose pour la détection de la posture humaine qui identifie les points clés suivants :

• Points d'articulation du squelette du corps (18)
• Points de caractéristiques faciales (68)
• Points clés de la main (21/main)

3.2 Prétraitement des images

# 处理参考图像
ref_image = load_image(image_path)
pose_img, ref_pose = get_image_pose(ref_image)

3.3 Traitement vidéo

# 处理视频序列
video_pose, body_points, face_points = get_video_pose(
video_path=video_path,
ref_image=ref_image,
sample_stride=1
)

3.4 Contrôle de la génération d'animation

Le système fournit plusieurs paramètres pour contrôler la génération d'animations :

• Réglementation de l'intensité des stades
• Les points clés correspondent à des poids
• Degré de migration posturale
• Timing Smoothness

4) Description des fonctions avancées

1. Migration de la posture :
   • Prise en charge de la migration gestuelle de la vidéo source vers le caractère cible
   • Garder la même identité pour le personnage
   • S'adapte automatiquement aux différentes tailles de corps
2. Action Editor :
   • Soutien à la modification de l'action locale
   • Fonction d'édition des images clés
   • Vitesse et amplitude du mouvement réglables
3. Capacité de traitement par lots :
   • Prise en charge du traitement vidéo par lots
   • Offre des options de traitement en parallèle
   • Optimisation automatique de la programmation des ressources

5) Précautions

• S'assurer que la qualité de l'image d'entrée est claire et que la pose de la personne est parfaitement visible.
• La mémoire vidéo du GPU doit être d'au moins 8 Go ou plus.
• Ajustez le paramètre sample_stride lors du traitement de vidéos haute résolution.
• Vérifier et mettre à jour régulièrement la version des paquets de dépendance
• Il est recommandé d'effectuer des tests à petite échelle avant de traiter de grandes quantités de données

6. la résolution des problèmes courants

1. Problèmes de mémoire :
   • Libérer les ressources inutilisées avec release_memory()
   • Redimensionner les lots de manière appropriée
   • Tests avec une faible résolution
2. Optimisation des performances :
   • Activer l'accélération GPU
   • Utiliser une taille de pas d'échantillonnage appropriée
   • Résolution optimisée de l'image d'entrée
3. Amélioration de la qualité :
   • Utilisation d'images de référence de haute qualité
   • Ajustement des paramètres du modèle
   • Optimisation du post-traitement