SkyReels-V1 : Modèles vidéo libres pour générer des vidéos d'action humaine de haute qualité

Introduction générale

SkyReels-V1 est un projet open source développé par l'équipe SkyworkAI, qui vise à générer du contenu vidéo de haute qualité, centré sur l'humain. Le projet est basé sur HunyuanVidéo SkyMovie est le premier modèle de base de vidéo d'action humaine au monde, créé en affinant des dizaines de millions de films et de clips télévisés de haute qualité. La nature open-source de SkyReels-V1 le distingue des autres outils de sa catégorie et permet aux créateurs, aux éducateurs et aux chercheurs en IA de l'utiliser pour des croquis, des animations ou l'exploration de technologies. Le projet est hébergé sur GitHub. Le projet est hébergé sur GitHub et fournit un code détaillé, des poids de modèles et une documentation permettant aux utilisateurs de démarrer rapidement.

Liste des fonctions

• Du texte à la vidéo (T2V)Les vidéos animées sont générées à partir de descriptions textuelles saisies par l'utilisateur, telles que "Un chat portant des lunettes de soleil travaille en tant que maître-nageur à la piscine".
• De l'image à la vidéo (I2V): Convertit des images fixes en vidéos animées, en préservant les caractéristiques de l'image originale et en ajoutant des mouvements naturels.
• Animation faciale avancéeL'application de l'ordinateur est un véritable outil de travail : elle prend en charge 33 expressions subtiles et plus de 400 combinaisons de mouvements, restituant avec précision les émotions humaines et le langage corporel.
• Image de qualité cinématographiqueFormation avec des données cinématographiques et télévisuelles de haute qualité pour fournir une composition professionnelle, des effets d'éclairage et un sens de la caméra.
• Cadre de raisonnement efficaceGénération rapide de vidéos grâce à SkyReelsInfer, prenant en charge le calcul parallèle multi-GPU pour améliorer l'efficacité de la génération.
• Réglage flexible des paramètresParamètres définissables par l'utilisateur, tels que la résolution vidéo (par exemple, 544x960), la fréquence d'images (par exemple, 97 images par seconde) et l'échelle de guidage.
• Pondération des modèles open source: Fournir des modèles pré-entraînés pour le téléchargement direct et le développement secondaire par les développeurs.

Utiliser l'aide

Processus d'installation

SkyReels-V1 est un outil basé sur Python qui nécessite un support matériel et logiciel. Vous trouverez ci-dessous les étapes détaillées de l'installation et de l'utilisation :

Exigences environnementales

• logicielIl est recommandé d'utiliser des ordinateurs équipés de GPU NVIDIA tels que RTX 4090 ou A800 pour garantir la prise en charge de CUDA.
• système d'exploitationLe système d'exploitation peut être utilisé sous Windows, Linux ou macOS (ce dernier peut nécessiter une configuration supplémentaire).
• dépendance logiciellePython 3.10+, CUDA 12.2, PyTorch, Git.

Étapes de l'installation

1. entrepôt de clones
   Ouvrez un terminal et entrez la commande suivante pour télécharger le code du projet SkyReels-V1 :

git clone https://github.com/SkyworkAI/SkyReels-V1.git
cd SkyReels-V1

Cela créera un dossier de projet localement.

2. Créer un environnement virtuel(Facultatif mais recommandé)
   Pour éviter les conflits de dépendance, il est recommandé d'utiliser un environnement virtuel :

conda create -n skyreels python=3.10
conda activate skyreels

3. Installation des dépendances
   Le projet prévoit une requirements.txt exécutez la commande suivante pour installer les bibliothèques requises :

pip install -r requirements.txt

Assurez-vous que le réseau est ouvert, l'installation peut prendre quelques minutes.

4. Télécharger le modèle de poids
   Les poids modèles pour SkyReels-V1 sont hébergés sur Hugging Face et peuvent être téléchargés localement manuellement ou en spécifiant le chemin d'accès directement dans le code. Accès Page de modèle du visage étreintTélécharger SkyReels-V1-Hunyuan-T2V placé dans le répertoire du projet (par ex. /path/to/SkyReels-V1/models).
5. Vérifier l'installation
   Exécutez l'exemple de commande pour vérifier si l'environnement fonctionne :

python3 video_generate.py --model_id ./models/SkyReels-V1-Hunyuan-T2V --prompt "FPS-24, A dog running in a park"

Si aucune erreur n'est signalée et qu'une vidéo est générée, l'installation est réussie.

Fonctionnement des principales fonctions

Du texte à la vidéo (T2V)

1. Préparation des indices
   Rédigez un repère qui décrit le contenu de la vidéo. Il doit commencer par "FPS-24", par exemple :

FPS-24, A cat wearing sunglasses and working as a lifeguard at a pool

2. Exécutez la commande generate
   Entrez la commande suivante dans le terminal :

python3 video_generate.py 
--model_id /path/to/SkyReels-V1-Hunyuan-T2V 
--guidance_scale 6.0 
--height 544 
--width 960 
--num_frames 97 
--prompt "FPS-24, A cat wearing sunglasses and working as a lifeguard at a pool" 
--embedded_guidance_scale 1.0 
--quant --offload --high_cpu_memory 
--gpu_num 1

• --guidance_scale: Contrôle l'intensité de la direction du texte, recommandé 6.0.
• --height répondre en chantant --width: Définit la résolution vidéo, par défaut 544x960.
• --num_framesGénère des images, 97 images équivalent à environ 4 secondes de vidéo (24 FPS).
• --quant,--offloadOptimiser l'utilisation de la mémoire pour les appareils bas de gamme.

3. résultat de la sortie
   La vidéo générée sera enregistrée dans le fichier results/skyreels avec un nom de fichier composé du mot clé + de la valeur d'amorçage, par exemple FPS-24_A_cat_wearing_sunglasses_42_0.mp4.

De l'image à la vidéo (I2V)

1. Préparer l'image
   Téléchargez une image fixe (par exemple PNG ou JPG), en veillant à ce qu'elle soit claire, avec une résolution recommandée proche de 544x960.
2. Exécuter la commande
   augmenter --task_type i2v répondre en chantant --image par exemple :

python3 video_generate.py 
--model_id /path/to/SkyReels-V1-Hunyuan-T2V 
--task_type i2v 
--guidance_scale 6.0 
--height 544 
--width 960 
--num_frames 97 
--prompt "FPS-24, A person dancing" 
--image ./input/cat_photo.png 
--embedded_guidance_scale 1.0

3. Voir les résultats
   La vidéo de sortie génère un contenu dynamique basé sur l'image, également sauvegardée dans le fichier results/skyreels Dossier.

Ajuster les paramètres pour optimiser les résultats

• Taux de rafraîchissement et durée: : Modification --num_frames répondre en chantant --fps(24 par défaut), ou 240 ips pour les vidéos de 10 secondes.
• qualité de l'image: : Augmentation --num_inference_steps(par défaut 30), ce qui améliore les détails mais prend plus de temps.
• Support multi-GPU: Réglages --gpu_num pour le nombre de GPU disponibles pour accélérer le traitement.

Fonction en vedette Fonctionnement

Animation faciale avancée

Le point fort de SkyReels-V1 est sa capacité d'animation faciale. L'indice décrit une expression spécifique (par exemple "surpris" ou "souriant") et le modèle génère automatiquement l'une des 33 expressions avec des mouvements naturels. Le modèle génère automatiquement l'une des 33 expressions avec des mouvements naturels :

FPS-24, Une femme riant de bon cœur dans un café

Une fois générés, les personnages de la vidéo affichent des sourires réalistes et des micro-mouvements corporels avec des détails comparables à ceux d'une action en direct.

Des graphismes de qualité cinématographique

Sans configuration supplémentaire, SkyReels-V1 produit par défaut une vidéo composée et éclairée de manière professionnelle. Ajoutez une description de la scène au cue (par exemple, "sous les néons la nuit") pour un aspect plus cinématographique.

mise en garde

• limitation du matérielSi la mémoire du GPU est insuffisante (par exemple, moins de 12 Go), il est recommandé d'activer l'option --quant répondre en chantant --offloadou réduire la résolution à 512x320.
• la technique du mot-cléLes descriptions concises et spécifiques sont les plus efficaces, évitez les termes vagues.
• Soutien communautaireLes questions de la communauté : Visitez la page GitHub Issues pour soumettre des commentaires ou consulter les discussions de la communauté.

Grâce à ces étapes, les utilisateurs peuvent facilement commencer à utiliser SkyReels-V1 et générer du contenu vidéo de haute qualité, qu'il s'agisse de courtes esquisses ou d'expériences d'animation.