VACE : Modèle open source pour la création et l'édition de vidéos (non ouvert)

Introduction générale

VACE est un projet open source développé par Alitongyi Visual Intelligence Lab (ali-vilab), axé sur la création et l'édition de vidéos. Il s'agit d'un outil tout-en-un qui intègre une variété de fonctions, telles que la génération de vidéos basées sur des références, l'édition de contenu vidéo existant, la modification de la localisation, etc. Officiellement lancé en mars 2025, l'objectif du projet est de permettre aux utilisateurs de réaliser des tâches complexes de traitement vidéo avec un seul modèle. Conçu dans un souci de flexibilité et d'efficacité, VACE permet aux utilisateurs de combiner librement les fonctions, ce qui le rend adapté aux créateurs, aux développeurs et même aux utilisateurs ordinaires. Son code est hébergé sur GitHub, de sorte que chacun peut le télécharger, l'étudier ou l'améliorer gratuitement. L'équipe à l'origine de VACE s'appuie sur le solide soutien technique d'Ali et combine les dernières avancées en matière d'intelligence artificielle et de traitement vidéo pour offrir aux utilisateurs une plateforme de création à la fois puissante et pratique.

Liste des fonctions

• Vidéo de génération de référence (R2V): Générer un tout nouveau contenu vidéo à partir d'un matériel de référence donné, tel que des images ou des clips vidéo.
• Montage vidéo à vidéo (V2V)Modifier le style général ou le contenu d'une vidéo existante, par exemple en ajustant le ton des couleurs ou en remplaçant l'arrière-plan.
• Montage vidéo masqué (MV2V)L'édition locale est prise en charge, ce qui permet aux utilisateurs de sélectionner des zones spécifiques de la vidéo pour les modifier à l'aide d'un masque.
• contrôle des mouvements: Ajuste la trajectoire de mouvement des objets dans une vidéo, par exemple en déplaçant un personnage vers une position spécifique.
• Remplacement du corps principalRemplacer un sujet (tel qu'une personne ou un objet) dans une vidéo par quelque chose d'autre.
• Extension de l'écranExpansion de l'image vidéo : expansion de l'image vidéo pour générer des images au-delà des limites d'origine.
• Génération animation: Transformer des images fixes en effets d'animation dynamiques.

Utiliser l'aide

VACE est un projet open source, principalement destiné aux utilisateurs disposant d'une certaine base technique. Il n'a pas d'interface graphique prête à l'emploi et doit être exécuté à l'aide de code. Ce qui suit est un guide détaillé pour vous aider à démarrer rapidement.

Processus d'installation

1. Préparation de l'environnement
   • Assurez-vous que Python 3.9 ou supérieur est installé sur votre ordinateur. Vous pouvez le faire en ligne de commande en tapant python --version Vérifier.
   • Installez l'outil Git pour télécharger du code à partir de GitHub, qui peut être téléchargé à partir de git-scm.com pour les utilisateurs de Windows et de Mac. brew install git Installation.
   • La prise en charge du GPU NVIDIA et de CUDA est nécessaire car VACE repose sur l'accélération du GPU. Si vous n'avez pas de GPU, vous pouvez essayer le mode CPU, mais les performances seront dégradées.
2. Télécharger le code
   • Ouvrez un terminal (CMD ou PowerShell pour Windows, Terminal pour Mac).
   • Saisissez la commande suivante pour cloner le référentiel VACE :

     git clone https://github.com/ali-vilab/VACE.git
     

   • Une fois le clonage terminé, allez dans le dossier du projet :

     cd VACE
     

3. Installation des dépendances
   • VACE nécessite le support d'une bibliothèque Python. Exécutez la commande suivante pour l'installer :

     pip install -r requirements.txt
     

   • Si vous obtenez une erreur, vérifiez votre connexion réseau ou mettez à jour votre pipeline (à l'aide de la fonction pip install --upgrade pip).
   • Pour les utilisateurs de GPU, assurez-vous d'installer PyTorch et la version CUDA correspondante, par exemple :

     pip install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu118
     

4. Vérifier l'installation
   • Une fois l'installation terminée, exécutez une simple commande de test pour confirmer que l'environnement est correct :

     python -c "import torch; print(torch.cuda.is_available())"
     

   • Si le retour TrueSi c'est le cas FalseSi vous n'avez pas d'installation CUDA, vous devrez peut-être vérifier l'installation CUDA.

Comment l'utiliser

Le fonctionnement de VACE est principalement assuré par la ligne de commande, où l'utilisateur doit écrire des fichiers de configuration et exécuter des scripts Python. Vous trouverez ci-dessous une description détaillée des principales fonctions.

Fonction 1 : Vidéo de génération de référence (R2V)

• déplacer
  1. Préparez du matériel de référence, tel qu'une image (JPG, PNG) ou une vidéo (format MP4).
  2. Créer un fichier de configuration, par exemple config_r2v.yamlLe contenu fait référence aux exemples sur GitHub (généralement dans la section configs (dossier). Le fichier de configuration spécifie le chemin d'entrée et les paramètres de sortie, tels que la résolution, la fréquence d'images, etc.
  3. Exécutez la commande dans le terminal :

     python inference.py --cfg config_r2v.yaml
     

  4. La vidéo générée est enregistrée dans le dossier de sortie spécifié (la valeur par défaut est output (dossier).
• exemple typique
  • Saisissez l'image d'un petit garçon avec une description dans le fichier de configuration : "Petit garçon courant vers la droite au soleil". Lorsqu'il est exécuté, VACE génère une vidéo du garçon en train de courir.

Fonction 2 : montage vidéo à vidéo (V2V)

• déplacer
  1. Préparer une vidéo qui doit être éditée, par exemple input.mp4.
  2. Modifier le fichier de configuration config_v2v.yamlSi vous souhaitez changer l'arrière-plan en prairie, définissez la cible de l'édition, par exemple, "Changer l'arrière-plan en prairie".
  3. Exécuter la commande :

     python inference.py --cfg config_v2v.yaml
     

  4. La vidéo modifiée est enregistrée automatiquement.
• exemple typique
  • Saisissez une vidéo d'une rue de la ville, le fichier de configuration indique "Remplacer l'arrière-plan par une forêt", le résultat est un personnage marchant dans la forêt.

Fonction 3 : Montage vidéo masqué (MV2V)

• déplacer
  1. Préparez la vidéo et le fichier de masque (le masque est une image en noir et blanc, la zone blanche indique la partie à éditer).
  2. Dans le fichier de configuration config_mv2v.yaml Spécifiez le chemin vidéo et le chemin du masque dans la section "Masque" et définissez le contenu de l'édition, tel que "Remplacer la zone du masque par un lion".
  3. Exécuter la commande :

     python inference.py --cfg config_mv2v.yaml
     

  4. Affichez les résultats et la zone masquée sera remplacée.
• exemple typique
  • Entrez dans la vidéo du café, sélectionnez les tasses sur la table dans le masque, remplacez par "un chaton", le résultat est que le chat apparaît sur la table.

Fonction 4 : Contrôle des mouvements et remplacement des sujets

• déplacer
  1. Préparez une vidéo et une description de l'action cible, par exemple "Faire courir le cheval vers la gauche".
  2. Définissez les paramètres de l'action ou remplacez le corps (par exemple, "cheval remplacé par vache") dans le fichier de configuration.
  3. Exécutez la commande pour générer une nouvelle vidéo.
• exemple typique
  • Saisir une vidéo d'équitation, définir "Cheval courant vers la droite, remplacer par cavalière aux cheveux violets", le résultat est une cavalière aux cheveux violets courant vers la droite sur un cheval.

Précautions de manipulation

• Format du fichier de configurationLes fichiers YAML sont stricts, il faut veiller à l'indentation et à la syntaxe.
• exigences en matière de matérielLes GPU avec au moins 12 Go de RAM sont recommandés, sinon vous devrez peut-être ajuster les paramètres pour réduire l'encombrement de la mémoire.
• Conseils de débogageSi quelque chose ne va pas, vérifiez les journaux du terminal. Les problèmes les plus courants sont les erreurs de chemin ou les dépendances manquantes.
• Soutien communautaireLes questions : Vous pouvez poser des questions sur la page Issues de GitHub, et les développeurs et la communauté vous aideront à y répondre.

Grâce à ces étapes, vous pouvez facilement créer et éditer des vidéos avec VACE. Sa force réside dans sa flexibilité, qui vous permet de réaliser un large éventail d'idées créatives dès lors que vous êtes familiarisé avec la configuration.