Plug-in pour ComfyUI permettant de générer des vidéos sur la base de Wan 2.1

Introduction générale

ComfyUI-WanVideoWrapper est un plugin open source créé par le développeur kijai, destiné à ComfyUI de WanVideo. Elle est basée sur la plate-forme de WanVideo. Wan2.1 offre de puissantes fonctions de génération et de traitement vidéo. Les utilisateurs peuvent l'utiliser pour la conversion d'images en vidéos (I2V), de textes en vidéos (T2V) et de vidéos en vidéos (V2V). Le plugin convient aux passionnés d'IA, aux créateurs de vidéos et aux utilisateurs qui ont besoin d'un outil efficace. Le projet est hébergé sur GitHub, et en mars 2025, il avait reçu plus de 1300 étoiles et une communauté active. Il est encore marqué comme "Work in Progress" et les fonctionnalités sont en cours d'amélioration.

Liste des fonctions

• De l'image à la vidéo (I2V)Convertissez des images fixes en vidéos animées en prenant en charge des fréquences d'images et des résolutions personnalisées.
• Du texte à la vidéo (T2V)Générer des vidéos basées sur des descriptions textuelles avec des paramètres de génération ajustables.
• De vidéo à vidéo (V2V)Les vidéos : Améliorez ou modifiez le style des vidéos existantes pour que l'action continue à se dérouler.
• Wan2.1 Support du modèleUtilisation de l'interface Wan2.1 Transformateur et VAE, et est également compatible avec les modules de codage natifs de ComfyUI.
• Génération de vidéos longuesPrise en charge de la génération de vidéos de plus de 1 000 images grâce aux paramètres de taille de fenêtre et de chevauchement.
• l'optimisation des performancesSupport de torch.compile pour améliorer la vitesse de génération.

Utiliser l'aide

Processus d'installation

Pour utiliser ComfyUI-WanVideoWrapper, vous devez d'abord installer ComfyUI et ajouter le plugin. Voici les étapes détaillées :

1. Installer ComfyUI
   • Téléchargez le programme principal ComfyUI depuis GitHub (https://github.com/comfyanonymous/ComfyUI).
   • Décompresser localement, par exemple C:\ComfyUI.
   • existent ComfyUI_windows_portable fichier en cours d'exécution run_nvidia_gpu.bat Démarrer (utilisateurs Windows).
2. Installer le plugin WanVideoWrapper
   • Allez dans le répertoire racine de ComfyUI dans le répertoire custom_nodes Dossier.
   • Clonez le plugin en utilisant la commande Git :

     git clone https://github.com/kijai/ComfyUI-WanVideoWrapper.git
     

   • Allez dans le répertoire des plugins :

     cd ComfyUI-WanVideoWrapper
     

   • Installer la dépendance :

     python_embeded\python.exe -m pip install -r requirements.txt
     

     • Si vous utilisez la version portable, l'option ComfyUI_windows_portable pour l'exécuter :

       python_embeded\python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-WanVideoWrapper\requirements.txt
       

3. Télécharger le modèle Wan2.1
   • Visitez le dépôt de modèles Hugging Face (https://huggingface.co/Kijai/WanVideo_comfy).
   • Télécharger les documents requis :
     • Encodeur de texte en ComfyUI/models/text_encoders.
     • Le modèle Transformer est placé dans le ComfyUI/models/diffusion_models.
     • Placement du modèle VAE ComfyUI/models/vae.
   • Le modèle original peut également être remplacé par l'encodeur de texte propre à ComfyUI et CLIP Vision.
4. Démarrer ComfyUI
   • Une fois l'installation terminée, redémarrez ComfyUI et le nœud du plugin se chargera automatiquement dans l'interface.

Principales fonctions

1. de l'image à la vidéo (I2V)

• préliminaireLe modèle Wan2.1 et la VAE doivent être chargés.
• procédure:
  1. Ajouter l'interface ComfyUI WanVideoModelLoader sélectionnez le modèle Wan2.1 I2V.
  2. augmenter WanVideoVAELoader pour charger le modèle VAE.
  3. dépense ou frais Load Image pour télécharger une image.
  4. augmenter WanVideoSampler définir le nombre d'images (par exemple 81 images), la résolution (par exemple 512x512).
  5. coulis VHS_VideoCombine définir la fréquence d'images (par exemple 16fps) et le format de sortie (par exemple MP4).
  6. Cliquez sur "Générer" et le résultat est sauvegardé dans ComfyUI/output Dossier.
• prendre noteLes tests officiels montrent que les images 512x512x81 occupent environ 16 Go de mémoire vidéo, ce qui peut être réduit en diminuant la résolution.

2. du texte à la vidéo (T2V)

• préliminaire: : Préparer des descriptions textuelles, par exemple, "Rues de la ville la nuit".
• procédure:
  1. augmenter LoadWanVideoT5TextEncoder (ou avec le modèle CLIP natif de ComfyUI).
  2. augmenter WanVideoTextEncode entrez le texte.
  3. coulis WanVideoModelLoader répondre en chantant WanVideoSampler définir le nombre d'images (par exemple 256), la résolution (par exemple 720p).
  4. augmenter WanVideoDecode Décodage des nœuds.
  5. dépense ou frais VHS_VideoCombine Le nœud produit de la vidéo.
  6. Cliquez sur "Générer", le temps de génération dépend du matériel.
• attirer l'attention sur qqch.Dans l'exemple officiel, le modèle T2V 1.3B génère 1025 images avec 5GB de RAM en 10 minutes (RTX 5090).

3. de vidéo à vidéo (V2V)

• préliminairePréparer une courte vidéo (format MP4).
• procédure:
  1. dépense ou frais VHS_LoadVideo Le nœud charge la vidéo.
  2. augmenter WanVideoEncode Vidéo codée par le nœud.
  3. coulis WanVideoSampler pour ajuster les paramètres d'amélioration.
  4. augmenter WanVideoDecode Décodage des nœuds.
  5. dépense ou frais VHS_VideoCombine Le nœud fournit les résultats.
  6. Cliquez sur "Générer" pour terminer l'amélioration.
• exemple typiqueLe test officiel de V2V avec le modèle 14B T2V donne de meilleurs résultats.

4) Génération de vidéos de longue durée

• procédure:
  1. existent WanVideoSampler Le nœud définit le nombre de trames (par exemple 1025 trames).
  2. Définissez la taille de la fenêtre (par exemple, 81 images) et la valeur de chevauchement (par exemple, 16) pour garantir un mouvement cohérent.
  3. Les autres étapes sont les mêmes que pour T2V ou I2V.
• exigences en matière de matérielLes GPU à mémoire vidéo élevée (par exemple 24 Go) sont recommandés, et les taux de rafraîchissement peuvent être réduits sur les machines moins performantes.

Fonctions vedettes

• Prise en charge du noyau Wan2.1Le plugin est basé sur le modèle Wan2.1 et fournit des capacités de génération vidéo efficaces.
• Compatible avec les modules natifs de ComfyUILe codeur de texte propre à ComfyUI et CLIP Vision peuvent être utilisés sans modèles supplémentaires.
• Génération de vidéos longuesPrise en charge des vidéos ultra-longues avec des paramètres de fenêtrage et de chevauchement, et performances stables à 1025 images par seconde dans les tests officiels.
• l'optimisation des performancesSupport de torch.compile, qui améliore significativement la vitesse de génération.

problèmes courants

• Nœud non affichéVérifier que l'installation des dépendances est terminée, ou redémarrer ComfyUI.
• mémoire vidéo insuffisanteRéduire la résolution ou le taux de rafraîchissement, officiellement recommandé pour être ajusté en fonction du matériel.
• Erreur de trajectoire du modèleLe modèle doit être placé dans le bon dossier, en se référant aux instructions officielles.