Ruyi-Models : Générer des modèles image-vidéo open source qui prennent en charge le contrôle de l'objectif et de l'amplitude du mouvement.

Introduction générale

Ruyi-Models est un projet open source conçu pour générer des vidéos de haute qualité à partir d'images. Développé par l'équipe IamCreateAI, le projet permet de générer des vidéos de qualité cinématographique à une résolution de 768, 24 images par seconde, pour un total de 5 secondes et 120 images. Ruyi-Models prend en charge le contrôle des plans et des mouvements, et peut générer des vidéos sans perte à une résolution de 512 et 120 images (ou 768 et environ 72 images) à l'aide de cartes graphiques RTX 3090 ou RTX 4090. Le projet fournit des instructions détaillées d'installation et d'utilisation. Le projet fournit des instructions d'installation et d'utilisation détaillées pour les différents besoins des utilisateurs.

Site officiel : https://www.iamcreate.ai/

Liste des fonctions

• Génération image-vidéo : génère des vidéos de qualité cinématographique.
• Contrôle de l'objectif : permet le contrôle gauche/droite, haut/bas et statique de l'objectif.
• Contrôle de l'amplitude du mouvement : permet de contrôler différentes amplitudes de mouvement.
• Optimisation de la mémoire du GPU : offre une variété d'options d'optimisation de la mémoire du GPU pour répondre aux besoins des différents utilisateurs.
• Options de montage multiples : possibilité d'installation par l'intermédiaire de ComfyUI Gestionnaire et installation manuelle.
• Téléchargement de modèles : prend en charge le téléchargement automatique et manuel de modèles.

Utiliser l'aide

Processus d'installation

1. Clonez le dépôt et installez les dépendances nécessaires :

   git clone https://github.com/IamCreateAI/Ruyi-Models
   cd Ruyi-Models
   pip install -r requirements.txt
   

2. Pour les utilisateurs de ComfyUI :
   • Méthode 1 : Installation par le biais du ComfyUI Manager.

Lancez ComfyUI et ouvrez Manager, sélectionnez Custom Nodes Manager et recherchez "Ruyi". Sélectionnez ComfyUI-Ruyi dans le résultat de la recherche (comme indiqué dans la capture d'écran ci-dessous) et cliquez sur le bouton "Installer" pour l'installer.

Enfin, recherchez "ComfyUI-VideoHelperSuite" et installez-le.

1. • Méthode 2 : Installation manuelle :

     cd ComfyUI/custom_nodes/
     git clone https://github.com/IamCreateAI/Ruyi-Models.git
     pip install -r Ruyi-Models/requirements.txt
     

2. Installez ComfyUI-VideoHelperSuite pour afficher la sortie vidéo :

   cd ComfyUI/custom_nodes/
   git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git
   pip install -r ComfyUI-VideoHelperSuite/requirements.txt
   

3. Pour les utilisateurs de Windows :
   • Utilisez la distribution ComfyUI_windows_portable_nvidia :

     cd ComfyUI_windows_portable/ComfyUI/custom_nodes
     git clone https://github.com/IamCreateAI/Ruyi-Models.git
     ..\..\python_embeded\python.exe -m pip install -r Ruyi-Models/requirements.txt
     

Utilisation

1. Télécharger le modèle et l'enregistrer dans le chemin spécifié :
   • Par exemple, téléchargez le modèle Ruyi-Mini-7B et enregistrez-le dans le fichier Ruyi-Models/models dossier.
   • Pour les utilisateurs de ComfyUI, le chemin d'accès est le suivant ComfyUI/models/Ruyi.
2. Exécuter le modèle :
   • Exécuter directement le code Python :

     python3 predict_i2v.py
     

   • Le script télécharge le modèle dans le fichier Ruyi-Models/models et utiliser le fichier assets Les images du dossier sont utilisées comme images de début et de fin pour l'inférence vidéo. Les variables du script peuvent être modifiées pour remplacer les images d'entrée et définir des paramètres tels que la durée et la résolution de la vidéo.
3. Optimisation de la mémoire du GPU :
   • offrir GPU_memory_mode répondre en chantant GPU_offload_steps permet de réduire l'utilisation de la mémoire du GPU pour répondre aux besoins des différents utilisateurs. L'utilisation de moins de mémoire GPU nécessite plus de RAM et des temps de génération plus longs.