Ruyi-Models: Genera modelos de código abierto de imagen a vídeo que admiten el control de la lente y el control de la amplitud de movimiento.

Introducción general

Ruyi-Models es un proyecto de código abierto diseñado para generar vídeo de alta calidad a partir de imágenes. Desarrollado por el equipo IamCreateAI, el proyecto admite la generación de vídeo de calidad cinematográfica a 768 de resolución y 24 fotogramas por segundo, para un total de 5 segundos y 120 fotogramas. Ruyi-Models admite control de tomas y control de movimiento, y puede generar vídeo sin pérdidas a 512 de resolución y 120 fotogramas (o 768 de resolución y unos 72 fotogramas) utilizando tarjetas gráficas RTX 3090 o RTX 4090. El proyecto proporciona instrucciones detalladas de instalación y El proyecto proporciona instrucciones detalladas de instalación y uso para diferentes necesidades de los usuarios.

Página web oficial: https://www.iamcreate.ai/

Lista de funciones

• Generación de imagen a vídeo: genere vídeo de alta calidad cinematográfica.
• Control del objetivo: admite control izquierdo/derecho, arriba/abajo y estático del objetivo.
• Control de amplitud de movimiento: Soporta control de movimiento de diferentes amplitudes.
• Optimización de la memoria de la GPU: ofrece diversas opciones de optimización de la memoria de la GPU para satisfacer las necesidades de los distintos usuarios.
• Múltiples opciones de montaje: posibilidad de instalación mediante ComfyUI Gestor e instalación manual.
• Descarga de modelos: Admite la descarga automática y manual de modelos.

Utilizar la ayuda

Proceso de instalación

1. Clone el repositorio e instale las dependencias necesarias:

   git clone https://github.com/IamCreateAI/Ruyi-Models
   cd Ruyi-Models
   pip install -r requirements.txt
   

2. Para usuarios de ComfyUI:
   • Método 1: Instalación a través de ComfyUI Manager.

Inicia ComfyUI y abre el Gestor, selecciona Gestor de Nodos Personalizados y busca "Ruyi". Selecciona ComfyUI-Ruyi en el resultado de la búsqueda (como se muestra en la siguiente captura de pantalla) y haz clic en el botón "Instalar" para instalarlo.

Por último, busca "ComfyUI-VideoHelperSuite" e instálalo.

1. • Método 2: Instalación manual:

     cd ComfyUI/custom_nodes/
     git clone https://github.com/IamCreateAI/Ruyi-Models.git
     pip install -r Ruyi-Models/requirements.txt
     

2. Instala ComfyUI-VideoHelperSuite para mostrar la salida de video:

   cd ComfyUI/custom_nodes/
   git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git
   pip install -r ComfyUI-VideoHelperSuite/requirements.txt
   

3. Para usuarios de Windows:
   • Utiliza la distribución ComfyUI_windows_portable_nvidia:

     cd ComfyUI_windows_portable/ComfyUI/custom_nodes
     git clone https://github.com/IamCreateAI/Ruyi-Models.git
     ..\..\python_embeded\python.exe -m pip install -r Ruyi-Models/requirements.txt
     

Utilización

1. Descarga el modelo y guárdalo en la ruta especificada:
   • Por ejemplo, descargue el modelo Ruyi-Mini-7B y guárdelo en la carpeta Ruyi-Models/models carpeta.
   • Para los usuarios de ComfyUI, la ruta debe ser ComfyUI/models/Ruyi.
2. Ejecuta el modelo:
   • Se ejecuta directamente con código Python:

     python3 predict_i2v.py
     

   • El script descarga el modelo en el Ruyi-Models/models y utilice la función assets Las imágenes de la carpeta se utilizan como fotogramas inicial y final para la inferencia de vídeo. Las variables del script pueden modificarse para sustituir las imágenes de entrada y establecer parámetros como la duración y la resolución del vídeo.
3. Optimización de la memoria de la GPU:
   • oferta GPU_memory_mode responder cantando GPU_offload_steps para reducir el uso de memoria de la GPU según las necesidades de los distintos usuarios. Utilizar menos memoria de GPU requiere más RAM y tiempos de generación más largos.