Ruyi-Models: gere modelos de código aberto de imagem para vídeo que suportam controle de lente e controle de amplitude de movimento.

Introdução geral

O Ruyi-Models é um projeto de código aberto criado para gerar vídeos de alta qualidade a partir de imagens. Desenvolvido pela equipe da IamCreateAI, o projeto oferece suporte à geração de vídeo com qualidade cinematográfica com resolução de 768, 24 quadros por segundo, para um total de 5 segundos e 120 quadros. O Ruyi-Models oferece suporte ao controle de disparo e controle de movimento e pode gerar vídeo sem perdas com resolução de 512 e 120 quadros (ou resolução de 768 e cerca de 72 quadros) usando placas de vídeo RTX 3090 ou RTX 4090. O projeto fornece instruções detalhadas de instalação e uso. O projeto fornece instruções detalhadas de instalação e uso para diferentes necessidades do usuário.

Site oficial: https://www.iamcreate.ai/

Lista de funções

• Geração de imagem para vídeo: gere vídeos de alta qualidade com qualidade de cinema.
• Controle da lente: suporte para controle esquerdo/direito, para cima/baixo e estático da lente.
• Controle de amplitude de movimento: suporta controle de movimento de amplitude diferente.
• Otimização da memória da GPU: oferece uma variedade de opções de otimização da memória da GPU para atender às necessidades de diferentes usuários.
• Várias opções de montagem: suporte para instalação via ComfyUI Gerenciador e instalação manual.
• Download de modelos: suporta o download automático e manual de modelos.

Usando a Ajuda

Processo de instalação

1. Clone o repositório e instale as dependências necessárias:

   git clone https://github.com/IamCreateAI/Ruyi-Models
   cd Ruyi-Models
   pip install -r requirements.txt
   

2. Para usuários da ComfyUI:
   • Método 1: Instalação por meio do ComfyUI Manager.

Inicie o ComfyUI e abra o Manager, selecione Custom Nodes Manager e procure por "Ruyi". Selecione ComfyUI-Ruyi no resultado da pesquisa (como mostrado na captura de tela abaixo) e clique no botão "Install" para instalá-lo.

Por fim, procure o "ComfyUI-VideoHelperSuite" e instale-o.

1. • Método 2: Instalação manual:

     cd ComfyUI/custom_nodes/
     git clone https://github.com/IamCreateAI/Ruyi-Models.git
     pip install -r Ruyi-Models/requirements.txt
     

2. Instale o ComfyUI-VideoHelperSuite para exibir a saída de vídeo:

   cd ComfyUI/custom_nodes/
   git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git
   pip install -r ComfyUI-VideoHelperSuite/requirements.txt
   

3. Para usuários do Windows:
   • Use a distribuição ComfyUI_windows_portable_nvidia:

     cd ComfyUI_windows_portable/ComfyUI/custom_nodes
     git clone https://github.com/IamCreateAI/Ruyi-Models.git
     ..\..\python_embeded\python.exe -m pip install -r Ruyi-Models/requirements.txt
     

Uso

1. Faça o download do modelo e salve-o no caminho especificado:
   • Por exemplo, faça o download do modelo Ruyi-Mini-7B e salve-o na pasta Ruyi-Models/models pasta.
   • Para usuários do ComfyUI, o caminho deve ser ComfyUI/models/Ruyi.
2. Execute o modelo:
   • Execute diretamente com o código Python:

     python3 predict_i2v.py
     

   • O script faz o download do modelo para o arquivo Ruyi-Models/models e use a pasta assets As imagens na pasta são usadas como quadros iniciais e finais para inferência de vídeo. As variáveis do script podem ser modificadas para substituir as imagens de entrada e definir parâmetros como duração e resolução do vídeo.
3. Otimização da memória da GPU:
   • oferta GPU_memory_mode responder cantando GPU_offload_steps opção de reduzir o uso da memória da GPU para atender às necessidades de diferentes usuários. O uso de menos memória da GPU requer mais RAM e tempos de geração mais longos.