Ruyi-Models：生成图像到视频开源模型，支持镜头控制与运动幅度控制

综合介绍

Ruyi-Models 是一个开源项目，旨在通过图像生成高质量的视频。该项目由 IamCreateAI 团队开发，支持生成 768 分辨率、每秒 24 帧、总计 5 秒 120 帧的电影级视频。Ruyi-Models 支持镜头控制和运动幅度控制，使用 RTX 3090 或 RTX 4090 显卡可以生成 512 分辨率、120 帧（或 768 分辨率、约 72 帧）的无损视频。该项目提供了详细的安装和使用说明，适用于不同的用户需求。

官网：https://www.iamcreate.ai/

功能列表

• 图像到视频生成：生成高质量的电影级视频。
• 镜头控制：支持镜头的左右、上下、静态控制。
• 运动幅度控制：支持不同幅度的运动控制。
• GPU 内存优化：提供多种 GPU 内存优化选项，满足不同用户的需求。
• 多种安装方式：支持通过 ComfyUI Manager 和手动安装。
• 模型下载：支持自动和手动下载模型。

使用帮助

安装流程

1. 克隆仓库并安装所需依赖：

   git clone https://github.com/IamCreateAI/Ruyi-Models
   cd Ruyi-Models
   pip install -r requirements.txt
   

2. 对于 ComfyUI 用户：
   • 方法一：通过 ComfyUI Manager 安装。

启动 ComfyUI 并打开 Manager。选择 Custom Nodes Manager，然后搜索 “Ruyi”。选择搜索结果中的 ComfyUI-Ruyi（如下方截图所示），点击 “Install” 按钮安装。

最后，搜索 “ComfyUI-VideoHelperSuite” 并安装。

1. • 方法二：手动安装：

     cd ComfyUI/custom_nodes/
     git clone https://github.com/IamCreateAI/Ruyi-Models.git
     pip install -r Ruyi-Models/requirements.txt
     

2. 安装 ComfyUI-VideoHelperSuite 以显示视频输出：

   cd ComfyUI/custom_nodes/
   git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git
   pip install -r ComfyUI-VideoHelperSuite/requirements.txt
   

3. 对于 Windows 用户：
   • 使用 ComfyUI_windows_portable_nvidia 发行版：

     cd ComfyUI_windows_portable/ComfyUI/custom_nodes
     git clone https://github.com/IamCreateAI/Ruyi-Models.git
     ..\..\python_embeded\python.exe -m pip install -r Ruyi-Models/requirements.txt
     

使用方法

1. 下载模型并保存到指定路径：
   • 例如，下载 Ruyi-Mini-7B 模型并保存到 Ruyi-Models/models 文件夹中。
   • 对于 ComfyUI 用户，路径应为 ComfyUI/models/Ruyi。
2. 运行模型：
   • 使用 Python 代码直接运行：

     python3 predict_i2v.py
     

   • 该脚本将模型下载到 Ruyi-Models/models 文件夹，并使用 assets 文件夹中的图像作为视频推理的起始帧和结束帧。可以修改脚本中的变量以替换输入图像，并设置视频长度和分辨率等参数。
3. GPU 内存优化：
   • 提供 GPU_memory_mode 和 GPU_offload_steps 选项以减少 GPU 内存使用，满足不同用户的需求。使用更少的 GPU 内存需要更多的 RAM 和更长的生成时间。