RAIN：实时捕捉真人表情生成动漫形象视频流

综合介绍

RAIN（Real-time Animation Of Infinite Video Stream）是一个开源项目，旨在实现实时生成无限视频流的动画效果。该项目由Pscgylotti开发，提供了在普通用户设备上进行视频生成的解决方案。通过使用最新的深度学习技术，RAIN能够在用户上传的图像基础上生成连续的视频流，适用于动画制作、视频特效等领域。

RAIN在消费级级设备上制作实时动画。

功能列表

• 实时生成动画视频
• 支持用户设备上的视频生成
• 提供多种预训练模型和权重
• 支持TensorRT加速
• 提供Gradio应用界面
• 支持多种视频生成参数调整

使用帮助

安装流程

1. 确保已安装Python >= 3.10。
2. 安装PyTorch（推荐版本 >= 2.3.0），可以从PyTorch官方网站下载。
3. 克隆RAIN项目仓库：

   git clone https://github.com/Pscgylotti/RAIN.git
cd RAIN

4. 安装推理所需的依赖：

   pip install -r requirements_inference.txt

使用流程

1. 下载预训练模型和权重：
   • 从Google Drive或Huggingface Hub下载原始RAIN权重，并将其放入weights/torch/目录。
   • 下载其他所需的模型文件，并将其放入相应的目录中（如weights/onnx/）。
2. 启动Gradio应用：

   python gradio_app.py

打开浏览器并访问http://localhost:7860/，上传任意动漫角色的上半身肖像，调整参数并启动面部变形。

3. 调整视频生成参数：
   • 在Gradio界面中，可以根据需要调整各种参数，以获得最佳的动画效果。
   • 特别注意眼睛相关参数的调整，以确保面部合成效果最佳。

详细功能介绍

• 实时生成视频流：RAIN能够在用户上传的图像基础上，实时生成连续的视频流，适用于动画制作和视频特效。
• 支持用户上传图像：用户可以上传任意图像，RAIN会根据图像生成相应的视频流。
• 提供多种视频生成参数调整：用户可以调整生成参数，以获得最佳的动画效果。
• 支持TensorRT加速：通过启用TensorRT加速，RAIN可以在较短时间内完成模型编译，提高推理速度。
• 提供预训练模型下载：用户可以从多个平台下载预训练模型，方便快速上手。
• 兼容多种深度学习框架：RAIN支持PyTorch等多种深度学习框架，方便用户进行二次开发。

硬件要求

• 运行整个推理演示通常需要约12 GiB的设备RAM。
• 合成模型单独运行时需要约8 GiB的设备RAM。

参考项目

RAIN项目基于多个开源项目，如AnimateAnyone、Moore-AnimateAnyone、Open-AnimateAnyone等，结合了这些项目的优势，实现了高效的实时动画生成。