HelloMeme：生成局部高保真表情动作一致的图像或视频，Runway Act one 开源平替

综合介绍

HelloMeme 是由 HelloVision 开发的一个开源项目，旨在通过集成空间编织注意力机制（Spatial Knitting Attentions）在扩散模型中嵌入高层次和高保真条件，从而生成高质量的图像和视频。该项目的代码和模型实现均托管在 GitHub 上，用户可以自由下载和使用。HelloMeme 提供了多种功能模块，包括图像生成、视频生成以及与 Gradio 和 ComfyUI 的集成，方便用户进行各种实验和应用。

相关：

LivePortrait：静态图像、视频生成动态肖像动画工具（开源）

ConsisID：一张人像参考图，生成人物一致的视频，多终端快速集成（开源）

Reface：使用AI进行面部替换和视频生成，创作有趣的动画形象（付费）

功能列表

• 图像生成：通过参考图像和驱动图像生成高质量的图像。
• 视频生成：基于参考视频和驱动视频生成高保真视频。
• Gradio 集成：提供 Gradio 界面，方便用户进行交互操作。
• ComfyUI 集成：支持 ComfyUI 界面，简化用户操作流程。
• 实验模块：包含多种实验代码，方便用户进行不同的实验和测试。
• 高效算法：优化算法以减少 VRAM 使用，提高生成效率。

使用帮助

安装流程

1. 创建 Conda 环境：

   conda create -n hellomeme python=3.10.11
conda activate hellomeme

2. 安装 PyTorch 和 FFmpeg： 请参考 PyTorch 和 FFmpeg 的官方网站进行详细安装。
3. 安装依赖：

   pip install diffusers transformers einops scipy opencv-python tqdm pillow onnxruntime onnx safetensors accelerate peft

4. 克隆仓库：

   git clone https://github.com/HelloVision/HelloMeme
cd HelloMeme

5. 运行代码：
   • 图像生成： bash
python inference_image.py

   • 视频生成： bash
python inference_video.py

6. 安装 Gradio 应用：

   pip install gradio
pip install imageio[ffmpeg]
python app.py

功能操作流程

图像生成

1. 准备输入图像：准备参考图像和驱动图像。
2. 运行图像生成脚本：

   python inference_image.py --reference_image path/to/reference.jpg --drive_image path/to/drive.jpg

3. 查看生成结果：生成的图像将保存在指定目录中。

视频生成

1. 准备输入视频：准备参考视频和驱动视频。
2. 运行视频生成脚本：

   python inference_video.py --reference_video path/to/reference.mp4 --drive_video path/to/drive.mp4

3. 查看生成结果：生成的视频将保存在指定目录中。

使用 Gradio 界面

1. 启动 Gradio 应用：

   python app.py

2. 通过浏览器访问：打开浏览器并访问 http://localhost:7860，即可使用 Gradio 界面进行图像和视频生成。

使用 ComfyUI 界面

1. 安装 ComfyUI：请参考 ComfyUI 的官方网站进行安装。
2. 运行 HelloMeme：

   python comfyui_hellomeme.py

3. 通过 ComfyUI 界面操作：根据需要选择图像或视频生成功能，上传参考和驱动文件，点击生成按钮。

注意事项

• 依赖版本：请注意 diffusers 的版本要求，目前支持的版本为 diffusers==0.31.0。
• VRAM 使用：生成视频时，驱动视频越长，所需的 VRAM 越多，请根据实际情况调整。
• 模型下载：首次运行时，所有模型将自动下载，可能需要较长时间。