AnimeGamer：用语言指令生成动漫视频和角色互动的开源工具

综合介绍

AnimeGamer 是腾讯 ARC 实验室推出的一个开源工具。用户可以用简单的语言指令，比如“宗介开紫色车兜风”，生成动漫视频，还能让不同动漫角色互动，比如《魔女宅急便》的琪琪和《天空之城》的帕祖见面。它基于多模态大语言模型（MLLM），能自动制作连贯的动画片段，同时更新角色的状态，比如体力或社交数值。项目代码和模型都在 GitHub 上免费开放，适合动漫迷和开发者用来创作或实验。

功能列表

• 生成动漫视频：输入语言指令，自动生成角色动作和场景的动画片段。
• 角色互动支持：让不同动漫角色相遇并互动，创造新故事。
• 更新角色状态：实时记录角色的体力、社交和娱乐等数值变化。
• 保持内容连贯：根据历史指令，确保视频和状态一致。
• 开源扩展：提供完整代码和模型，开发者可以自由调整。

使用帮助

AnimeGamer 需要一点编程基础，但安装和使用步骤不难。下面是详细说明，帮你快速上手。

安装流程

1. 准备环境
   需要一台支持 Python 的电脑，最好有 GPU（显存至少 24GB）。先装好 Git 和 Anaconda，然后在终端输入：

git clone https://github.com/TencentARC/AnimeGamer.git
cd AnimeGamer

创建虚拟环境：

conda create -n animegamer python=3.10 -y
conda activate animegamer

2. 安装依赖
   在虚拟环境中运行：

pip install -r requirements.txt

这会安装 PyTorch 等必要库。

3. 下载模型
   把三个模型文件下载到 ./checkpoints 文件夹：

• AnimeGamer 模型：Hugging Face。
• Mistral-7B 模型：Hugging Face。
• CogvideoX 的 3D-VAE 模型：进入 checkpoints 文件夹，运行：

  cd checkpoints
  wget https://cloud.tsinghua.edu.cn/f/fdba7608a49c463ba754/?dl=1 -O vae.zip
  unzip vae.zip
  

确认模型都放对了位置。

4. 测试安装
   返回主目录，运行：

python inference_MLLM.py

没报错就说明安装成功。

如何使用主要功能

AnimeGamer 的核心是用语言指令生成视频和角色互动。以下是操作方法：

生成动漫视频

• 步骤

1. 编辑 ./game_demo 文件夹里的指令文件，比如 instructions.txt。
2. 输入指令，例如：“宗介在森林里开紫色车兜风”。
3. 运行 MLLM 生成表示：

python inference_MLLM.py --instruction "宗介在森林里开紫色车兜风"

4. 解码成视频：

python inference_Decoder.py

5. 视频会保存在 ./outputs 文件夹。

• 注意
  指令要写清楚角色、动作和场景，这样视频才更符合期待。

角色互动

• 步骤

1. 输入互动指令，比如：“琪琪教帕祖飞扫帚”。
2. 按上面步骤运行，生成互动视频。

• 特点
  支持不同动漫角色混合互动，创造独特场景。

更新角色状态

• 步骤

1. 在指令中加状态描述，比如：“宗介跑步后很累”。
2. 运行 inference_MLLM.py，状态会更新到 ./outputs/state.json。

• 提示
  状态会根据历史指令自动调整，保持连贯性。

自定义与技术细节

想改功能？可以直接编辑 ./game_demo 下的代码。AnimeGamer 的技术分三步：

1. 用编码器处理动作表示，扩散解码器生成视频。
2. MLLM 根据历史指令预测下一状态。
3. 优化解码器提高视频质量。
   更多细节在 GitHub 的 README.md 里。

最新进展

• 2025年4月2日：发布《魔女宅急便》和《悬崖上的金鱼姬》的模型权重及论文（arXiv）。
• 2025年4月1日：发布推理代码。
• 未来计划：推出 Gradio 交互演示和训练代码。

常见问题解决

• 生成慢？ 确认 GPU 显存够用（24GB），或更新驱动。
• 模型下载失败？ 手动从 Hugging Face 下载。
• 报错？ 检查 Python 版本（需 3.10）和依赖。

用这些步骤，你就能用 AnimeGamer 生成动漫视频和角色互动了。

应用场景

1. 动漫创作
   动漫迷可以用它生成视频，比如让不同角色互动，分享给朋友。
2. 游戏测试
   开发者可以用它快速制作动态内容原型，测试想法。
3. 学习实践
   学生可以用它学多模态技术和视频生成，动手体验 AI。

QA

1. 需要编程知识吗？
   是的，安装和调整需要基础 Python 知识，但简单指令就能用。
2. 支持哪些角色？
   现在支持《魔女宅急便》和《悬崖上的金鱼姬》，未来会扩展。
3. 能商用吗？
   可以，但要遵守 Apache-2.0 协议，具体看 GitHub。