MangaNinjia：自动化线稿上色工具，为动漫黑白线稿快速填色

はじめに

MangaNinjia 是阿里巴巴通义视觉智能实验室（Ali-Vilab）开发的一个开源项目，专注于线稿上色的自动化处理。这一工具通过深度学习技术，实现了对参考图像的精确色彩匹配，极大地提高了漫画创作中的效率和质量。MangaNinjia 不仅可以自动识别和应用颜色，还支持用户通过点选方式进行精细控制，使得即使在复杂场景下也能达到满意的色彩效果。该项目在 GitHub 上提供了详细的代码和使用指南，吸引了众多漫画爱好者和专业人士的关注。

機能一覧

• 自动线稿上色：根据参考图像自动识别和应用颜色。
• 精确参考跟随：利用算法确保线稿和参考图像之间的颜色一致性。
• 点控上色：允许用户通过点击点来指定特定区域的颜色，提高上色精度。
• 多参考图像支持：可以从多个参考图像中提取颜色，进行综合上色。
• 适应不同线稿格式：支持多种线稿输入格式，如二值化线稿等。

ヘルプの使用

設置プロセス

1. クローン倉庫

   git clone https://github.com/ali-vilab/MangaNinjia.git
cd MangaNinjia

2. 依存関係をインストールします：

   conda env create -f environment.yaml
conda activate MangaNinjia

3. 訓練済みモデルをダウンロードする：
   • 从HuggingFace下载StableDiffusion、clip-vit-large-patch14、controlv11psd15_lineart和Annotators模型。
   • 将下载的模型放置在チェックポイント目录下，结构如下：
checkpoints/
├── StableDiffusion/
├── models/
├── clip-vit-large-patch14/
├── control_v11p_sd15_lineart/
└── Annotators/
├── sk_model.pth
├── MangaNinjia/
├── denoising_unet.pth
├── reference_unet.pth
├── point_net.pth
└── controlnet.pth


使用プロセス

1. 推論スクリプトを実行する：

   cd scripts
bash infer.sh

• 结果将保存在出力カタログ

1. 推理设置：
   • --denoise_steps：每次推理的去噪步骤数，推荐使用20-50步。
   • --is_lineart：如果输入已经是线稿且不需要额外提取，则包含此参数。
   • --guidance_scale_ref：增加此参数值使模型更倾向于接受参考图像的指导。

使用 MangaNinjia

基础使用步骤：

• 准备线稿：
  • 确保你的线稿图片为单通道灰度图像，背景值为 0，线条值接近 1。如果线稿是二值化的，请在社区中反馈，我们会考虑进一步优化。
• 上传参考图像：
  • 上传你希望线稿上色的参考图像。这些图像将作为颜色参考。
• 点控操作（可选）：
  • 点击参考图像和目标线稿上的对应点来指定颜色匹配。这些点将帮助系统更精确地应用颜色。
• 画像を生成する：
  • 点击“生成”按钮，系统会根据你的设置和点控信息开始上色过程。

详细操作指南：

• 图像处理：在开始前，可以点击“Process Images”调整图像到 512x512 像素大小，以确保模型的最佳性能。
• 点控上色：
  • 选择“Undo”按钮来撤销最后一次的点控操作。
  • 如果你有多个参考图像，可以通过点控来选择不同图像区域的颜色以达到最佳效果。
• 参数调整：
  • --denoise_steps：调整去噪步骤的数量，推荐在 20-50 之间。
  • --is_lineart：如果输入已经是线稿，不需要额外提取时使用这个参数。
  • --guidance_scale_ref：增加此值，使模型更倾向于遵循参考图像的指导。
• 生成结果：
  • 生成的上色结果将保存在 output/ 目录下。检查结果时，注意图像的细节和色彩是否符合预期，必要时调整参数重新生成。