MangaNinjia : un outil de coloriage automatisé pour colorer rapidement des dessins au trait en noir et blanc.

Introduction générale

MangaNinjia est un projet open source développé par Alibaba Tongyi Visual Intelligence Lab (Ali-Vilab), axé sur le traitement automatisé de la coloration des dessins au trait. MangaNinjia peut non seulement identifier et appliquer automatiquement la couleur, mais aussi aider l'utilisateur par le biais du point de contrôle fin, de sorte que même dans les scènes complexes peuvent atteindre des résultats de couleur satisfaisants. Le projet est disponible sur GitHub avec un code détaillé et des instructions, attirant l'attention de nombreux fans de manga et les professionnels.

Le projet comporte actuellement trois fonctions : l'extraction de lignes, la coloration de lignes et la coloration précise de lignes.

Liste des fonctions

• Coloration automatique des lignesLe logiciel de gestion des couleurs : identifie et applique automatiquement les couleurs sur la base d'une image de référence.
• Suivi précis des référencesLes algorithmes sont utilisés pour assurer la cohérence des couleurs entre le dessin au trait et l'image de référence.
• coloriage par pointer-cliquerPermet à l'utilisateur de spécifier la couleur d'une zone spécifique en cliquant sur un point, ce qui améliore la précision de la coloration.
• Prise en charge d'images à références multiplesLes couleurs peuvent être extraites de plusieurs images de référence pour une coloration complète.
• Adaptation à différents formats d'œuvres d'artLe logiciel est compatible avec une variété de formats d'entrée de dessin au trait, tels que le dessin au trait binarisé.

Utiliser l'aide

Processus d'installation

1. Entrepôt de clonage :

   git clone https://github.com/ali-vilab/MangaNinjia.git
cd MangaNinjia

2. Installer la dépendance :

   conda env create -f environment.yaml
conda activate MangaNinjia

3. Télécharger le modèle pré-entraîné :
   • Télécharger StableDiffusion de HuggingFace, clip-vit-large-patch14, controlv11psd15_lineart et modèle d'annotateurs.
   • Placer le modèle téléchargé dans lecheckpointsavec la structure suivante :
checkpoints/
├── StableDiffusion/
├── models/
├── clip-vit-large-patch14/
├── control_v11p_sd15_lineart/
└── Annotators/
├── sk_model.pth
├── MangaNinjia/
├── denoising_unet.pth
├── reference_unet.pth
├── point_net.pth
└── controlnet.pth


Processus d'utilisation

1. Exécutez le script de raisonnement :

   cd scripts
bash infer.sh

• Les résultats seront enregistrés dans la base de donnéesoutput/Catalogue.

1. Mise en place du raisonnement :
   • --denoise_stepsLe nombre d'étapes de débruitage par inférence est recommandé entre 20 et 50 étapes.
   • --is_lineartCe paramètre est inclus si l'entrée est déjà un dessin au trait et ne nécessite pas d'extraction supplémentaire.
   • --guidance_scale_refL'augmentation de la valeur de ce paramètre rend le modèle plus enclin à être guidé par l'image de référence.

Utilisation de MangaNinjia

Étapes d'utilisation de base :

• Préparer le dessin au trait :
  • Assurez-vous que votre image linéaire est une image en niveaux de gris à un seul canal avec une valeur d'arrière-plan de 0 et une valeur de ligne proche de 1. Si l'image linéaire est binarisée, faites-nous part de vos commentaires dans la communauté et nous envisagerons d'autres optimisations.
• Télécharger une image de référence :
  • Téléchargez les images de référence que vous souhaitez voir colorées dans le dessin au trait. Ces images serviront de référence pour les couleurs.
• Opération de contrôle des points (en option)
  • Spécifiez une correspondance de couleurs en cliquant sur les points correspondants de l'image de référence et du dessin linéaire cible. Ces points aideront le système à appliquer les couleurs avec plus de précision.
• Générer une image :
  • Cliquez sur le bouton "Générer" et le système lancera le processus de coloration en fonction de vos paramètres et des informations de contrôle des points.

Instructions d'utilisation détaillées :

• Traitement de l'image : avant de commencer, vous pouvez cliquer sur "Traiter les images" pour redimensionner l'image à 512x512 pixels afin de garantir les meilleures performances du modèle.
• Contrôle ponctuel de la coloration :
  • Sélectionnez le bouton "Undo" pour annuler la dernière opération de tapotement.
  • Si vous avez plus d'une image de référence, vous pouvez utiliser les commandes de pointage et de clic pour sélectionner les couleurs des différentes zones de l'image afin d'obtenir les meilleurs résultats.
• Réglage des paramètres :
  • --denoise_steps : ajuste le nombre d'étapes de débruitage, recommandé entre 20 et 50.
  • --is_lineart : utiliser ce paramètre si l'entrée est déjà linéaire et ne nécessite pas d'extraction supplémentaire.
  • --guidance_scale_ref : Augmentez cette valeur pour que le modèle soit plus enclin à suivre l'orientation de l'image de référence.
• Générer des résultats :
  • Les résultats de coloration générés seront enregistrés dans le répertoire output/. Lors de la vérification des résultats, notez si les détails et les couleurs de l'image sont conformes aux attentes et ajustez les paramètres pour la régénérer si nécessaire.

Kit d'installation en un clic de MangaNinjia

Quark : https://pan.quark.cn/s/77512037ba78

Baidu:https://pan.baidu.com/s/1xa3Yml0O-1LP9iPiAiGD5w?pwd=fa6c