MangaNinjia: una herramienta automatizada de coloreado de líneas para colorear rápidamente dibujos anime de líneas en blanco y negro.

Introducción general

MangaNinjia es un proyecto de código abierto desarrollado por Alibaba Tongyi Visual Intelligence Lab (Ali-Vilab), centrándose en el procesamiento automatizado de la coloración de dibujo lineal. Esta herramienta a través de la tecnología de aprendizaje profundo, para lograr la imagen de referencia de la coincidencia de color exacto, mejorando en gran medida la eficiencia y la calidad de la creación de cómics.MangaNinjia no sólo puede identificar automáticamente y aplicar el color, sino que también apoya al usuario a través del punto de control fino, de modo que incluso en escenas complejas pueden lograr resultados satisfactorios de color. El proyecto está disponible en GitHub con el código detallado y las instrucciones, atrayendo la atención de muchos aficionados y profesionales del manga.

El proyecto tiene actualmente tres funciones: extracción de líneas, coloreado de líneas y coloreado preciso de líneas.

Lista de funciones

• Coloreado automático de líneas: Identifica y aplica automáticamente los colores a partir de una imagen de referencia.
• Referencia precisa siguienteAlgoritmos: se utilizan algoritmos para garantizar la coherencia cromática entre el dibujo lineal y la imagen de referencia.
• colorear con apuntar y hacer clicPermite al usuario especificar el color de un área concreta haciendo clic en un punto, lo que mejora la precisión de la coloración.
• Soporte de imágenes multirreferencia: Los colores pueden extraerse de múltiples imágenes de referencia para una coloración completa.
• Adaptación a distintos formatos artísticos: Admite diversos formatos de entrada de dibujo lineal, como el dibujo lineal binarizado.

Utilizar la ayuda

Proceso de instalación

1. Almacén de clonación:

   git clone https://github.com/ali-vilab/MangaNinjia.git
cd MangaNinjia

2. Instale la dependencia:

   conda env create -f environment.yaml
conda activate MangaNinjia

3. Descargue el modelo preentrenado:
   • Descargar StableDiffusion de HuggingFace, clip-vit-large-patch14, controlv11psd15_lineart y el modelo Annotators.
   • Coloque el modelo descargado en elcheckpointscon la siguiente estructura:
checkpoints/
├── StableDiffusion/
├── models/
├── clip-vit-large-patch14/
├── control_v11p_sd15_lineart/
└── Annotators/
├── sk_model.pth
├── MangaNinjia/
├── denoising_unet.pth
├── reference_unet.pth
├── point_net.pth
└── controlnet.pth


Proceso de utilización

1. Ejecute el script de razonamiento:

   cd scripts
bash infer.sh

• Los resultados se guardarán en el archivooutput/Catálogo.

1. Configuración de razonamiento:
   • --denoise_stepsSe recomienda utilizar entre 20 y 50 pasos de eliminación de ruido por inferencia.
   • --is_lineartEste parámetro se incluye si la entrada ya es un dibujo lineal y no requiere extracción adicional.
   • --guidance_scale_ref: Aumentar el valor de este parámetro hace que el modelo se guíe más por la imagen de referencia.

Uso de MangaNinjia

Pasos básicos de uso:

• Prepare el dibujo lineal:
  • Asegúrese de que la imagen del dibujo lineal es una imagen en escala de grises de un solo canal con un valor de fondo de 0 y un valor de línea cercano a 1. Si el dibujo lineal está binarizado, coméntelo en la comunidad y estudiaremos la posibilidad de optimizarlo.
• Sube una imagen de referencia:
  • Sube imágenes de referencia que te gustaría colorear en el arte lineal. Estas imágenes se utilizarán como referencias de color.
• Funcionamiento del control de puntos (opcional)
  • Especifique una coincidencia de color haciendo clic en los puntos correspondientes de la imagen de referencia y del dibujo lineal de destino. Estos puntos ayudarán al sistema a aplicar los colores con mayor precisión.
• Generar una imagen:
  • Haga clic en el botón "Generar" y el sistema iniciará el proceso de coloración de acuerdo con su configuración y la información de control de puntos.

Instrucciones de uso detalladas:

• Procesamiento de imágenes: Antes de empezar, puedes hacer clic en "Procesar imágenes" para cambiar el tamaño de la imagen a 512x512 píxeles y garantizar el mejor rendimiento del modelo.
• Coloración del control de puntos:
  • Seleccione el botón "Deshacer" para deshacer la última pulsación.
  • Si tienes más de una imagen de referencia, puedes utilizar los controles de apuntar y hacer clic para seleccionar los colores de las distintas zonas de la imagen y obtener los mejores resultados.
• Ajuste de parámetros:
  • --denoise_steps: ajusta el número de pasos de denoising, recomendado entre 20-50.
  • --is_lineart: utilice este parámetro si la entrada ya es lineal y no requiere extracción adicional.
  • --guidance_scale_ref: Aumente este valor para que el modelo se incline más por seguir la guía de la imagen de referencia.
• Generar resultados:
  • Los resultados de coloración generados se guardarán en el directorio output/. Al comprobar los resultados, observe si los detalles y colores de la imagen son los esperados y ajuste los parámetros para regenerarla si es necesario.

Paquete de instalación de MangaNinjia con un solo clic

Quark: https://pan.quark.cn/s/77512037ba78

Baidu:https://pan.baidu.com/s/1xa3Yml0O-1LP9iPiAiGD5w?pwd=fa6c