만화 닌자: 애니메이션 흑백 선화를 빠르게 색칠할 수 있는 자동 선 채색 도구입니다.

일반 소개

망가닌지아는 알리바바 통이 시각지능연구소(Ali-Vilab)에서 개발한 오픈 소스 프로젝트로, 선화 채색 자동 처리에 중점을 두고 있습니다. 이 도구는 딥러닝 기술을 통해 정확한 색상 일치의 참조 이미지를 달성하여 만화 제작의 효율성과 품질을 크게 향상시키며, 만화닌자(MangaNinjia)는 자동으로 색상을 식별하고 적용할 수 있을 뿐만 아니라 미세 제어 지점을 통해 사용자를 지원하므로 복잡한 장면에서도 만족스러운 색상 결과를 얻을 수 있습니다. 이 프로젝트는 자세한 코드와 설명이 담긴 깃허브에서 확인할 수 있으며, 많은 만화 팬과 전문가들의 관심을 받고 있습니다.

이 프로젝트에는 현재 선 추출, 선 채색, 정확한 선 채색 등 세 가지 기능이 있습니다.

기능 목록

• 자동 라인 컬러링참조 이미지를 기반으로 색상을 자동으로 식별하고 적용합니다.
• 정확한 참조 다음선화와 참조 이미지 간의 색상 일관성을 보장하기 위해 알고리즘이 사용됩니다.
• 포인트 앤 클릭 컬러링사용자가 점을 클릭하여 특정 영역의 색상을 지정할 수 있어 색상의 정확도를 높일 수 있습니다.
• 다중 참조 이미지 지원여러 참조 이미지에서 색상을 추출하여 포괄적인 색상을 지정할 수 있습니다.
• 다양한 아트웍 형식에 적응이진화된 선 그리기 등 다양한 선 그리기 입력 형식을 지원합니다.

도움말 사용

설치 프로세스

1. 복제 창고:

   git clone https://github.com/ali-vilab/MangaNinjia.git
cd MangaNinjia

2. 종속성을 설치합니다:

   conda env create -f environment.yaml
conda activate MangaNinjia

3. 사전 학습된 모델을 다운로드하세요:
   • 허깅페이스에서 StableDiffusion 다운로드, clip-vit-large-patch14, controlv11psd15_lineart 및 어노테이터 모델.
   • 다운로드한 모델을checkpoints카탈로그를 다음과 같은 구조로 만들 수 있습니다:
checkpoints/
├── StableDiffusion/
├── models/
├── clip-vit-large-patch14/
├── control_v11p_sd15_lineart/
└── Annotators/
├── sk_model.pth
├── MangaNinjia/
├── denoising_unet.pth
├── reference_unet.pth
├── point_net.pth
└── controlnet.pth


사용 프로세스

1. 추론 스크립트를 실행합니다:

   cd scripts
bash infer.sh

• 결과는output/카탈로그.

1. 추론 설정:
   • --denoise_steps추론당 노이즈 제거 단계 수는 20~50단계를 사용하는 것이 좋습니다.
   • --is_lineart입력이 이미 선 그리기이고 추가 추출이 필요하지 않은 경우 이 매개변수가 포함됩니다.
   • --guidance_scale_ref이 매개변수의 값을 높이면 모델이 참조 이미지에 따라 안내되는 경향이 커집니다.

만화 닌자 사용

기본 사용 단계:

• 선 그리기를 준비합니다:
  • 선화 이미지가 배경 값이 0이고 선화 값이 1에 가까운 단일 채널 그레이 스케일 이미지인지 확인하세요. 선화가 이진화된 경우 커뮤니티에 피드백을 보내주시면 추가 최적화를 고려해 보겠습니다.
• 참조 이미지를 업로드합니다:
  • 라인 아트에 색을 입히고 싶은 참조 이미지를 업로드합니다. 이 이미지는 색상 참조로 사용됩니다.
• 포인트 제어 작동(선택 사항)
  • 참조 이미지와 대상 선화에서 해당 점을 클릭하여 색상 일치를 지정합니다. 이 점은 시스템이 색상을 더 정확하게 적용하는 데 도움이 됩니다.
• 이미지를 생성합니다:
  • "생성" 버튼을 클릭하면 설정 및 포인트 제어 정보에 따라 시스템이 컬러링 프로세스를 시작합니다.

자세한 작동 지침:

• 이미지 처리: 시작하기 전에 '이미지 처리'를 클릭하여 이미지 크기를 512x512픽셀로 조정하여 모델의 최상의 성능을 보장할 수 있습니다.
• 포인트 제어 색상:
  • '실행 취소' 버튼을 선택하면 마지막 탭 작업을 실행 취소할 수 있습니다.
  • 참조 이미지가 두 개 이상인 경우 포인트 앤 클릭 컨트롤을 사용하여 서로 다른 이미지 영역의 색상을 선택하여 최상의 결과를 얻을 수 있습니다.
• 매개변수 조정:
  • --denoise_steps: 노이즈 제거 단계 수를 조정합니다(20~50개 권장).
  • --is_lineart: 입력이 이미 라인아트이고 추가 추출이 필요하지 않은 경우 이 매개변수를 사용합니다.
  • --guidance_scale_ref: 이 값을 높이면 모델이 참조 이미지의 안내를 따르도록 기울어집니다.
• 결과를 생성합니다:
  • 생성된 컬러링 결과는 출력/ 디렉토리에 저장됩니다. 결과를 확인할 때 이미지의 디테일과 색상이 예상과 일치하는지 확인하고 필요한 경우 매개변수를 조정하여 다시 생성하세요.

망가닌자 원클릭 설치 패키지

Quark: https://pan.quark.cn/s/77512037ba78

바이두:https://pan.baidu.com/s/1xa3Yml0O-1LP9iPiAiGD5w?pwd=fa6c