MangaNinjia: автоматизированный инструмент для быстрого раскрашивания черно-белых линейных рисунков аниме.

Общее введение

MangaNinjia - это проект с открытым исходным кодом, разработанный Alibaba Tongyi Visual Intelligence Lab (Ali-Vilab), ориентированный на автоматизированную обработку раскраски линейных рисунков. Этот инструмент с помощью технологии глубокого обучения позволяет добиться от эталонного изображения точного цветового соответствия, значительно повышая эффективность и качество создания комиксов. MangaNinjia не только может автоматически определять и применять цвет, но и поддерживает пользователя через точку тонкого управления, так что даже в сложных сценах можно добиться удовлетворительных цветовых результатов. Проект доступен на GitHub с подробным кодом и инструкциями, привлекая внимание многих любителей манги и профессионалов.

В настоящее время проект имеет три функции: выделение линий, раскрашивание линий и точное раскрашивание линий.

Список функций

• Автоматическое окрашивание линий: Автоматическое определение и применение цветов на основе эталонного изображения.
• Точное следование ссылкамАлгоритмы обеспечивают согласованность цветов между линейным рисунком и эталонным изображением.
• Раскрашивание по точкам и щелчкам: Позволяет пользователю задать цвет определенной области, щелкнув по точке, что повышает точность цветопередачи.
• Поддержка изображений с несколькими ссылками: Цвета могут быть извлечены из нескольких эталонных изображений для комплексного окрашивания.
• Адаптация к различным форматам иллюстраций: Поддерживает различные форматы ввода линейного рисунка, например бинаризованный линейный рисунок.

Использование помощи

Процесс установки

1. Хранилище клонирования:

   git clone https://github.com/ali-vilab/MangaNinjia.git
cd MangaNinjia

2. Установите зависимость:

   conda env create -f environment.yaml
conda activate MangaNinjia

3. Загрузите предварительно обученную модель:
   • Скачать StableDiffusion от HuggingFace, clip-vit-large-patch14, controlv11psd15_lineart и модель Annotators.
   • Поместите загруженную модель вcheckpointsкаталог со следующей структурой:
checkpoints/
├── StableDiffusion/
├── models/
├── clip-vit-large-patch14/
├── control_v11p_sd15_lineart/
└── Annotators/
├── sk_model.pth
├── MangaNinjia/
├── denoising_unet.pth
├── reference_unet.pth
├── point_net.pth
└── controlnet.pth


Процесс использования

1. Запустите сценарий рассуждений:

   cd scripts
bash infer.sh

• Результаты будут сохранены вoutput/Каталог.

1. Установки для рассуждений:
   • --denoise_steps: Количество шагов денуазинга на один вывод рекомендуется использовать 20-50 шагов.
   • --is_lineart: Этот параметр включается, если исходный текст уже представляет собой линейный рисунок и не требует дополнительного извлечения.
   • --guidance_scale_ref: Увеличение значения этого параметра делает модель более склонной ориентироваться на эталонное изображение.

Использование MangaNinjia

Основные этапы использования:

• Подготовьте линейный рисунок:
  • Убедитесь, что ваше линейное изображение - это одноканальное полутоновое изображение со значением фона 0 и значением линии, близким к 1. Если линейное изображение бинаризовано, пожалуйста, оставьте отзыв в сообществе, и мы рассмотрим дальнейшую оптимизацию.
• Загрузите эталонное изображение:
  • Загрузите эталонные изображения, которые вы хотели бы раскрасить в линейный рисунок. Эти изображения будут использоваться в качестве эталонов цвета.
• Управление точками (опция)
  • Укажите соответствие цветов, щелкнув по соответствующим точкам на эталонном изображении и целевом линейном чертеже. Эти точки помогут системе более точно применять цвета.
• Создайте изображение:
  • Нажмите кнопку "Генерировать", и система начнет процесс окрашивания в соответствии с вашими настройками и информацией о контрольных точках.

Подробная инструкция по эксплуатации:

• Обработка изображений: Перед началом работы вы можете нажать на кнопку "Обработать изображения", чтобы изменить размер изображения до 512x512 пикселей для обеспечения наилучшей производительности модели.
• Раскраска с точечным управлением:
  • Выберите кнопку "Отменить", чтобы отменить последнее нажатие.
  • Если у вас есть несколько эталонных изображений, вы можете использовать элементы управления, чтобы выбрать цвета различных областей изображения для достижения наилучших результатов.
• Регулировка параметров:
  • --denoise_steps: настройка количества шагов денуазинга, рекомендуется в пределах 20-50.
  • --is_lineart: используйте этот параметр, если входные данные уже являются линейными и не требуют дополнительного извлечения.
  • --guidance_scale_ref: увеличьте это значение, чтобы модель в большей степени следовала указаниям опорного изображения.
• Добивайтесь результатов:
  • Сгенерированные результаты раскрашивания будут сохранены в каталоге output/. При проверке результатов обратите внимание на то, соответствуют ли детали и цвета изображения ожидаемым, и при необходимости настройте параметры для его регенерации.

Пакет для установки MangaNinjia одним щелчком мыши

Кварк: https://pan.quark.cn/s/77512037ba78

Baidu:https://pan.baidu.com/s/1xa3Yml0O-1LP9iPiAiGD5w?pwd=fa6c