Allgemeine Einführung
MangaNinjia ist ein Open-Source-Projekt, das von Alibaba Tongyi Visual Intelligence Lab (Ali-Vilab) entwickelt wurde und sich auf die automatisierte Verarbeitung von Strichzeichnungen und Farbgebung konzentriert. Dieses Tool durch Deep-Learning-Technologie, um das Referenzbild der exakten Farbabstimmung zu erreichen, die erhebliche Verbesserung der Effizienz und Qualität der Erstellung von Comics.MangaNinjia kann nicht nur automatisch identifizieren und die Farbe anwenden, sondern unterstützt auch den Benutzer durch den Punkt der Feinsteuerung, so dass auch in komplexen Szenen können zufriedenstellende Farbergebnisse zu erreichen. Das Projekt ist auf GitHub mit detailliertem Code und Anleitungen verfügbar, was die Aufmerksamkeit vieler Manga-Fans und Profis auf sich zieht.
Das Projekt hat derzeit drei Funktionen: Linienextraktion, Linienfärbung und genaue Linienfärbung.
Funktionsliste
- Automatische LinienfärbungAutomatisches Erkennen und Anwenden von Farben auf der Grundlage eines Referenzbildes.
- Präzise Referenz nachAlgorithmen werden verwendet, um die Farbkonsistenz zwischen der Strichzeichnung und dem Referenzbild zu gewährleisten.
- Färben durch Zeigen und KlickenErmöglicht es dem Benutzer, die Farbe eines bestimmten Bereichs durch Klicken auf einen Punkt festzulegen, was die Genauigkeit der Farbgebung verbessert.
- Unterstützung für Multi-ReferenzbilderFarben können aus mehreren Referenzbildern für eine umfassende Farbgebung extrahiert werden.
- Anpassung an verschiedene Formate von DruckvorlagenUnterstützt eine Vielzahl von Eingabeformaten für Linienzeichnungen, wie z.B. binarisierte Linienzeichnungen.
Hilfe verwenden
Ablauf der Installation
- Klon-Lagerhaus:
git clone https://github.com/ali-vilab/MangaNinjia.git
cd MangaNinjia
- Installieren Sie die Abhängigkeit:
conda env erstellen -f environment.yaml
conda MangaNinjia aktivieren
- Laden Sie das vortrainierte Modell herunter:
- Download StableDiffusion von HuggingFace, clip-vit-large-patch14, controlv11psd15_lineart und Annotators model.
- Platzieren Sie das heruntergeladene Modell in der
Kontrollpunkte
Katalog mit der folgenden Struktur:
Kontrollpunkte/
├── StableDiffusion/
├── Modelle/
├── clip-vit-large-patch14/
├── Steuerung_v11p_sd15_lineart/
└─ Annotatoren/
├── sk_model.pth
├── Manga Ninjia/
├── Rauschunterdrückung_unet.pth
referenz_unet.pth
├── point_net.pth
└── controlnet.pth
Verwendung Prozess
- Führen Sie das Argumentationsskript aus:
cd skripte
bash infer.sh
- Die Ergebnisse werden in der Datei
Ausgabe/
Katalog.
- Begründungsaufbau:
--denoise_steps
Die Anzahl der Entrauschungsschritte pro Inferenz wird mit 20-50 Schritten empfohlen.--ist_linear
Dieser Parameter ist enthalten, wenn die Eingabe bereits eine Linienzeichnung ist und keine zusätzliche Extraktion erforderlich ist.--leitfaden_skala_ref
Je höher der Wert dieses Parameters ist, desto eher orientiert sich das Modell an dem Referenzbild.
Verwendung von MangaNinjia
Grundlegende Verwendungsschritte:
- Bereiten Sie die Strichzeichnung vor:
- Vergewissern Sie sich, dass es sich bei Ihrem Strichbild um ein einkanaliges Graustufenbild mit einem Hintergrundwert von 0 und einem Linienwert nahe 1 handelt. Wenn das Strichbild binarisiert ist, geben Sie bitte Feedback in der Community, und wir werden weitere Optimierungen in Betracht ziehen.
- Laden Sie ein Referenzbild hoch:
- Laden Sie Referenzbilder hoch, die Sie für die Einfärbung der Strichzeichnungen verwenden möchten. Diese Bilder werden als Farbreferenzen verwendet.
- Weichensteuerungsbetrieb (optional)
- Geben Sie eine Farbübereinstimmung an, indem Sie auf die entsprechenden Punkte auf dem Referenzbild und der Ziellinienzeichnung klicken. Anhand dieser Punkte kann das System die Farben genauer anwenden.
- Erzeugen Sie ein Bild:
- Klicken Sie auf die Schaltfläche "Erzeugen", und das System beginnt mit der Einfärbung entsprechend Ihren Einstellungen und Punktkontrollinformationen.
Ausführliche Betriebsanleitung:
- Bildbearbeitung: Bevor Sie beginnen, können Sie auf "Bilder bearbeiten" klicken, um die Größe des Bildes auf 512x512 Pixel zu ändern, um die beste Leistung des Modells zu gewährleisten.
- Punktkontrollfärbung:
- Wählen Sie die Schaltfläche "Rückgängig", um den letzten Tippvorgang rückgängig zu machen.
- Wenn Sie mehr als ein Referenzbild haben, können Sie die Farben der verschiedenen Bildbereiche mit den Point-and-Click-Steuerelementen auswählen, um optimale Ergebnisse zu erzielen.
- Anpassung der Parameter:
- --denoise_steps: Einstellung der Anzahl der Entrauschungsschritte, empfohlen zwischen 20-50.
- --is_lineart: Verwenden Sie diesen Parameter, wenn die Eingabe bereits linearisiert ist und keine zusätzliche Extraktion erforderlich ist.
- --guidance_scale_ref: Erhöhen Sie diesen Wert, damit sich das Modell stärker an den Vorgaben des Referenzbildes orientiert.
- Generieren Sie Ergebnisse:
- Die erzeugten Färbungsergebnisse werden im Verzeichnis output/ gespeichert. Achten Sie bei der Überprüfung der Ergebnisse darauf, ob die Details und Farben des Bildes den Erwartungen entsprechen, und passen Sie die Parameter an, um das Bild ggf. neu zu generieren.