CodeFormer Allgemeine Einführung
CodeFormer ist eine Codebasis für die robuste blinde Gesichtsreparatur, die von einem Forscherteam des S-Lab an der Nanyang Technological University entwickelt und auf der NeurIPS 2022 vorgestellt wurde. Mit Hilfe der Codebook-Lookup-Transformer-Technologie zielt das Projekt darauf ab, die Reparatur von Gesichtern in Bildern zu verbessern, insbesondere wenn es sich um qualitativ schlechte oder beschädigte Bilder handelt.CodeFormer bietet eine breite Palette von Funktionen, einschließlich Gesichtsreparatur, Färbung und Patching, für eine Vielzahl von Bildverarbeitungsanforderungen. Darüber hinaus unterstützt das Projekt die Eingabe von Videos und bietet benutzerfreundliche Online-Demos, vortrainierte Modelle und detaillierte Anleitungen für die Verwendung.
Die Gebrauchsanweisung muss genau gelesen werden, sonst funktioniert es nicht richtig. Wenn formell kommerziell als alte Foto-Restaurierung verkauft, ist eine einfache PS-Basis erforderlich, sonst wird es nicht die gleiche Wirkung erzielen online.
CodeFormer Funktionsliste
- GesichtsrestaurierungVerbessern Sie die Klarheit und Detailgenauigkeit von minderwertigen oder beschädigten Gesichtsbildern mit der Codebook Lookup Converter-Technologie.
- Einfärbung von BildernFügen Sie Schwarz-Weiß-Bildern oder verblassten Bildern natürliche Farben hinzu.
- Image-ReparaturReparieren Sie fehlende Teile eines Bildes, um es vollständig zu machen.
- VideoverarbeitungUnterstützt das Reparieren und Verbessern von Gesichtern in Videos.
- Online-DemoEine Online-Demo-Funktion steht zur Verfügung, damit die Benutzer die Restaurierung direkt in ihrem Browser erleben können.
CodeFormer Hilfe
Ablauf der Installation
- Klonen der Codebasis::
git klonen. https://github.com/sczhou/CodeFormer cd CodeFormer
- Erstellen und Aktivieren einer virtuellen Umgebung::
conda create -n codeformer python=3.8 -y conda codeformer aktivieren
- Installation von Abhängigkeiten::
pip install -r anforderungen.txt python basicsr/setup.py entwickeln conda install -c conda-forge dlib
- Download des vortrainierten Modells::
python skripte/download_pretrained_models.py facelib python skripte/download_pretrained_models.py dlib python skripte/download_pretrained_models.py CodeFormer
Verwendung Prozess
- Vorbereiten der Testdaten: Legen Sie das Testbild in den
Eingaben/TestWhole
Ordner. Wenn Sie beschnittene und ausgerichtete Gesichtsbilder testen möchten, können Sie sie in den Ordnerinputs/cropped_faces
Ordner. - Ausführen des Inferenzcodes::
python inference_codeformer.py --input_path inputs/TestWhole --output_path results
Dieser Befehl verarbeitet die
Eingaben/TestWhole
Ordner mit allen Bildern und speichern Sie die Ergebnisse im OrdnerErgebnisse
Ordner.
Funktion Betriebsablauf
- Gesichtsrestaurierung::
- Legen Sie das zu restaurierende Bild in den
Eingaben/TestWhole
Mappe. - Führen Sie den Inferenzcode aus, um das reparierte Bild zu erzeugen.
- Legen Sie das zu restaurierende Bild in den
- Einfärbung von Bildern::
- Platzieren Sie ein schwarz-weißes Bild in der
Eingaben/TestWhole
Mappe. - ausnutzen
inference_colourization.py
Skript zum Ausmalen.
- Platzieren Sie ein schwarz-weißes Bild in der
- Image-Reparatur::
- Legen Sie das zu patchende Bild in den Ordner
Eingaben/TestWhole
Mappe. - ausnutzen
inference_inpainting.py
Skripte für das Patchen.
- Legen Sie das zu patchende Bild in den Ordner
- Videoverarbeitung::
- Legen Sie die Videodatei in dem angegebenen Ordner ab.
- Führen Sie den Inferenzcode aus, um die Gesichter im Video zu verarbeiten.
Gesichtsrestaurierung (Zuschneiden und Ausrichten des Gesichts)
# Für beschnittene und ausgerichtete Flächen
python inference_codeformer.py -w 0.5 --has_aligned --input_path [input folder]
Allgemeine Bildverbesserung
# Für das gesamte Bild
# Hinzufügen von '---bg_upsampler realesrgan' zur Verbesserung der Hintergrundregionen mit Real-ESRGAN
# Hinzufügen von '--face_upsample' für weitere Upsamples von restaurierten Flächen mit Real-ESRGAN
python inference_codeformer.py -w 0.7 --input_path [Bildordner/Bildpfad]
Videoerweiterung
# Für Videoclips
python inference_codeformer.py --bg_upsampler realesrgan --face_upsample -w 1.0 --input_path
Das Treuegewicht w liegt im Bereich [0, 1]. Im Allgemeinen führt ein kleineres w zu qualitativ hochwertigeren Ergebnissen, während ein größeres w zu realitätsnäheren Ergebnissen führt.
Die Ergebnisse werden im Ergebnisordner gespeichert.