SVFR: Ein einheitlicher Rahmen für die Implementierung von Video-Gesichtsreparaturen, Reparatur von Schwarz-Weiß-Videos, verschwommenen Porträts und alten Videos

Allgemeine Einführung

SVFR (Stable Video Face Restoration) ist ein einheitliches Framework für die Wiederherstellung von Gesichtern in Videos, das die Aufgaben Basic Face Restoration (BFR), Colouring, Repair und deren Kombination unterstützt. SVFR wurde entwickelt, um die Herausforderungen der zeitlichen Konsistenz, der Bewegungsartefakte und der begrenzten Qualität der Videodaten bei der Wiederherstellung von Gesichtern zu meistern. Das Projekt wurde von Zhiyao Wang et al. entwickelt und steht auf GitHub zur Verfügung, wo der Code und die vortrainierten Modelle für die akademische und nicht-kommerzielle Forschung verfügbar sind.

Funktionsliste

• Grundlegende Wiederherstellung des Gesichts (BFR)Repariert Gesichtsdetails in Videos mit schlechter Qualität.
• FärbungFärbt ein Schwarz-Weiß-Video ein.
• behebt: Reparieren Sie die fehlenden Teile des Videos.
• Portfolio von AufgabenJede Kombination von BFR, Färbung und Restaurierung wird unterstützt.
• ZeitkonsistenzEnhancing the temporal consistency of video restoration through generation and motion prior.
• Pre-Training ModellBieten Sie eine Vielzahl von vortrainierten Modellen an, damit die Benutzer schnell loslegen können.

Hilfe verwenden

Ablauf der Installation

1. Erstellen der Conda-Umgebung::

   conda create -n svfr python=3.9 -y
conda aktivieren svfr

2. Installation von PyTorchWählen Sie zum Beispiel die richtige CUDA Version für Ihre Hardware:

   pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2

3. Installation von Abhängigkeiten::

   pip install -r anforderungen.txt

4. Checkpoints herunterladen: Manuelles Herunterladen und Ablegen im angegebenen Verzeichnis.

Verwendung Prozess

1. aufgabenbezogenes Denken::

   python3 infer.py --config config/infer.yaml --task_ids 0 --input_path . /assert/lq/lq1.mp4 --output_dir . /results/

• aufgabe_id: 0 Zeigt die grundlegende Wiederherstellung des Gesichts (BFR) an.
• aufgabe_id: 1 Zeigt Färbung an
• aufgabe_id: 2 Zeigt Wiederherstellung an

1. multitaskingfähiges kombinatorisches Denken::

   python3 infer.py --config config/infer.yaml ---task_ids 0,1,2 --input_path . /assert/lq/lq3.mp4 --output_dir . /results/

• aufgaben_ids: 0,1 kennzeichnet BFR und Färbung
• aufgaben_id: 0,1,2 Kennzeichnet BFR, Färbung und Restaurierung

1. Reasoning mit Reparaturmasken::

   python3 infer.py --config config/infer.yaml ---task_ids 0,1,2 --input_path . /assert/lq/lq3.mp4 --output_dir . /results/ ---mask_path . /assert/mask/lq3.png

Detaillierte Funktionsabläufe

1. Grundlegende Wiederherstellung des Gesichts (BFR)::
   • Wählen Sie den Pfad für das Eingangsvideo und das Ausgabeverzeichnis.
   • Setzen Sie die Aufgaben-ID auf 0.
   • Führen Sie den Argumentationsbefehl aus, um das reparierte Video zu erstellen.
2. Färbung::
   • Wählen Sie den Pfad für das Eingangsvideo und das Ausgabeverzeichnis.
   • Setzen Sie die Aufgaben-ID auf 1.
   • Führen Sie den Inferenzbefehl aus, um das farbige Video zu erzeugen.
3. behebt::
   • Wählen Sie den Pfad für das Eingangsvideo und das Ausgabeverzeichnis.
   • Setzen Sie die Aufgaben-ID auf 2.
   • Führen Sie den Argumentationsbefehl aus, um das reparierte Video zu erstellen.
4. Portfolio von Aufgaben::
   • Wählen Sie den Pfad für das Eingangsvideo und das Ausgabeverzeichnis.
   • Setzen Sie die Aufgaben-ID auf die ID der kombinierten Aufgabe, z. B. 0,1 für BFR und Färbung.
   • Führen Sie die Inferenzbefehle aus, um das Video nach der Verarbeitung der kombinierten Aufgabe zu erstellen.
5. Reasoning mit Reparaturmasken::
   • Wählen Sie den Pfad des Eingangsvideos, das Ausgabeverzeichnis und den Pfad der Maskendatei.
   • Setzen Sie die Aufgaben-ID auf die ID der kombinierten Aufgabe, z. B. 0,1,2 für BFR, Färbung und Reparatur.
   • Führen Sie den Inferenzbefehl aus, um das Video mit der bearbeiteten Reparaturmaske zu erzeugen.