SVFR : Un cadre unifié pour l'implémentation de la réparation de visages vidéo, la réparation de vidéos en noir et blanc, de portraits flous et de vieilles vidéos

Introduction générale

SVFR (Stable Video Face Restoration) est un cadre unifié pour la restauration vidéo des visages qui prend en charge les tâches de restauration de base des visages (BFR), de coloration, de réparation et leur combinaison. Le cadre utilise des antécédents génératifs et de mouvement pour intégrer des informations spécifiques à la tâche à travers un cadre de restauration de visage unifié afin d'améliorer la qualité de la restauration et la stabilité temporelle.SVFR est conçu pour relever les défis de la cohérence temporelle, des artefacts de mouvement et des données vidéo limitées de haute qualité dans la restauration de visage vidéo. Le projet a été développé par Zhiyao Wang et al. et est en libre accès sur GitHub, où le code et les modèles pré-entraînés sont disponibles pour la recherche académique et non-commerciale.

Liste des fonctions

• Restauration de base du visage (BFR)Correction des détails des visages dans les vidéos de faible qualité.
• coloration: Ajoute de la couleur à une vidéo en noir et blanc.
• correctifs: Corrigez les parties manquantes de la vidéo.
• Portefeuille de tâchesLes données de l'utilisateur peuvent être combinées à d'autres données : toute combinaison de BFR, de coloration et de restauration est prise en charge.
• cohérence temporelle: Amélioration de la cohérence temporelle de la restauration vidéo grâce à la génération et à l'antériorité du mouvement.
• Modèle de pré-entraînementLes modèles préformés : fournir une variété de modèles préformés pour que les utilisateurs puissent commencer rapidement.

Utiliser l'aide

Processus d'installation

1. Création de l'environnement Conda: :

   conda create -n svfr python=3.9 -y
conda activate svfr

2. Installation de PyTorchLes données de l'ordinateur peuvent être utilisées à des fins d'analyse : choisissez la bonne version de CUDA pour votre matériel, par exemple :

   pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2

3. Installation des dépendances: :

   pip install -r requirements.txt

4. Télécharger CheckpointsTélécharger manuellement et placer dans le répertoire spécifié.

Processus d'utilisation

1. raisonnement monotâche: :

   python3 infer.py --config config/infer.yaml --task_ids 0 --input_path ./assert/lq/lq1.mp4 --output_dir ./results/

• task_id: 0 Indique la restauration de base du visage (BFR)
• task_id: 1 dénote la coloration
• task_id: 2 Indique la restauration

1. raisonnement combinatoire multitâche: :

   python3 infer.py --config config/infer.yaml --task_ids 0,1,2 --input_path ./assert/lq/lq3.mp4 --output_dir ./results/

• task_ids: 0,1 Indique le BFR et la coloration
• task_ids: 0,1,2 Indique BFR, coloration et restauration

1. Raisonner avec des masques de réparation: :

   python3 infer.py --config config/infer.yaml --task_ids 0,1,2 --input_path ./assert/lq/lq3.mp4 --output_dir ./results/ --mask_path ./assert/mask/lq3.png

Fonction détaillée du déroulement des opérations

1. Restauration de base du visage (BFR): :
   • Sélectionnez le chemin vidéo d'entrée et le répertoire de sortie.
   • Définissez l'ID de la tâche sur 0.
   • Exécutez la commande de raisonnement pour générer la vidéo réparée.
2. coloration: :
   • Sélectionnez le chemin vidéo d'entrée et le répertoire de sortie.
   • Définissez l'ID de la tâche sur 1.
   • Exécutez la commande d'inférence pour générer la vidéo colorée.
3. correctifs: :
   • Sélectionnez le chemin vidéo d'entrée et le répertoire de sortie.
   • Définissez l'ID de la tâche sur 2.
   • Exécutez la commande de raisonnement pour générer la vidéo réparée.
4. Portefeuille de tâches: :
   • Sélectionnez le chemin vidéo d'entrée et le répertoire de sortie.
   • Définissez l'ID de la tâche à l'ID de la tâche combinée, par exemple 0,1 pour le BFR et le coloriage.
   • Exécutez les commandes d'inférence pour générer la vidéo après le traitement de la tâche combinée.
5. Raisonner avec des masques de réparation: :
   • Sélectionnez le chemin d'accès à la vidéo d'entrée, le répertoire de sortie et le chemin d'accès au fichier de masque.
   • Réglez l'ID de la tâche sur l'ID de la tâche combinée, par exemple 0,1,2 pour BFR, Coloriage et Réparation.
   • Exécutez la commande d'inférence pour générer la vidéo avec le masque de réparation traité.