CodeFormer : restauration d'images et de vidéos, restauration de vieilles photos, offre une version de déploiement en un clic

Introduction générale de CodeFormer

CodeFormer est une base de code pour la réparation robuste de visages à l'aveugle, développée par une équipe de chercheurs du S-Lab, Nanyang Technological University et présentée à NeurIPS 2022. En utilisant la technologie Codebook Lookup Transformer, le projet vise à améliorer la réparation des visages dans les images, en particulier lorsqu'il s'agit d'images de faible qualité ou corrompues.CodeFormer fournit une large gamme de fonctionnalités, y compris la réparation des visages, la coloration et le patching, pour une variété de besoins de traitement d'image. En outre, le projet prend en charge la saisie vidéo et propose des démonstrations en ligne faciles à utiliser, des modèles pré-entraînés et des instructions d'utilisation détaillées.

Le mode d'emploi doit être lu scrupuleusement, faute de quoi le produit ne fonctionnera pas correctement. En cas de vente commerciale de restauration de vieilles photos, une simple base PS est nécessaire, sinon l'effet ne sera pas le même en ligne.

CodeFormer tente d'améliorer de vieilles photos / de corriger des portraits d'IA

CodeFormer Face Repair

CodeFormer Amélioration et restauration de la couleur du visage

CodeFormer Face Repair

Liste des fonctionnalités de CodeFormer

• restauration du visageAméliorer la clarté et le détail des images de visages de faible qualité ou corrompues grâce à la technologie du convertisseur codebook lookup.
• Coloriage des imagesLes images en noir et blanc et les images délavées sont rehaussées de couleurs naturelles.
• Réparation d'images: Réparer les parties manquantes d'une image pour la rendre complète.
• Traitement vidéoLes visages : permet de réparer et d'améliorer les visages dans les vidéos.
• Démonstration en ligneLa fonction de démonstration en ligne est fournie afin que les utilisateurs puissent expérimenter la restauration directement dans leur navigateur.

Aide CodeFormer

Processus d'installation

1. Clonage de la base de code: :

   git clone https://github.com/sczhou/CodeFormer
   cd CodeFormer
   

    

2. Créer et activer un environnement virtuel: :

   conda create -n codeformer python=3.8 -y
   conda activate codeformer
   

    

3. Installation des dépendances: :

   pip install -r requirements.txt
   python basicsr/setup.py develop
   conda install -c conda-forge dlib
   

    

4. Télécharger le modèle pré-entraîné: :

   python scripts/download_pretrained_models.py facelib
   python scripts/download_pretrained_models.py dlib
   python scripts/download_pretrained_models.py CodeFormer
   

    

Processus d'utilisation

1. Préparation des données de test: Placez l'image test dans l'espace de travail. inputs/TestWhole dossier. Si vous devez tester des images de visages recadrées et alignées, vous pouvez les placer dans le dossier inputs/cropped_faces dossier.
2. Exécuter le code d'inférence: :

   python inference_codeformer.py --input_path inputs/TestWhole --output_path results
   

   Cette commande traitera le inputs/TestWhole avec toutes les images qu'il contient et enregistrer les résultats dans le dossier results dossier.

Fonction Opération Déroulement

1. restauration du visage: :
   • Placer l'image à restaurer dans le inputs/TestWhole Dossier.
   • Exécutez le code d'inférence pour générer l'image réparée.
2. Coloriage des images: :
   • Placez une image en noir et blanc dans le inputs/TestWhole Dossier.
   • utiliser inference_colorization.py Scénario à colorier.
3. Réparation d'images: :
   • Placez l'image à patcher dans le champ inputs/TestWhole Dossier.
   • utiliser inference_inpainting.py Scripts pour l'application de correctifs.
4. Traitement vidéo: :
   • Placez le fichier vidéo dans le dossier spécifié.
   • Exécutez le code d'inférence pour traiter les visages de la vidéo.

Restauration faciale (recadrage et alignement du visage)

# Pour les visages recadrés et alignés
python inference_codeformer.py -w 0.5 --has_aligned --input_path [dossier d'entrée]

Amélioration globale de l'image

# Pour l'ensemble de l'image
# Ajouter '---bg_upsampler realesrgan' pour améliorer les régions d'arrière-plan avec Real-ESRGAN
# Ajouter '--face_upsample' pour continuer à upsampler le visage restauré avec Real-ESRGAN
python inference_codeformer.py -w 0.7 --input_path [image folder/image path]

amélioration de la vidéo

# Pour les clips vidéo
python inference_codeformer.py --bg_upsampler realesrgan --face_upsample -w 1.0 --input_path

Le poids de fidélité w est situé dans l'intervalle [0, 1]. En général, un w plus petit tend à produire des résultats de meilleure qualité, tandis qu'un w plus grand produit des résultats plus fidèles.

Les résultats seront enregistrés dans le dossier des résultats.

Kit de déploiement en un clic de CodeFormer

CodeFormer colab run

CodeL'ancien HuggingFace court

CodeFormer pour Windows

CodeFormer WebUI (Mot de passe niugee51)