OPR : l'outil d'IA qui restaure intelligemment les vieilles photos jaunies et usées

Introduction générale

"Bringing Old Photos Back to Life" est un projet open source développé par une équipe de chercheurs de Microsoft qui se concentre sur la restauration de vieilles photos à l'aide de la technologie de l'IA. Il est basé sur une approche d'apprentissage profond qui peut traiter les graves problèmes de dégradation des photos, tels que les rayures, le flou et la décoloration, afin de redonner vie aux images historiques. Le projet a fait l'objet d'une présentation orale lors de la CVPR 2020 (Conference on Computer Vision and Pattern Recognition) et a suscité une grande attention. Les utilisateurs peuvent accéder au code et aux modèles pré-entraînés via GitHub, ce qui convient à la recherche ou aux besoins personnels de restauration de photos. Le projet fournit non seulement des implémentations techniques, mais aussi une documentation détaillée et des exemples pour les développeurs et les amateurs.

Expérience en ligne sur https://colab.research.google.com/drive/1NEm6AsybIiC5TwTU_4DqDkQO0nFRB-uA?usp=sharing

Liste des fonctions

• Amélioration de la qualité générale des photographies anciennesAméliorez la clarté, le contraste et la couleur de vos photos grâce à des algorithmes d'intelligence artificielle.
• Réparation automatique des rayuresDétecte et répare les rayures physiques sur les photos, en restaurant les détails de l'image originale.
• Amélioration de la zone du visageLes résultats de l'analyse de l'image sont présentés dans le tableau suivant : Réglage fin des zones du visage pour améliorer la clarté des traits du visage.
• Support haute résolutionLa technologie de l'image de synthèse permet de traiter des photos de plus haute résolution pour les besoins de la restauration professionnelle.
• fonctionnement de l'interface utilisateurLe logiciel de gestion des photos : Il fournit une interface graphique pour simplifier le processus de téléchargement et de restauration des photos.
• Modèles de formation personnalisésLe système de formation en ligne : il permet aux utilisateurs de former des ensembles de données spécifiques à la demande, ce qui élargit les scénarios applicables.

Utiliser l'aide

Processus d'installation

Pour utiliser "Bringing Old Photos Back to Life", vous devez procéder à la configuration de l'environnement et à l'installation du code. Vous trouverez ci-dessous les étapes détaillées pour le système Ubuntu (les utilisateurs de Windows doivent s'adapter à leur environnement) :

1. préparer l'environnement

• exigences du systèmeUbuntu (recommandé) avec prise en charge du GPU Nvidia et de CUDA.
• Version PythonPython : Assurez-vous que Python 3.6 ou supérieur est installé.
• Installation dépendante: :
  1. Ouvrez un terminal et entrez la commande suivante pour installer les bibliothèques nécessaires :

     pip install torch torchvision numpy opencv-python PySimpleGUI
     

  2. Si la prise en charge du GPU est nécessaire, assurez-vous que CUDA et la version correspondante de PyTorch sont installés.

2. téléchargement du code et des modèles

• entrepôt de clones: :

  git clone https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life.git
  cd Bringing-Old-Photos-Back-to-Life

• Module de standardisation des lots synchronisés: :
  1. entrer dansFace_Enhancement/models/networks/Catalogue :

     cd Face_Enhancement/models/networks/
     git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
     cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm ./
     cd ../../../
     

  2. entrer dansGlobal/detection_models/Répétez l'opération pour le catalogue :

     cd Global/detection_models/
     git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
     cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm ./
     cd ../../
     

• Télécharger le modèle pré-entraîné: :
  1. entrer dansFace_Enhancement/Catalogue, télécharger Face Enhancement Models :

     cd Face_Enhancement/
     wget https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases/download/v1.0/face_checkpoints.zip
     unzip face_checkpoints.zip
     cd ../
     

  2. entrer dansGlobal/Catalogue, télécharger Global Repair Model :

     cd Global/
     wget https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases/download/v1.0/global_checkpoints.zip
     unzip global_checkpoints.zip
     cd ../
     

• Modèles de détection des visages: :
  1. entrer dansFace_Detection/téléchargez le fichier de test :

     cd Face_Detection/
     wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
     bzip2 -d shape_predictor_68_face_landmarks.dat.bz2
     cd ../
     

3) Test d'installation

• Exécutez l'exemple de commande pour confirmer que l'environnement est correct :

  python run.py --input_folder ./test_images --output_folder ./output --GPU 0
  

• En cas de succès, la photo restaurée sera sauvegardée dans le fichier./output/final_output/Catalogue.

Utilisation

Fonctionnement à partir de la ligne de commande

1. Préparation du dossier d'entréeLes anciennes photos à restaurer sont placées dans un dossier (par ex.test_images/).
2. Exécuter la commande de réparation: :
   • Pas de réparation de rayures :

     python run.py --input_folder /path/to/test_images --output_folder /path/to/output --GPU 0
     

   • Contient une réparation des rayures :

     python run.py --input_folder /path/to/test_images --output_folder /path/to/output --GPU 0 --with_scratch
     

3. Voir les résultatsLes photos restaurées sont automatiquement enregistrées dans le dossier de sortie spécifié (par ex./path/to/output/final_output/).

Fonctionnement via l'interface GUI

1. Démarrage de l'interface graphique: :

   python GUI.py
   

2. procédure: :
   • Cliquez sur le bouton "Sélectionner une photo" pour télécharger l'ancienne photo à restaurer.
   • Cliquez sur le bouton "Modifier la photo" et attendez la fin du processus (le temps dépend de la taille de la photo et des performances du matériel).
   • Lorsque le traitement est terminé, les résultats sont affichés sur l'interface et sauvegardés dans le fichier./output/Dossier.
   • Cliquez sur "Quitter la fenêtre" pour fermer le programme.

Fonctions vedettes Procédure d'utilisation

1. réparation des rayures

• Scénarios applicablesLes photos montrent des rayures physiques évidentes.
• mode opératoire: :
  1. Sur la ligne de commande, ajoutez--with_scratchou cochez l'option correspondante dans l'interface graphique (si elle est prise en charge).
  2. Le système détectera automatiquement la zone rayée et la réparera. Le processus peut prendre un peu plus de temps.
  3. Vérifier le résultat, la partie rayée doit être remplie en douceur.

2. amélioration du visage

• Scénarios applicablesVisages flous ou détails manquants dans les photos : Visages flous ou détails manquants dans les photos : Visages flous ou détails manquants dans les photos.
• mode opératoire: :
  1. sécuriséFace_Enhancement/Les modèles du répertoire sont chargés correctement.
  2. Lorsqu'il fonctionne, le système reconnaît automatiquement la zone du visage et l'affine.
  3. Les détails des visages (par exemple les yeux, les coins de la bouche) seront plus clairs sur la photo de sortie.

3. traitement à haute résolution

• Scénarios applicablesLes photos numérisées à haute résolution : Besoin de fixer des photos numérisées à haute résolution.
• mode opératoire: :
  1. Sur la ligne de commande, ajoutez--HRParamètres :

     python run.py --input_folder /path/to/test_images --output_folder /path/to/output --GPU 0 --HR
     

  2. Remarque : le modèle étant formé par défaut à une résolution de 256x256, des résolutions plus élevées peuvent nécessiter davantage de ressources informatiques.

mise en garde

• question des voies d'accèsIl est recommandé d'utiliser des chemins d'accès absolus (par ex./home/user/test_images) pour éviter les erreurs.
• l'optimisation des performancesLe projet n'a pas été optimisé pour la vitesse de fonctionnement et le traitement des photos de grande taille peut être lent.
• Limite de résolutionLes meilleurs résultats sont obtenus avec une résolution de 256x256 pixels. Les résolutions plus importantes peuvent nécessiter un découpage en morceaux.

Avec les étapes ci-dessus, les utilisateurs peuvent facilement commencer à restaurer d'anciennes photos, que ce soit pour des souvenirs personnels ou à des fins de recherche, et obtenir des résultats satisfaisants.