InstantIR : projet open source de réparation d'images endommagées et de zoom haute définition, minimum 16G de mémoire vidéo

Introduction générale

InstantIR est un modèle innovant de restauration d'une seule image développé par l'équipe InstantX, conçu pour ressusciter vos images endommagées avec une qualité extrêmement élevée et des détails réalistes, permettant une restauration de haute qualité des images endommagées. InstantIR utilise les modèles SDXL et DINOv2, offrant ainsi un pipeline flexible de configurations qui peuvent être adaptées par l'utilisateur pour répondre à des besoins spécifiques.

Expérience en ligne : https://huggingface.co/InstantX/InstantIR

Configuration de l'InstantIR

Liste des fonctions

• Restauration de l'imageRestauration de haute qualité d'images endommagées ou de faible qualité : Restauration de haute qualité d'images endommagées ou de faible qualité.
• Générer des modèles: Récupération des détails de l'image à l'aide de techniques de modélisation générative.
• Éditeur d'astuces de texteÉdition personnalisée d'images à l'aide d'invites textuelles.
• Configuration flexibleLa fonction de réglage des paramètres permet de répondre à différents besoins en matière de traitement d'images.
• déploiement localLes scripts Gradio sont fournis pour faciliter le déploiement local et les démonstrations.
• la compatibilitéLe système est compatible avec les diffuseurs et prend en charge de nombreuses fonctions puissantes.

Utiliser l'aide

Processus d'installation

1. Clonage du référentiel et mise en place de l'environnement: :

   git clone https://github.com/instantX-research/InstantIR.git
   cd InstantIR
   conda create -n instantir python=3.9 -y
   conda activate instantir
   pip install -r requirements.txt
   

2. Télécharger le modèle pré-entraînéInstantIR est basé sur les modèles SDXL et DINOv2, qui peuvent être téléchargés à partir de HuggingFace :

   from huggingface_hub import hf_hub_download
   hf_hub_download(repo_id="stabilityai/stable-diffusion-xl-base-1.0")
   hf_hub_download(repo_id="facebook/dinov2-large")
   hf_hub_download(repo_id="InstantX/InstantIR")
   

3. raisonnement en cours d'exécution: Utilisation infer.sh Scripts pour le raisonnement :

   ./infer.sh --sdxl_path <path_to_SDXL> --vision_encoder_path <path_to_DINOv2> --instantir_path <path_to_InstantIR> --test_path <path_to_input> --out_path <path_to_output>
   

Conseils et astuces

• lissage excessif: Will --cfg Le paramètre est réglé entre 3,0 et 5,0.
• faible fidélité: Réglages --preview_start est de 0,1 à 0,4 pour maintenir la fidélité de l'entrée.
• distorsion locale: Will --creative_start Régler entre 0,6 et 0,8 pour générer des détails à haute fréquence en post-production.
• Raisonnement accéléré: Amélioration --preview_start et plus bas --creative_start Elle permet de réduire les coûts de calcul et d'accélérer le raisonnement.

Utilisation de diffuseurs

InstantIR est entièrement compatible avec les diffuseurs et peut être chargé et utilisé directement :

import torch
from PIL import Image
from diffusers import DDPMScheduler
from schedulers.lcm_single_step_scheduler import LCMSingleStepScheduler
from module.ip_adapter.utils import load_adapter_to_pipe
from pipelines.sdxl_instantir import InstantIRPipeline
# 加载预训练模型
pipe = InstantIRPipeline.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', torch_dtype=torch.float16)
load_adapter_to_pipe(pipe, 'facebook/dinov2-large')
pipe.prepare_previewers('path_to_InstantIR')
pipe.scheduler = DDPMScheduler.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', subfolder="scheduler")
lcm_scheduler = LCMSingleStepScheduler.from_config(pipe.scheduler.config)
# 加载损坏图像并进行修复
low_quality_image = Image.open('path_to_image').convert("RGB")
image = pipe(image=low_quality_image, previewer_scheduler=lcm_scheduler).images[0]

Déploiement local Démonstration de Gradio

Un script Python est fourni pour le déploiement local de la démo Gradio :

INSTANTIR_PATH=<path_to_InstantIR> python gradio_demo/app.py

Puis visitez dans votre navigateur http://localhost:7860 Effectuer une démonstration.

Installateur InstantIR en un clic

Réparer les images de résolution 1024, mémoire d'au moins 24 gigaoctets, mémoire vidéo d'au moins 16 gigaoctets, une carte graphique de faible puissance ne doit pas être utilisée. Après avoir généré plusieurs images en même temps, la récupération de la mémoire est anormale.

Télécharger Baidu.com

Téléchargement Quark.com

Téléchargement Thunderbolt