InstantIR: proyecto de código abierto de reparación de imágenes dañadas y zoom de alta definición, mínimo 16G de memoria de vídeo

Introducción general

InstantIR es un innovador modelo de restauración de una sola imagen desarrollado por el equipo de InstantX, diseñado para resucitar sus imágenes dañadas con una calidad extremadamente alta y detalles realistas, permitiendo una restauración de alta calidad de las imágenes dañadas. La herramienta no sólo restaura los detalles de la imagen, sino que mejora la precisión de la imagen restaurada con sugerencias textuales adicionales.InstantIR utiliza los modelos SDXL y DINOv2, proporcionando una canalización flexible de configuraciones que pueden ser adaptadas por el usuario para satisfacer necesidades específicas.

Experiencia en línea: https://huggingface.co/InstantX/InstantIR

Configuración de InstantIR

Lista de funciones

• Restauración de imágenes: Restauración de alta calidad de imágenes dañadas o de baja calidad.
• Generación de modelosRecuperación de detalles de imágenes mediante técnicas de modelización generativa.
• Editor de sugerencias de textoEdición personalizada de imágenes mediante mensajes de texto.
• Configuración flexible: Admite una gran variedad de ajustes de parámetros para satisfacer diferentes necesidades de procesamiento de imágenes.
• despliegue localGradio: se proporcionan scripts para apoyar la implantación local y las demostraciones.
• compatibilidad: Compatible con difusores y admite muchas funciones potentes.

Utilizar la ayuda

Proceso de instalación

1. Clonación del repositorio y configuración del entorno::

   git clone https://github.com/instantX-research/InstantIR.git
   cd InstantIR
   conda create -n instantir python=3.9 -y
   conda activate instantir
   pip install -r requirements.txt
   

2. Descargar modelo preentrenado: InstantIR se basa en los modelos SDXL y DINOv2, que pueden descargarse de HuggingFace:

   from huggingface_hub import hf_hub_download
   hf_hub_download(repo_id="stabilityai/stable-diffusion-xl-base-1.0")
   hf_hub_download(repo_id="facebook/dinov2-large")
   hf_hub_download(repo_id="InstantX/InstantIR")
   

3. razonamiento en funcionamiento: Uso infer.sh Guiones para razonar:

   ./infer.sh --sdxl_path <path_to_SDXL> --vision_encoder_path <path_to_DINOv2> --instantir_path <path_to_InstantIR> --test_path <path_to_input> --out_path <path_to_output>
   

Trucos y consejos

• alisado excesivo: Will --cfg El parámetro se ajusta entre 3,0 y 5,0.
• baja fidelidad: Ajustes --preview_start es de 0,1 a 0,4 para mantener la fidelidad de la entrada.
• distorsión local: Will --creative_start Ajústelo entre 0,6 y 0,8 para generar detalles de alta frecuencia en postproducción.
• Razonamiento acelerado: Mejora --preview_start e inferior --creative_start Puede reducir los costes computacionales y acelerar el razonamiento.

Uso de difusores

InstantIR es totalmente compatible con los difusores y puede cargarse y utilizarse directamente:

import torch
from PIL import Image
from diffusers import DDPMScheduler
from schedulers.lcm_single_step_scheduler import LCMSingleStepScheduler
from module.ip_adapter.utils import load_adapter_to_pipe
from pipelines.sdxl_instantir import InstantIRPipeline
# 加载预训练模型
pipe = InstantIRPipeline.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', torch_dtype=torch.float16)
load_adapter_to_pipe(pipe, 'facebook/dinov2-large')
pipe.prepare_previewers('path_to_InstantIR')
pipe.scheduler = DDPMScheduler.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', subfolder="scheduler")
lcm_scheduler = LCMSingleStepScheduler.from_config(pipe.scheduler.config)
# 加载损坏图像并进行修复
low_quality_image = Image.open('path_to_image').convert("RGB")
image = pipe(image=low_quality_image, previewer_scheduler=lcm_scheduler).images[0]

Despliegue local Demostración de Gradio

Se proporciona un script en Python para el despliegue local de la demo de Gradio:

INSTANTIR_PATH=<path_to_InstantIR> python gradio_demo/app.py

A continuación, visite en su navegador http://localhost:7860 Realice una demostración.

Instalador InstantIR de un solo clic

Repara imagenes de 1024 de resolucion, memoria de al menos 24gb memoria de video de al menos 16gb, tarjeta grafica baja no lo intente. Después de generar varias imágenes al mismo tiempo, la recuperación de la memoria es anormal.

Descarga de Baidu.com

Descargar Quark.com

Descarga de Thunderbolt