InstantIR: 손상된 이미지 복구 및 이미지 고화질 줌 오픈 소스 프로젝트, 최소 16G 비디오 메모리

일반 소개

InstantIR은 InstantX 팀에서 개발한 혁신적인 단일 이미지 복원 모델로, 손상된 이미지를 매우 높은 품질과 생생한 디테일로 복원하도록 설계되어 손상된 이미지를 고품질로 복원할 수 있습니다. 이 도구는 이미지 세부 사항을 복원할 뿐만 아니라 추가 텍스트 힌트를 통해 복원된 이미지의 정확성을 향상시키며, InstantIR은 SDXL 및 DINOv2 모델을 사용하여 사용자가 특정 요구 사항을 충족하도록 조정할 수 있는 유연한 구성 파이프라인을 제공합니다.

온라인 체험: https://huggingface.co/InstantX/InstantIR

InstantIR 구성

기능 목록

• 이미지 복원손상되거나 품질이 낮은 이미지를 고품질로 복원합니다.
• 모델 생성생성 모델링 기법을 사용한 이미지 디테일 복구.
• 텍스트 팁 편집기텍스트 프롬프트를 통해 이미지를 맞춤 편집할 수 있습니다.
• 유연한 구성다양한 이미지 처리 요구 사항을 충족하기 위해 다양한 매개변수 조정을 지원합니다.
• 로컬 배포: 로컬 배포 및 데모를 지원하기 위해 라디오 스크립트가 제공됩니다.
• 호환성디퓨저와 호환되며 다양한 강력한 기능을 지원합니다.

도움말 사용

설치 프로세스

1. 리포지토리 복제 및 환경 설정하기::

   git clone https://github.com/instantX-research/InstantIR.git
   cd InstantIR
   conda create -n instantir python=3.9 -y
   conda activate instantir
   pip install -r requirements.txt
   

2. 사전 학습된 모델 다운로드InstantIR은 SDXL 및 DINOv2 모델을 기반으로 하며, 허깅페이스에서 다운로드할 수 있습니다:

   from huggingface_hub import hf_hub_download
   hf_hub_download(repo_id="stabilityai/stable-diffusion-xl-base-1.0")
   hf_hub_download(repo_id="facebook/dinov2-large")
   hf_hub_download(repo_id="InstantX/InstantIR")
   

3. 추론 실행사용 infer.sh 추론용 스크립트:

   ./infer.sh --sdxl_path <path_to_SDXL> --vision_encoder_path <path_to_DINOv2> --instantir_path <path_to_InstantIR> --test_path <path_to_input> --out_path <path_to_output>
   

팁 및 유용한 정보

• 과도한 평활화: Will --cfg 매개변수는 3.0에서 5.0 사이에서 조정됩니다.
• 낮은 충실도: 설정 --preview_start 는 입력 충실도를 유지하기 위해 0.1~0.4입니다.
• 로컬 왜곡: Will --creative_start 0.6~0.8로 설정하면 포스트에서 고주파 디테일을 생성할 수 있습니다.
• 추론 가속화: 개선 --preview_start 이하 --creative_start 계산 비용을 줄이고 추론 속도를 높일 수 있습니다.

디퓨저 사용

InstantIR은 디퓨저와 완벽하게 호환되며 직접 로드하여 사용할 수 있습니다:

import torch
from PIL import Image
from diffusers import DDPMScheduler
from schedulers.lcm_single_step_scheduler import LCMSingleStepScheduler
from module.ip_adapter.utils import load_adapter_to_pipe
from pipelines.sdxl_instantir import InstantIRPipeline
# 加载预训练模型
pipe = InstantIRPipeline.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', torch_dtype=torch.float16)
load_adapter_to_pipe(pipe, 'facebook/dinov2-large')
pipe.prepare_previewers('path_to_InstantIR')
pipe.scheduler = DDPMScheduler.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', subfolder="scheduler")
lcm_scheduler = LCMSingleStepScheduler.from_config(pipe.scheduler.config)
# 加载损坏图像并进行修复
low_quality_image = Image.open('path_to_image').convert("RGB")
image = pipe(image=low_quality_image, previewer_scheduler=lcm_scheduler).images[0]

로컬 배포 라디오 데모

Gradio 데모의 로컬 배포를 위한 Python 스크립트가 제공됩니다:

INSTANTIR_PATH=<path_to_InstantIR> python gradio_demo/app.py

그런 다음 브라우저에서 방문하세요. http://localhost:7860 데모를 진행합니다.

InstantIR 원클릭 설치 프로그램

1024 해상도 이미지 복구, 메모리 최소 24GB 비디오 메모리 최소 16GB, 낮은 그래픽 카드는 시도하지 마세요. 동시에 여러 장의 사진을 생성한 후 메모리 복구가 비정상입니다.

Baidu.com 다운로드

Quark.com 다운로드

썬더볼트 다운로드