InstantIR: проект с открытым исходным кодом по восстановлению поврежденных изображений и их HD-зуму, минимум 16 Гб видеопамяти

Общее введение

InstantIR - это инновационная модель реставрации одного изображения, разработанная командой InstantX, предназначенная для восстановления поврежденных изображений с чрезвычайно высоким качеством и реалистичной детализацией, обеспечивая высококачественное восстановление поврежденных изображений. Инструмент не только восстанавливает детали изображения, но и повышает точность восстановленного изображения с помощью дополнительных текстовых подсказок. InstantIR использует модели SDXL и DINOv2, обеспечивая гибкий конвейер конфигураций, который может быть адаптирован пользователем для удовлетворения конкретных потребностей.

Опыт работы в Интернете: https://huggingface.co/InstantX/InstantIR

Конфигурация InstantIR

Список функций

• Реставрация изображений: Высококачественное восстановление поврежденных или низкокачественных изображений.
• Создание моделей: Восстановление деталей изображения с помощью методов генеративного моделирования.
• Редактор текстовых подсказок: Индивидуальное редактирование изображений с помощью текстовых подсказок.
• Гибкая конфигурация: Поддерживает различные настройки параметров для удовлетворения различных потребностей в обработке изображений.
• локальное развертываниеДля поддержки локального развертывания и демо-версий предусмотрены скрипты Gradio.
• совместимость: Совместим с диффузорами и поддерживает множество мощных функций.

Использование помощи

Процесс установки

1. Клонирование репозитория и настройка среды::

   git clone https://github.com/instantX-research/InstantIR.git
   cd InstantIR
   conda create -n instantir python=3.9 -y
   conda activate instantir
   pip install -r requirements.txt
   

2. Загрузите предварительно обученную модель: InstantIR основан на моделях SDXL и DINOv2, которые можно загрузить с сайта HuggingFace:

   from huggingface_hub import hf_hub_download
   hf_hub_download(repo_id="stabilityai/stable-diffusion-xl-base-1.0")
   hf_hub_download(repo_id="facebook/dinov2-large")
   hf_hub_download(repo_id="InstantX/InstantIR")
   

3. рассуждения о беге: Использование infer.sh Сценарии для рассуждений:

   ./infer.sh --sdxl_path <path_to_SDXL> --vision_encoder_path <path_to_DINOv2> --instantir_path <path_to_InstantIR> --test_path <path_to_input> --out_path <path_to_output>
   

Советы и рекомендации

• чрезмерное сглаживание: Воля --cfg Параметр регулируется в диапазоне от 3,0 до 5,0.
• низкая точность: Настройки --preview_start составляет от 0,1 до 0,4 для сохранения точности ввода.
• локальное искажение: Воля --creative_start Установите значение 0,6-0,8 для создания высокочастотных деталей в пост-фильме.
• Ускоренное мышление: Улучшение --preview_start и ниже --creative_start Это позволяет снизить вычислительные затраты и ускорить процесс рассуждений.

Использование диффузоров

InstantIR полностью совместим с диффузорами и может быть загружен и использован напрямую:

import torch
from PIL import Image
from diffusers import DDPMScheduler
from schedulers.lcm_single_step_scheduler import LCMSingleStepScheduler
from module.ip_adapter.utils import load_adapter_to_pipe
from pipelines.sdxl_instantir import InstantIRPipeline
# 加载预训练模型
pipe = InstantIRPipeline.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', torch_dtype=torch.float16)
load_adapter_to_pipe(pipe, 'facebook/dinov2-large')
pipe.prepare_previewers('path_to_InstantIR')
pipe.scheduler = DDPMScheduler.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', subfolder="scheduler")
lcm_scheduler = LCMSingleStepScheduler.from_config(pipe.scheduler.config)
# 加载损坏图像并进行修复
low_quality_image = Image.open('path_to_image').convert("RGB")
image = pipe(image=low_quality_image, previewer_scheduler=lcm_scheduler).images[0]

Демонстрация Gradio для локального развертывания

Для локального развертывания демо-версии Gradio прилагается сценарий на языке Python:

INSTANTIR_PATH=<path_to_InstantIR> python gradio_demo/app.py

Затем зайдите в браузер http://localhost:7860 Проведите демонстрацию.

Инсталлятор InstantIR в один клик

Восстановление изображений с разрешением 1024, память не менее 24 гб, видеопамять не менее 16 гб, низкую видеокарту не пробуйте. После одновременного создания нескольких изображений восстановление памяти происходит ненормально.

Baidu.com скачать

Скачать Quark.com

Скачать Thunderbolt