InstantIR：破損した画像の修復と画像の高解像度ズームのオープンソースプロジェクト、最低16Gのビデオメモリ

はじめに

InstantIRは、InstantXチームによって開発された革新的な単一画像復元モデルで、破損した画像を非常に高品質でリアルな細部まで復元するように設計されており、破損した画像の高品質な復元を可能にします。InstantIRはSDXLとDINOv2モデルを使用し、特定のニーズに合わせてユーザーが設定できる柔軟なパイプラインを提供します。

オンライン経験：https://huggingface.co/InstantX/InstantIR

インスタントIRの設定

機能一覧

• 画像修復損傷した画像や低画質の画像を高画質で復元します。
• モデルの生成生成モデリング技術を用いた画像細部の復元
• テキスト・チップ・エディターテキストプロンプトによる画像のカスタマイズ編集。
• フレキシブルな構成様々な画像処理ニーズに対応するため、様々なパラメータ調整に対応。
• ローカル展開Gradioのスクリプトは、ローカルでのデプロイとデモをサポートします。
• 互換性ディフューザーと互換性があり、多くの強力な機能をサポートしています。

ヘルプの使用

設置プロセス

1. リポジトリをクローンし、環境をセットアップする::

   git clone https://github.com/instantX-research/InstantIR.git
   cd InstantIR
   conda create -n instantir python=3.9 -y
   conda activate instantir
   pip install -r requirements.txt
   

2. 訓練済みモデルのダウンロードInstantIRはHuggingFaceからダウンロードできるSDXLとDINOv2モデルに基づいています：

   from huggingface_hub import hf_hub_download
   hf_hub_download(repo_id="stabilityai/stable-diffusion-xl-base-1.0")
   hf_hub_download(repo_id="facebook/dinov2-large")
   hf_hub_download(repo_id="InstantX/InstantIR")
   

3. 走り推理使用 infer.sh 推論のためのスクリプト：

   ./infer.sh --sdxl_path <path_to_SDXL> --vision_encoder_path <path_to_DINOv2> --instantir_path <path_to_InstantIR> --test_path <path_to_input> --out_path <path_to_output>
   

ヒントとコツ

• 過度のスムージングウィル --cfg パラメーターは3.0から5.0の間で調整される。
• 低忠実度設定 --preview_start を0.1～0.4とし、入力の忠実度を保つ。
• 局所歪みウィル --creative_start 0.6〜0.8に設定し、ポストで高周波のディテールを生成する。
• 推論の加速改善 --preview_start 以下 --creative_start 計算コストを削減し、推論をスピードアップすることができる。

ディフューザーの使用

InstantIRはディフューザーと完全に互換性があり、直接ロードして使用することができます：

import torch
from PIL import Image
from diffusers import DDPMScheduler
from schedulers.lcm_single_step_scheduler import LCMSingleStepScheduler
from module.ip_adapter.utils import load_adapter_to_pipe
from pipelines.sdxl_instantir import InstantIRPipeline
# 加载预训练模型
pipe = InstantIRPipeline.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', torch_dtype=torch.float16)
load_adapter_to_pipe(pipe, 'facebook/dinov2-large')
pipe.prepare_previewers('path_to_InstantIR')
pipe.scheduler = DDPMScheduler.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', subfolder="scheduler")
lcm_scheduler = LCMSingleStepScheduler.from_config(pipe.scheduler.config)
# 加载损坏图像并进行修复
low_quality_image = Image.open('path_to_image').convert("RGB")
image = pipe(image=low_quality_image, previewer_scheduler=lcm_scheduler).images[0]

ローカル・デプロイメント Gradioデモ

Pythonスクリプトは、Gradioデモのローカル展開のために提供されています：

INSTANTIR_PATH=<path_to_InstantIR> python gradio_demo/app.py

次にブラウザで http://localhost:7860 デモンストレーションを行う。

InstantIR ワンクリックインストーラー

1024の解像度の画像を修復し、メモリは少なくとも24GBビデオメモリは少なくとも16GB、低グラフィックカードは試さないでください。同時に複数の画像を生成した後、メモリの回復が異常です。

このコンテンツは作者によって非表示にされています。コンテンツを表示するには認証コードを入力してください。

キャプチャ

このサイトWeChat公開番号に注意してください、返信"CAPTCHA、チャレンジ・レスポンス・テストの一種（コンピューティング）"、認証コードを取得します。WeChatで"チーフAIシェアリングサークル「またはルックスAI"またはWeChatは、QRコードの右側をスキャンすると、このサイトWeChatの公開番号に注意を払うことができます。