CatVTON-FLUX：CATVTONとフラックスフィル補修モデルを組み合わせた仮想フィッティングスキーム

はじめに

CatVTON-FLUXは、CATVTON（Concatenation Is All You Need for Virtual Try-On with Diffusion Models）とCatVTON-FLUXを組み合わせた高度なバーチャルフィッティングソリューションです。 フラックス リアルで正確な衣服の移植のための人口修理モデル。nftblackmagicによって開発され、In-Context LoRA for prompt engineeringにインスパイアされたこのプロジェクトは、拡散モデリングとLoRA（In-Context LoRA for prompt engineering）テクニックを使用することで、高品質のバーチャル試着体験を提供することを目的としている。このプラットフォームにより、ユーザーはハギング・フェイスをバーチャルに試着し、最新モデルの重量や性能向上を体験することができる。

オンライン経験：https://huggingface.co/spaces/xiaozaa/catvton-flux-try-on

機能一覧

• バーチャルフィッティング：CATVTONとFluxモデルを使ったリアルな衣服の移動。
• LoRAウェイトのサポート：モデルのパフォーマンスを向上させるためにLoRAウェイトが提供される。
• Gradioデモ：Gradioプラットフォームによるバーチャルフィッティングのデモンストレーション。
• ハギング・フェイス・サポート：ハギング・フェイスでCATVTON-FLUX-TRY-ONを実行する。
• モデルの重みの更新：パフォーマンスと詳細性を向上させるために、モデルの重みを定期的に更新する。

ヘルプの使用

設置プロセス

1. ランタイム環境に 40GB 以上の VRAM があることを確認してください（80GB GPU を推奨）。
2. Python仮想環境を作成し、有効化する：

   conda create -n flux python=3.10
conda activate flux

3. 必要な依存関係をインストールします：

   pip install -r requirements.txt
huggingface-cli login

使用プロセス

LoRAバージョンのフィッティングを実行する

1. 入力画像、マスク、衣服画像を準備する。
2. 以下のコマンドを実行して試してみる：

   python tryon_inference_lora.py \
--image ./example/person/00008_00.jpg \
--mask ./example/person/00008_00_mask.png \
--garment ./example/garment/00034_00.jpg \
--seed 4096 \
--output_tryon test_lora.png \
--steps 30

LoRAバージョンなしでトライアルを行う

1. 入力画像、マスク、衣服画像を準備する。
2. 以下のコマンドを実行して試してみる：

   python tryon_inference.py \
--image ./example/person/00008_00.jpg \
--mask ./example/person/00008_00_mask.png \
--garment ./example/garment/00034_00.jpg \
--seed 42 \
--output_tryon test.png \
--steps 30

グラディオ・デモの起動

1. 以下のコマンドを実行し、LoRAウェイトを使用したGradioデモを開始する：

   python app.py

2. 以下のコマンドを実行し、LoRAウェイトなしのGradioデモを開始する：

   python app_no_lora.py

詳しい操作手順

1. 入力画像の準備推奨サイズは576x768です。
2. test-penetrationコマンドの実行LoRAバージョンとLoRAなしバージョンのTry Onコマンドを必要に応じて選択し、シードやステップなどのパラメータを最適な結果になるように調整します。
3. 結果を見るフィッティング結果は指定された出力パスに保存され、ユーザーはフィッティング結果を閲覧、評価することができます。
4. グラディオ・インターフェイス・インタラクションGradioのインターフェイスを通じて、ユーザーは自分の画像と衣服をアップロードし、リアルタイムでバーチャルフィッティングを体験することができる。