CatVTON-FLUX: Kombination von CATVTON- und Flux-Fill-Reparaturmodellen für virtuelle Anpassungsschemata

Allgemeine Einführung

CatVTON-FLUX ist eine fortschrittliche virtuelle Anpasslösung, die CATVTON (Concatenation Is All You Need for Virtual Try-On with Diffusion Models) und Flux Populäre Reparaturmodelle für realistische und genaue Kleidungsstückübertragungen. Das von nftblackmagic entwickelte und von In-Context LoRA for prompt engineering inspirierte Projekt zielt darauf ab, durch den Einsatz von Diffusionsmodellierung und LoRA-Techniken (In-Context LoRA for prompt engineering) eine hochwertige virtuelle Anprobe zu ermöglichen. Die Plattform ermöglicht es den Nutzern, Hugging Face virtuell anzuprobieren und die neuesten Modellgewichte und Leistungsverbesserungen zu erleben.

Online-Erfahrung: https://huggingface.co/spaces/xiaozaa/catvton-flux-try-on

Funktionsliste

• Virtuelle Anprobe: Realistische Übertragung von Kleidungsstücken mit CATVTON- und Flux-Modellen.
• Unterstützung von LoRA-Gewichten: LoRA-Gewichte werden zur Verbesserung der Modellleistung bereitgestellt.
• Gradio Demo: Demonstration der virtuellen Anpassung durch die Gradio-Plattform.
• Unterstützung der Umarmungsfläche: Führen Sie CATVTON-FLUX-TRY-ON auf der Umarmungsfläche aus.
• Aktualisierung der Modellgewichte: Regelmäßige Aktualisierung der Modellgewichte zur Verbesserung von Leistung und Detailgenauigkeit.

Hilfe verwenden

Einbauverfahren

1. Stellen Sie sicher, dass die Laufzeitumgebung über >= 40 GB VRAM verfügt (80 GB GPU empfohlen).
2. Erstellen und aktivieren Sie eine virtuelle Python-Umgebung:

   conda create -n flux python=3.10
conda activate flux

3. Installieren Sie die erforderlichen Abhängigkeiten:

   pip install -r requirements.txt
huggingface-cli login

Verwendungsprozess

Führen Sie die LoRA-Version der Anpassung aus

1. Bereiten Sie Eingabebilder, Masken und Bekleidungsbilder vor.
2. Führen Sie den folgenden Befehl aus, um ihn auszuprobieren:

   python tryon_inference_lora.py \
--image ./example/person/00008_00.jpg \
--mask ./example/person/00008_00_mask.png \
--garment ./example/garment/00034_00.jpg \
--seed 4096 \
--output_tryon test_lora.png \
--steps 30

Eine Testversion ohne LoRA-Version ausführen

1. Bereiten Sie Eingabebilder, Masken und Bekleidungsbilder vor.
2. Führen Sie den folgenden Befehl aus, um ihn auszuprobieren:

   python tryon_inference.py \
--image ./example/person/00008_00.jpg \
--mask ./example/person/00008_00_mask.png \
--garment ./example/garment/00034_00.jpg \
--seed 42 \
--output_tryon test.png \
--steps 30

Starten der Gradio-Demo

1. Führen Sie den folgenden Befehl aus, um die Gradio-Demo mit LoRA-Gewichten zu starten:

   python app.py

2. Führen Sie den folgenden Befehl aus, um die Gradio-Demo ohne LoRA-Gewichte zu starten:

   python app_no_lora.py

Detaillierte Vorgehensweise

1. Vorbereiten des EingabebildesVergewissern Sie sich, dass das Eingabebild, die Maske und das Bekleidungsbild die gleiche Größe haben; die empfohlene Größe ist 576x768.
2. Ausführen des Befehls test-penetrationTry On: Wählen Sie je nach Bedarf die LoRA-Version oder die LoRA-freie Version des Try On-Befehls und passen Sie Parameter wie Seed und Steps für optimale Ergebnisse an.
3. Ergebnisse anzeigenDie Anpassungsergebnisse werden im angegebenen Ausgabepfad gespeichert, und der Benutzer kann die Anpassungsergebnisse ansehen und auswerten.
4. Gradio Interface InteraktionÜber die Gradio-Schnittstelle können Nutzer ihre eigenen Bilder und Kleidungsstücke hochladen, um eine virtuelle Anprobe in Echtzeit zu erleben.