CatVTON-FLUX : Combinaison des modèles de réparation CATVTON et Flux Fill pour des schémas d'adaptation virtuels

Introduction générale

CatVTON-FLUX est une solution avancée d'essayage virtuel qui combine CATVTON (Concatenation Is All You Need for Virtual Try-On with Diffusion Models) et CATVTON (Concatenation Is All You Need for Virtual Try-On with Diffusion Models). Flux Modèles de réparation peuplés pour des transferts de vêtements réalistes et précis. Développé par nftblackmagic et inspiré par In-Context LoRA for prompt engineering, le projet vise à fournir une expérience d'essayage virtuel de haute qualité grâce à l'utilisation de la modélisation par diffusion et des techniques LoRA (In-Context LoRA for prompt engineering). La plateforme permet aux utilisateurs d'essayer virtuellement Hugging Face et de découvrir les derniers poids et améliorations de performance du modèle.

Expérience en ligne : https://huggingface.co/spaces/xiaozaa/catvton-flux-try-on

Liste des fonctions

• Essayage virtuel : transferts réalistes de vêtements à l'aide des modèles CATVTON et Flux.
• Prise en charge des pondérations LoRA : fournit des pondérations LoRA pour améliorer les performances du modèle.
• Démonstration de Gradio : Démonstration de l'appareillage virtuel par le biais de la plateforme Gradio.
• Support de la face embrassante : exécuter CATVTON-FLUX-TRY-ON sur la face embrassante.
• Mise à jour des poids du modèle : mettre régulièrement à jour les poids du modèle afin d'améliorer les performances et les détails.

Utiliser l'aide

Processus d'installation

1. Assurez-vous que l'environnement d'exécution dispose de >= 40 Go de VRAM (80 Go pour le GPU).
2. Créer et activer un environnement virtuel Python :

   conda create -n flux python=3.10
conda activate flux

3. Installer les dépendances nécessaires :

   pip install -r requirements.txt
huggingface-cli login

Processus d'utilisation

Exécuter la version LoRA du raccord

1. Préparer les images d'entrée, les masques et les images de vêtements.
2. Exécutez la commande suivante pour l'essayer :

   python tryon_inference_lora.py \
--image ./example/person/00008_00.jpg \
--mask ./example/person/00008_00_mask.png \
--garment ./example/garment/00034_00.jpg \
--seed 4096 \
--output_tryon test_lora.png \
--steps 30

Exécuter un essai sans la version LoRA

1. Préparer les images d'entrée, les masques et les images de vêtements.
2. Exécutez la commande suivante pour l'essayer :

   python tryon_inference.py \
--image ./example/person/00008_00.jpg \
--mask ./example/person/00008_00_mask.png \
--garment ./example/garment/00034_00.jpg \
--seed 42 \
--output_tryon test.png \
--steps 30

Lancement de la démo Gradio

1. Exécutez la commande suivante pour lancer la démo Gradio avec les poids LoRA :

   python app.py

2. Exécutez la commande suivante pour lancer la démo Gradio sans les poids LoRA :

   python app_no_lora.py

Procédure d'utilisation détaillée

1. Préparation de l'image d'entréeLa taille recommandée est de 576x768.
2. Exécution de la commande test-penetrationLa commande d'essai : Sélectionnez la version LoRA ou la version sans LoRA de la commande d'essai en fonction des besoins, en ajustant les paramètres tels que la semence et les étapes pour obtenir des résultats optimaux.
3. Voir les résultatsLes résultats de l'ajustement seront enregistrés dans le chemin de sortie spécifié, et l'utilisateur pourra visualiser et évaluer les résultats de l'ajustement.
4. Interaction avec l'interface GradioGradio : Grâce à l'interface Gradio, les utilisateurs peuvent télécharger leurs propres images et vêtements pour faire l'expérience d'un essayage virtuel en temps réel.