CatVTON-FLUX: Combinação dos modelos de reparo CATVTON e Flux Fill para esquemas de ajuste virtual

Introdução geral

O CatVTON-FLUX é uma solução avançada de ajuste virtual que combina CATVTON (Concatenation Is All You Need for Virtual Try-On with Diffusion Models) e Fluxo Modelos de reparo preenchidos para transferências de vestuário realistas e precisas. Desenvolvido pela nftblackmagic e inspirado no In-Context LoRA para engenharia imediata, o projeto tem como objetivo proporcionar uma experiência de ajuste virtual de alta qualidade por meio do uso de modelagem de difusão e técnicas de LoRA (In-Context LoRA para engenharia imediata). A plataforma permite que os usuários experimentem virtualmente o Hugging Face e conheçam os últimos pesos do modelo e as melhorias de desempenho.

Experiência on-line: https://huggingface.co/spaces/xiaozaa/catvton-flux-try-on

Lista de funções

• Ajuste virtual: transferências realistas de roupas usando os modelos CATVTON e Flux.
• Suporte a pesos LoRA: fornece pesos LoRA para melhorar o desempenho do modelo.
• Demonstração do Gradio: Demonstre o encaixe virtual por meio da plataforma Gradio.
• Suporte do Hugging Face: Execute CATVTON-FLUX-TRY-ON no Hugging Face.
• Atualização dos pesos do modelo: atualize regularmente os pesos do modelo para melhorar o desempenho e os detalhes.

Usando a Ajuda

Processo de instalação

1. Certifique-se de que o ambiente de tempo de execução tenha >= 40 GB de VRAM (recomenda-se uma GPU de 80 GB).
2. Crie e ative um ambiente virtual Python:

   conda create -n flux python=3.10
conda activate flux

3. Instale as dependências necessárias:

   pip install -r requirements.txt
huggingface-cli login

Processo de uso

Executar a versão LoRA do ajuste

1. Preparar imagens de entrada, máscaras e imagens de roupas.
2. Execute o seguinte comando para experimentá-lo:

   python tryon_inference_lora.py \
--image ./example/person/00008_00.jpg \
--mask ./example/person/00008_00_mask.png \
--garment ./example/garment/00034_00.jpg \
--seed 4096 \
--output_tryon test_lora.png \
--steps 30

Executar uma avaliação sem a versão LoRA

1. Preparar imagens de entrada, máscaras e imagens de roupas.
2. Execute o seguinte comando para experimentá-lo:

   python tryon_inference.py \
--image ./example/person/00008_00.jpg \
--mask ./example/person/00008_00_mask.png \
--garment ./example/garment/00034_00.jpg \
--seed 42 \
--output_tryon test.png \
--steps 30

Iniciando a demonstração do Gradio

1. Execute o seguinte comando para iniciar a demonstração do Gradio com pesos LoRA:

   python app.py

2. Execute o seguinte comando para iniciar a demonstração do Gradio sem pesos LoRA:

   python app_no_lora.py

Procedimento de operação detalhado

1. Preparação da imagem de entradaTamanho da imagem de entrada: Certifique-se de que a imagem de entrada, a máscara e a imagem da roupa tenham o mesmo tamanho; o tamanho recomendado é 576x768.
2. Execução do comando test-penetrationSelecione a versão LoRA ou a versão sem LoRA do comando Try On conforme necessário, ajustando parâmetros como seed e etapas para obter os melhores resultados.
3. Exibir resultadosOs resultados do ajuste serão salvos no caminho de saída especificado, e o usuário poderá visualizar e avaliar os resultados do ajuste.
4. Interação da interface do GradioPor meio da interface do Gradio, os usuários podem carregar suas próprias imagens e roupas para experimentar uma prova virtual em tempo real.