FitDiT: uma ferramenta de ajuste virtual de IA de alta fidelidade para aprimorar a autenticidade dos detalhes das roupas

Introdução geral

O FitDiT é um sistema de ajuste virtual de alta fidelidade baseado em transformadores de difusão. Desenvolvido pelo Tencent AI Lab, o projeto tem como objetivo abordar as limitações dos sistemas de ajuste virtual tradicionais na exibição dos detalhes das roupas. O FitDiT propõe de forma inovadora uma nova arquitetura algorítmica que preserva melhor os detalhes autênticos das roupas, tornando o efeito de ajuste virtual mais realista. O projeto é totalmente de código aberto, fornecendo demonstrações on-line, modelos pré-treinados e implementações de código completo para apoiar pesquisadores e desenvolvedores em pesquisas acadêmicas e pré-estudos comerciais. O projeto lançou o artigo em novembro de 2024 e, sucessivamente, abriu a demonstração on-line, o conjunto de dados e os pesos do modelo em dezembro de 2024, o que ganhou grande atenção do meio acadêmico e do setor.

Demonstração on-line: https://huggingface.co/spaces/BoyuanJiang/FitDiT

Lista de funções

• Função de geração de ajuste virtual totalmente automatizada
• Geração inteligente de máscara de área de ajuste
• Ferramentas de edição e ajuste manual da máscara
• Suporte a efeitos de ajuste de várias resoluções
• Otimização da fidelidade dos detalhes do vestuário
• Suporte à plataforma de apresentação on-line (interface Gradio)
• Suporte à implementação local (suporte a várias configurações de desempenho)
• Conjunto de dados de curativos virtuais complexos (CVDD)
• Código completo de treinamento e inferência de modelos
• Integração de hospedagem do modelo Hugging Face

Usando a Ajuda

1. acesso on-line

O FitDiT oferece duas maneiras de usá-lo on-line:

1. Demonstração on-line do Hugging Face Space: visite https://huggingface.co/spaces/BoyuanJiang/FitDiT
2. Plataforma oficial de demonstração on-line: acesse http://demo.fitdit.byjiang.com/

Passos para usar:

Etapa 1: Gerar a máscara da área de ajuste

1. Carregue uma foto da pessoa cujas roupas você deseja trocar
2. Carregue uma foto da peça de roupa que você deseja experimentar
3. Clique no botão "Step1: Run Mask" (Etapa 1: Executar máscara) para gerar a máscara inicial.
4. Se você precisar ajustar o intervalo da máscara, poderá fazê-lo:
   • Use o controle deslizante para ajustar o intervalo da máscara:
     • mask offset top: ajusta a borda superior
     • mask offset bottom: ajusta a borda inferior
     • mask offset left: ajusta a borda esquerda
     • deslocamento da máscara à direita: ajusta a borda direita
   • Modificar manualmente a área mascarada usando a ferramenta pincel
   • Use a ferramenta Eraser para refinar as bordas da máscara

Etapa 2: Gerar resultados de ajuste

1. Escolha a resolução de ajuste desejada
2. Clique em "Step2: Run Try-on" para iniciar a geração.
3. Aguarde até que o modelo termine o processamento para ver o resultado do ajuste

2. metodologia de implantação local

Requisitos ambientais:

torch==2.3.0
torchvision==0.18.0
Difusores==0.31.0
transformadores==4.39.3
gradio==5.8.0
onnxruntime-gpu==1.20.1

Etapas de implantação:

1. Solicite acesso aos pesos do modelo FitDiT:
   • Visite https://huggingface.co/BoyuanJiang/FitDiT
   • Faça o download do modelo para o catálogo local após obter acesso
2. Execute o serviço local do Gradio:
   Oferece quatro modos de operação que podem ser escolhidos de acordo com a configuração do hardware:

   # Modo mais rápido (requer maior memória de vídeo):
   python gradio_sd3.py --model_path local_model_dir
   Modo de precisão FP16 do #:
   python gradio_sd3.py --model_path local_model_dir --fp16
   Modo de assistência à CPU # (velocidade média, memória de vídeo moderada):
   python gradio_sd3.py --model_path local_model_dir --fp16 --offload
   # Modo de carga radical da CPU (velocidade mais lenta, menor uso de memória de vídeo):
   python gradio_sd3.py --model_path local_model_dir --fp16 --aggressive_offload
   

3. instruções de uso para desenvolvedores

• O projeto segue a licença CC BY-NC-SA-4.0
• Apenas para uso não comercial
• Para licenças comerciais, entre em contato com byronjiang@tencent.com
• O código completo de treinamento do modelo e o conjunto de dados são de código aberto
• Oferece suporte ao uso de modelos pré-treinados por meio do Hugging Face