FitDiT: una herramienta virtual de alta fidelidad para mejorar la autenticidad de los detalles de la ropa

Introducción general

FitDiT es un sistema de ajuste virtual de alta fidelidad basado en transformadores de difusión. Desarrollado por Tencent AI Lab, el proyecto pretende abordar las limitaciones de los sistemas tradicionales de ajuste virtual a la hora de mostrar los detalles de la ropa. FitDiT propone de forma innovadora una nueva arquitectura algorítmica que preserva mejor los detalles auténticos de la ropa, haciendo que el efecto de ajuste virtual sea más realista. El proyecto es de código abierto y ofrece demostraciones en línea, modelos preentrenados e implementaciones de código completas para ayudar a investigadores y desarrolladores en investigaciones académicas y estudios comerciales previos. El proyecto publicó el documento en noviembre de 2024 y abrió sucesivamente la demostración en línea, el conjunto de datos y los pesos del modelo en diciembre de 2024, lo que atrajo una amplia atención del mundo académico y la industria.

Demostración en línea: https://huggingface.co/spaces/BoyuanJiang/FitDiT

Lista de funciones

• Función de generación de adaptación virtual totalmente automatizada
• Generación inteligente de máscaras de áreas de ajuste
• Herramientas manuales de ajuste y edición de máscaras
• Efectos de ajuste multirresolución
• Optimización de la fidelidad de los detalles de las prendas
• Compatibilidad con plataformas de presentación en línea (interfaz Gradio)
• Compatibilidad con la implantación local (admite múltiples configuraciones de rendimiento)
• Conjunto de datos de apósitos virtuales complejos (CVDD)
• Código completo de entrenamiento e inferencia del modelo
• Integración del alojamiento del modelo Hugging Face

Utilizar la ayuda

1. Acceso en línea

FitDiT ofrece dos formas de utilizarlo en línea:

1. Demostración en línea de Hugging Face Space: visite https://huggingface.co/spaces/BoyuanJiang/FitDiT
2. Plataforma oficial de demostración en línea: visite http://demo.fitdit.byjiang.com/

Pasos a seguir:

Paso 1: Generar la máscara del área de ajuste

1. Sube una foto de la persona cuya ropa quieres cambiar
2. Sube una foto de la prenda que quieres probarte
3. Haga clic en el botón "Paso 1: Ejecutar máscara" para generar la máscara inicial.
4. Si necesitas ajustar el alcance de la máscara, puedes hacerlo:
   • Utilice el control deslizante para ajustar el alcance de la máscara:
     • mask offset top: ajusta el borde superior
     • mask offset bottom: ajusta el borde inferior
     • mask offset left: ajusta el borde izquierdo
     • mask offset right: ajusta el borde derecho
   • Modificar manualmente el área enmascarada utilizando la herramienta pincel
   • Utilice la herramienta Borrador para refinar los bordes de la máscara

Paso 2: Generar resultados de ajuste

1. Elija la resolución de ajuste deseada
2. Haga clic en "Step2: Run Try-on" para iniciar la generación.
3. Espere a que el modelo termine de procesarse para ver el resultado del ajuste

2. Metodología de despliegue local

Requisitos medioambientales:

torch==2.3.0
torchvision==0.18.0
diffusers==0.31.0
transformers==4.39.3
gradio==5.8.0
onnxruntime-gpu==1.20.1

Pasos del despliegue:

1. Solicitar acceso a los pesos del modelo FitDiT:
   • Visite https://huggingface.co/BoyuanJiang/FitDiT
   • Descargar el modelo en el catálogo local tras obtener el acceso
2. Ejecute el servicio local de Gradio:
   Ofrece cuatro modos de funcionamiento para elegir según la configuración del hardware:

   # 最快速模式（需要较大显存）：
   python gradio_sd3.py --model_path local_model_dir
   # FP16精度模式：
   python gradio_sd3.py --model_path local_model_dir --fp16
   # CPU辅助模式（中等速度，适中显存）：
   python gradio_sd3.py --model_path local_model_dir --fp16 --offload
   # 激进CPU负载模式（速度最慢，显存占用最少）：
   python gradio_sd3.py --model_path local_model_dir --fp16 --aggressive_offload
   

3. Instrucciones de uso para desarrolladores

• El proyecto sigue la licencia CC BY-NC-SA-4.0
• Sólo para uso no comercial
• Para obtener licencias comerciales, póngase en contacto con byronjiang@tencent.com
• El código completo de entrenamiento del modelo y el conjunto de datos son de código abierto
• Admite el uso de modelos preentrenados a través de Hugging Face