FitDiT : Outil d'essayage virtuel IA haute fidélité pour une meilleure authenticité des détails du vêtement

Introduction générale

FitDiT est un système d'essayage virtuel haute fidélité basé sur les transformateurs de diffusion. Développé par le Tencent AI Lab, le projet vise à remédier aux limites des systèmes d'essayage virtuels traditionnels en ce qui concerne l'affichage des détails des vêtements. FitDiT propose de manière innovante une nouvelle architecture algorithmique qui préserve mieux les détails authentiques des vêtements, rendant l'effet d'essayage virtuel plus réaliste. Le projet est entièrement open source et fournit des démonstrations en ligne, des modèles pré-entraînés et des implémentations de code complètes pour aider les chercheurs et les développeurs dans le cadre de recherches universitaires et de pré-études commerciales. Le projet a publié l'article en novembre 2024 et a successivement ouvert la démo en ligne, l'ensemble de données et les poids des modèles en décembre 2024, ce qui a suscité une grande attention de la part des universités et de l'industrie.

Démonstration en ligne : https://huggingface.co/spaces/BoyuanJiang/FitDiT

Liste des fonctions

• Fonction de génération de raccords virtuels entièrement automatisée
• Génération intelligente du masque de la zone d'ajustement
• Ajustement manuel du masque et outils d'édition
• Prise en charge de l'effet d'ajustement multirésolution
• Optimisation de la fidélité des détails du vêtement
• Prise en charge de la plate-forme de présentation en ligne (interface Gradio)
• Soutien au déploiement local (prise en charge de plusieurs configurations de performance)
• Ensemble de données sur les pansements virtuels complexes (CVDD)
• Code complet d'apprentissage et d'inférence du modèle
• Modèle d'intégration de l'hébergement du visage de l'étreinte

Utiliser l'aide

1. accès en ligne

FitDiT offre deux façons de l'utiliser en ligne :

1. Démonstration en ligne de Hugging Face Space : visitez https://huggingface.co/spaces/BoyuanJiang/FitDiT
2. Plate-forme officielle de démonstration en ligne : visitez http://demo.fitdit.byjiang.com/

Marche à suivre pour l'utilisation :

Étape 1 : Générer le masque de la zone d'ajustement

1. Téléchargez une photo de la personne dont vous voulez changer les vêtements
2. Téléchargez une photo du vêtement cible que vous souhaitez essayer
3. Cliquez sur le bouton "Step1 : Run Mask" pour générer le masque initial.
4. Si vous avez besoin d'ajuster la portée du masque, vous pouvez le faire :
   • Utilisez le curseur pour ajuster la portée du masque :
     • mask offset top : ajuste la bordure supérieure
     • mask offset bottom : ajuste la bordure inférieure
     • mask offset left : ajuste la bordure gauche
     • mask offset right : ajuste la bordure droite
   • Modifier manuellement la zone masquée à l'aide de l'outil pinceau
   • Utilisez l'outil Gomme pour affiner les bords du masque.

Étape 2 : Générer les résultats de l'ajustement

1. Choisissez la résolution d'ajustement souhaitée
2. Cliquez sur "Step2 : Run Try-on" pour lancer la génération.
3. Attendez la fin du traitement du modèle pour voir le résultat de l'ajustement.

2) Méthodologie de déploiement local

Exigences environnementales :

torch==2.3.0
torchvision==0.18.0
diffusers==0.31.0
transformers==4.39.3
gradio==5.8.0
onnxruntime-gpu==1.20.1

Étapes de déploiement :

1. Demander l'accès aux poids des modèles FitDiT :
   • Visitez le site https://huggingface.co/BoyuanJiang/FitDiT
   • Télécharger le modèle dans le catalogue local après avoir obtenu l'accès
2. Exécutez le service Gradio local :
   Fournit quatre modes de fonctionnement à choisir en fonction de votre configuration matérielle :

   # 最快速模式（需要较大显存）：
   python gradio_sd3.py --model_path local_model_dir
   # FP16精度模式：
   python gradio_sd3.py --model_path local_model_dir --fp16
   # CPU辅助模式（中等速度，适中显存）：
   python gradio_sd3.py --model_path local_model_dir --fp16 --offload
   # 激进CPU负载模式（速度最慢，显存占用最少）：
   python gradio_sd3.py --model_path local_model_dir --fp16 --aggressive_offload
   

3. le mode d'emploi pour les développeurs

• Le projet suit la licence CC BY-NC-SA-4.0
• Pour un usage non commercial uniquement
• Pour les licences commerciales, veuillez contacter byronjiang@tencent.com
• Le code complet d'apprentissage du modèle et l'ensemble des données sont en libre accès.
• Prise en charge de l'utilisation de modèles pré-entraînés via Hugging Face