MagicTryOn - un cadre d'essai virtuel vidéo de ZJU, Vivo et autres

Qu'est-ce que MagicTryOn ?

MagicTryOn est un cadre d'essai virtuel vidéo avancé lancé par l'école d'informatique et de technologie de l'université de Zhejiang en collaboration avec vivo et d'autres institutions. Ce cadre remplace l'architecture U-Net traditionnelle par une architecture innovante de transformateur de diffusion (DiT), combinée à un mécanisme d'auto-attention complet, afin d'obtenir une modélisation de la cohérence spatio-temporelle de la vidéo et de garantir que l'effet d'essayage reste fluide pendant les mouvements du personnage, en évitant le scintillement et le tremblement des vêtements.MagicTryOn est basé sur la stratégie de rétention des vêtements de grossier à fin, intégrant les marqueurs de vêtements dans l'étape d'intégration et introduisant de multiples conditions telles que les lignes sémantiques et de contour dans l'étape de débruitage. MagicTryOn démontre des performances supérieures aux méthodes de pointe existantes sur des ensembles de données d'essayage d'images et de vidéos, et est largement utilisé dans les domaines du shopping en ligne, de la création de mode, des cabines d'essayage virtuelles, de la publicité et du marketing, des jeux et des divertissements, afin d'offrir aux utilisateurs une expérience d'essayage virtuel immersive.

Caractéristiques principales de MagicTryOn

• Détails des vêtements conservésLes personnages ont un aspect naturel et des détails clairs, même lorsque les personnages sont en mouvement.
• Modélisation de la cohérence spatio-temporelleLe mécanisme d'auto-attention assure la cohérence des images dans la vidéo, évitant ainsi le scintillement ou le tremblement des vêtements et permettant un effet d'ajustement en douceur.
• Orientation multi-conditionnelleLe système d'aide à l'orientation est doté de conditions multiples telles que du texte, des éléments d'image, des marqueurs de vêtements et des marqueurs de lignes de contour afin de générer un effet d'adaptation plus réaliste et plus détaillé et d'améliorer la qualité visuelle globale.

Adresse du site officiel de MagicTryOn

• Site web du projet: :https://vivocameraresearch.github.io/magictryon/
• Dépôt GitHub: :https://github.com/vivoCameraResearch/Magic-TryOn/
• Document technique arXiv: :https://arxiv.org/pdf/2505.21325

Comment utiliser MagicTryOn

• Préparation de l'environnementMagicTryOn est un framework basé sur l'apprentissage en profondeur qui nécessite un GPU haute performance (comme les cartes graphiques de la série RTX ou de la série A de NVIDIA) pour accélérer les calculs.
• environnement logiciel: :
  • Installez Python (Python 3.8 ou une version ultérieure est recommandée).
  • Installez un framework d'apprentissage profond (par exemple PyTorch), en vous assurant que la version correspond aux exigences de MagicTryOn.
  • Installer les autres bibliothèques dépendantes (par exemple OpenCV, NumPy, Torchvision, etc.), en se basant sur l'installation pip install -r requirements.txt (le fichier requirements.txt contient généralement toutes les dépendances).
• Obtenir du code et des données: :
  • Cloner un dépôt GitHub: :

git clone https://github.com/vivoCameraResearch/Magic-TryOn.git
cd Magic-TryOn

• • Préparation du jeu de données: :
    • MagicTryOn nécessite des données vidéo et des données sur les vêtements. L'ensemble de données est téléchargé à partir du lien fourni avec le projet, ou vous pouvez utiliser votre propre ensemble de données.
    • Les ensembles de données doivent généralement être organisés dans un format spécifique, par exemple :

dataset/
├── videos/          # 视频文件
├── garments/        # 服装图像
├── masks/           # 服装掩码（可选，用于分割）
└── annotations/     # 注释文件（如服装标记等）

• Raisonnement de modélisation (ajustement): :
  • Chargement de modèles pré-entraînésSi vous utilisez le modèle pré-entraîné fourni par le projet, vous pouvez le charger directement :

from magictryon import MagicTryOnModel
model = MagicTryOnModel.load_from_checkpoint("path/to/pretrained_model.ckpt")

• • Préparation de la saisie des donnéesLes données d'entrée sont généralement constituées d'images vidéo (images de caractères), d'images de vêtements et de leurs masques (utilisés pour spécifier les zones de vêtements) et, éventuellement, de descriptions textuelles ou d'autres informations conditionnelles.
  • raisonnement en cours d'exécution: :

output = model.inference(video_frames, garment_image, mask, text_description)

• • la sortie est le résultat de l'ajustement virtuel généré, généralement une séquence vidéo ou d'images.
• Visualisation des résultatsLes résultats de l'ajustement peuvent être enregistrés sous forme de vidéo ou de séquence d'images pour une visualisation basée sur OpenCV ou d'autres outils :

import cv2
for frame in output:
    cv2.imshow("Virtual TryOn", frame)
    cv2.waitKey(30)
cv2.destroyAllWindows()

Les principaux avantages de MagicTryOn

• Excellente présentation des détails du vêtementLes vêtements : simuler avec précision la texture, le motif et la silhouette d'un vêtement afin de maintenir son réalisme et sa stabilité lorsque le personnage se déplace.
• Forte cohérence temporelle et spatialeLa cohérence spatio-temporelle de la vidéo est modélisée conjointement sur la base d'un mécanisme entièrement auto-attentif, garantissant la cohérence entre les images de la vidéo et évitant le scintillement des vêtements, le sautillement ou les transitions non naturelles.
• Orientations flexibles et multi-conditionnellesLe système d'aide à l'adaptation est basé sur une variété de conditions telles que le texte, les caractéristiques de l'image, les marqueurs de vêtements et les marqueurs de lignes de contour afin de générer un effet d'adaptation plus réaliste et plus détaillé.
• Plus performant que les méthodes existantesLes résultats de l'évaluation de la qualité visuelle et de la capacité de généralisation à des scénarios sur le terrain sont supérieurs à ceux des méthodes de pointe existantes sur des ensembles de données d'essai d'images et de vidéos.
• Large éventail de scénarios d'applicationIl peut être utilisé pour le shopping en ligne et les cabines d'essayage virtuelles, ainsi que pour la création de mode, la publicité et le marketing, les jeux et les divertissements, etc. Il fournit des solutions efficaces pour différentes industries.
• Source ouverte et facilité d'utilisationLe code source ouvert et la documentation détaillée sont fournis aux développeurs et aux chercheurs pour leur permettre d'être rapidement opérationnels.

À qui s'adresse MagicTryOn ?

• Plateformes d'achat en ligne et entreprises de commerce électroniqueLa dernière nouveauté de la gamme de produits est un nouveau moyen d'améliorer l'expérience d'achat et de réduire les retours en aidant les utilisateurs à visualiser l'aspect des vêtements sur le corps.
• Créateurs de mode et marques de vêtementsMagicTryOn : Accélérez le processus de conception et réduisez les coûts de prototypage en prévisualisant rapidement les modèles de vêtements avec MagicTryOn.
• Magasins physiques et détaillantsLes services d'essayage virtuels permettent de réduire l'utilisation des cabines d'essayage physiques et d'améliorer l'efficacité opérationnelle des magasins.
• Personnel chargé de la publicité et du marketingLes services d'essai : créer des publicités d'essai personnalisées pour capter l'attention des consommateurs et renforcer l'impact de la marque.
• Industrie du jeu et du divertissement: Améliorer l'immersion des joueurs et des spectateurs en essayant des costumes virtuels en temps réel dans les jeux et les scénarios de divertissement.