MagicTryOn: un marco de pruebas virtuales de vídeo de ZJU y Vivo, entre otros.

¿Qué es MagicTryOn?

MagicTryOn es un avanzado marco de pruebas virtuales de vídeo lanzado por la Facultad de Informática y Tecnología de la Universidad de Zhejiang en colaboración con vivo y otras instituciones. El marco sustituye la arquitectura U-Net tradicional por una innovadora arquitectura de transformador de difusión (DiT), combinada con un mecanismo de autoatención total, para lograr un modelado de coherencia espaciotemporal del vídeo y garantizar que el efecto de ajuste se mantenga suave durante el movimiento del personaje, evitando el parpadeo y el temblor de las prendas.MagicTryOn se basa en la estrategia de retención de prendas de grueso a fino, integrando marcadores de prendas en la etapa de incrustación e introduciendo múltiples condiciones como la textura semántica y las líneas de contorno en la etapa de eliminación de ruido, para retener eficazmente los detalles de las prendas y mejorar la calidad visual. MagicTryOn demuestra un rendimiento superior al de los métodos más avanzados en conjuntos de datos de pruebas de imagen y vídeo, y se utiliza ampliamente en los campos de las compras en línea, el diseño de moda, los probadores virtuales, la publicidad y el marketing, y los juegos y el entretenimiento, para ofrecer a los usuarios una experiencia de prueba virtual inmersiva.

Características principales de MagicTryOn

• Indumentaria conservada: Reproduce con precisión la textura, el patrón y la silueta de una prenda, y mantiene la sensación de naturalidad y la claridad de los detalles de la prenda incluso cuando la figura está en movimiento.
• Modelización de la coherencia espaciotemporal: Basado en el mecanismo de autoatención total, garantiza la coherencia de los fotogramas del vídeo, evitando el parpadeo o el temblor de las prendas y consiguiendo un efecto de ajuste suave.
• Orientación multicondicional: Guía de apoyo con una variedad de condiciones como texto, características de imagen, marcadores de prenda y marcadores de línea de contorno, generando un efecto de ajuste más realista y detallado y mejorando la calidad visual general.

Dirección del sitio web oficial de MagicTryOn

• Página web del proyecto::https://vivocameraresearch.github.io/magictryon/
• Repositorio GitHub::https://github.com/vivoCameraResearch/Magic-TryOn/
• Documento técnico arXiv::https://arxiv.org/pdf/2505.21325

Cómo utilizar MagicTryOn

• Preparación medioambientalMagicTryOn es un marco basado en el aprendizaje profundo que requiere una GPU de alto rendimiento (como las tarjetas gráficas de la serie RTX o la serie A de NVIDIA) para acelerar el cálculo.
• entorno de software::
  • Instale Python (se recomienda Python 3.8 o posterior).
  • Instale un marco de aprendizaje profundo (como PyTorch), asegurándose de que la versión coincide con los requisitos de MagicTryOn.
  • Instale otras bibliotecas dependientes (por ejemplo, OpenCV, NumPy, Torchvision, etc.), basándose en la instalación pip install -r requirements.txt (el archivo requirements.txt suele contener todas las dependencias).
• Obtener código y datos::
  • Clonar un repositorio GitHub::

git clone https://github.com/vivoCameraResearch/Magic-TryOn.git
cd Magic-TryOn

• • Preparación del conjunto de datos::
    • MagicTryOn requiere datos de vídeo y datos de ropa. El conjunto de datos se descarga desde el enlace proporcionado con el proyecto, o utilice su propio conjunto de datos.
    • Los conjuntos de datos suelen tener que organizarse en un formato específico, por ejemplo:

dataset/
├── videos/          # 视频文件
├── garments/        # 服装图像
├── masks/           # 服装掩码（可选，用于分割）
└── annotations/     # 注释文件（如服装标记等）

• Modelo de razonamiento (Trying on)::
  • Carga de modelos preentrenadosSi utiliza el modelo preentrenado proporcionado por el proyecto, puede cargarlo directamente:

from magictryon import MagicTryOnModel
model = MagicTryOnModel.load_from_checkpoint("path/to/pretrained_model.ckpt")

• • Preparación de la introducción de datosLos datos de entrada suelen consistir en fotogramas de vídeo (imágenes de caracteres), imágenes de prendas de vestir y sus máscaras (utilizadas para especificar las zonas de la prenda) y, opcionalmente, descripciones textuales u otra información condicional.
  • razonamiento en funcionamiento::

output = model.inference(video_frames, garment_image, mask, text_description)

• • La salida es el resultado de la adaptación virtual generada, normalmente una secuencia de vídeo o imagen.
• Visualización de resultadosGuardar los resultados de ajuste generados como una secuencia de vídeo o imagen para su visualización mediante OpenCV u otras herramientas:

import cv2
for frame in output:
    cv2.imshow("Virtual TryOn", frame)
    cv2.waitKey(30)
cv2.destroyAllWindows()

Principales ventajas de MagicTryOn

• Excelente presentación de los detalles de la prenda: Simula con precisión la textura, el patrón y la silueta de una prenda para mantener su realismo y estabilidad a medida que el personaje se mueve.
• Gran coherencia temporal y espacial: Modelización conjunta de la coherencia espacio-temporal del vídeo basada en un mecanismo totalmente autoatento, que garantiza la coherencia entre los fotogramas del vídeo y evita el parpadeo, el jittering o las transiciones poco naturales en las prendas.
• Orientación flexible y multicondicional: Admite el guiado basado en una variedad de condiciones como texto, características de la imagen, marcadores de prendas y marcadores de líneas de contorno para generar un efecto de ajuste más realista y detallado.
• Supera a los métodos existentesDemostrar un rendimiento superior al de los métodos más avanzados en conjuntos de datos de prueba de imágenes y vídeos, tanto en términos de métricas de evaluación como de calidad visual y capacidad de generalización a escenarios de campo.
• Amplia gama de aplicacionesPuede utilizarse para compras en línea y probadores virtuales, así como para diseño de moda, publicidad y marketing, juegos y entretenimiento, etc., proporcionando soluciones eficaces para diferentes industrias.
• Código abierto y facilidad de usoCódigo fuente abierto y documentación detallada para que desarrolladores e investigadores puedan empezar a trabajar rápidamente.

¿A quién va dirigido MagicTryOn?

• Plataformas de compra en línea y empresas de comercio electrónico: Ayuda a los usuarios a visualizar cómo quedan las prendas en el cuerpo, mejorando la experiencia de compra y reduciendo las devoluciones.
• Diseñadores de moda y marcas de ropaAcelere el proceso de diseño y reduzca los costes de creación de prototipos previsualizando rápidamente los diseños de las prendas con MagicTryOn.
• Tiendas físicas y minoristas: Reduzca el uso de probadores físicos y mejore la eficacia operativa de las tiendas ofreciendo servicios de probadores virtuales.
• Personal de publicidad y marketing: Cree anuncios de prueba personalizados para captar la atención del consumidor y potenciar el impacto de la marca.
• Industria del juego y el ocio: Mejora la inmersión del jugador y el público probándose trajes virtuales en tiempo real en escenarios de juego y entretenimiento.