MagicTryOn - uma estrutura de teste virtual em vídeo da ZJU, da Vivo e de outras empresas

O que é o MagicTryOn?

O MagicTryOn é uma estrutura avançada de teste virtual de vídeo lançada pela School of Computer Science and Technology da Zhejiang University em colaboração com a vivo e outras instituições. A estrutura substitui a arquitetura U-Net tradicional por uma arquitetura inovadora de Transformador de Difusão (DiT), combinada com um mecanismo de autoatenção total, para obter uma modelagem de consistência espaço-temporal do vídeo e garantir que o efeito de ajuste permaneça suave durante o movimento do personagem, evitando a cintilação e o tremor das roupas. O MagicTryOn baseia-se na estratégia de retenção de roupas grosseiras a finas, integrando marcadores de roupas no estágio de incorporação e introduzindo várias condições, como linhas semânticas e de contorno, no estágio de redução de ruído. O MagicTryOn apresenta várias condições, como semântica, textura e linhas de contorno, para preservar com eficácia os detalhes do vestuário e aprimorar a qualidade visual. O MagicTryOn demonstra um desempenho superior aos métodos de última geração existentes em conjuntos de dados de ajuste de imagem e vídeo e é amplamente utilizado nas áreas de compras on-line, design de moda, provadores virtuais, publicidade e marketing, jogos e entretenimento, para proporcionar uma experiência de ajuste virtual imersiva aos usuários.

Principais recursos do MagicTryOn

• Detalhes da roupa mantidosRenderiza com precisão as texturas, os padrões e as silhuetas das roupas e mantém a sensação natural e a clareza dos detalhes das roupas, mesmo quando os personagens estão em movimento.
• Modelagem de coerência espaço-temporalMecanismo de auto-atenção total: Com base no mecanismo de auto-atenção total, ele garante a coerência dos quadros no vídeo, evita a cintilação ou o tremor das roupas e obtém um efeito de ajuste suave.
• Orientação multicondicionalSuporte à orientação com uma variedade de condições, como texto, recursos de imagem, marcadores de vestuário e marcadores de linha de contorno, gerando um efeito de ajuste mais realista e detalhado e melhorando a qualidade visual geral.

Endereço do site oficial do MagicTryOn

• Site do projeto::https://vivocameraresearch.github.io/magictryon/
• Repositório do GitHub::https://github.com/vivoCameraResearch/Magic-TryOn/
• Artigo técnico do arXiv::https://arxiv.org/pdf/2505.21325

Como usar o MagicTryOn

• Preparação ambientalMagicTryOn é uma estrutura baseada em aprendizagem profunda que requer uma GPU de alto desempenho (como as placas de vídeo da série RTX ou da série A da NVIDIA) para acelerar a computação.
• ambiente de software::
  • Instale o Python (recomenda-se o Python 3.8 ou superior).
  • Instale uma estrutura de aprendizagem profunda (por exemplo, PyTorch), certificando-se de que a versão corresponda aos requisitos do MagicTryOn.
  • Instale outras bibliotecas dependentes (por exemplo, OpenCV, NumPy, Torchvision etc.), com base na instalação pip install -r requirements.txt (o arquivo requirements.txt geralmente contém todas as dependências).
• Obtenção de código e dados::
  • Clonagem de um repositório do GitHub::

git clone https://github.com/vivoCameraResearch/Magic-TryOn.git
cd Magic-TryOn

• • Preparação do conjunto de dados::
    • O MagicTryOn requer dados de vídeo e dados de roupas. O conjunto de dados é baixado do link fornecido com o projeto, ou use seu próprio conjunto de dados.
    • Os conjuntos de dados geralmente precisam ser organizados em um formato específico, por exemplo:

dataset/
├── videos/          # 视频文件
├── garments/        # 服装图像
├── masks/           # 服装掩码（可选，用于分割）
└── annotations/     # 注释文件（如服装标记等）

• Raciocínio de modelagem (ajuste)::
  • Carregamento de modelos pré-treinadosSe você usar o modelo pré-treinado fornecido pelo projeto, poderá carregá-lo diretamente:

from magictryon import MagicTryOnModel
model = MagicTryOnModel.load_from_checkpoint("path/to/pretrained_model.ckpt")

• • Preparação para inserir dadosDados de entrada: Os dados de entrada geralmente consistem em quadros de vídeo (imagens de caracteres), imagens de vestuário e suas máscaras (usadas para especificar as áreas do vestuário) e, opcionalmente, descrições textuais ou outras informações condicionais.
  • raciocínio de execução::

output = model.inference(video_frames, garment_image, mask, text_description)

• • A saída é o resultado do ajuste virtual gerado, geralmente uma sequência de vídeo ou imagem.
• Visualização dos resultadosSalvar os resultados de ajuste gerados como uma sequência de vídeo ou imagem para visualização com base no OpenCV ou em outras ferramentas:

import cv2
for frame in output:
    cv2.imshow("Virtual TryOn", frame)
    cv2.waitKey(30)
cv2.destroyAllWindows()

Principais benefícios do MagicTryOn

• Excelente apresentação dos detalhes do vestuárioSimulação precisa da textura, do padrão e da silhueta de uma peça de roupa para manter o realismo e a estabilidade à medida que o personagem se move.
• Forte coerência temporal e espacialModelagem conjunta da coerência espaço-temporal do vídeo com base em um mecanismo totalmente autoatencioso, garantindo a coerência entre os quadros do vídeo e evitando a cintilação das roupas, a instabilidade ou as transições não naturais.
• Orientação multicondicional flexívelSuporte à orientação com base em uma variedade de condições, como texto, recursos de imagem, marcadores de vestuário e marcadores de linha de contorno para gerar um efeito de ajuste mais realista e detalhado.
• Supera o desempenho dos métodos existentesDemonstrar desempenho superior aos métodos mais avançados existentes em conjuntos de dados de teste de imagens e vídeos, tanto em termos de métricas de avaliação, qualidade visual e capacidade de generalização para cenários de campo.
• Ampla gama de cenários de aplicaçãoEle pode ser usado para compras on-line e provadores virtuais, bem como para design de moda, publicidade e marketing, jogos e entretenimento etc. Ele fornece soluções eficientes para diferentes setores.
• Código aberto e facilidade de usoCódigo-fonte aberto e documentação detalhada são fornecidos para que os desenvolvedores e pesquisadores possam começar a trabalhar rapidamente.

A quem se destina o MagicTryOn?

• Plataformas de compras on-line e empresas de comércio eletrônicoA mais nova adição à linha de produtos é uma nova maneira de melhorar a experiência de compra e reduzir as devoluções, ajudando os usuários a visualizar como as roupas ficarão no corpo.
• Designers de moda e marcas de roupasAcelere o processo de design e reduza os custos de prototipagem, visualizando rapidamente os designs de vestuário com o MagicTryOn.
• Lojas e varejistas de tijolo e argamassaReduza o uso de provadores físicos e melhore a eficiência operacional da loja fornecendo serviços de provadores virtuais.
• Equipe de publicidade e marketingCrie anúncios de teste personalizados para atrair a atenção do consumidor e aumentar o impacto da marca.
• Setor de jogos e entretenimentoAprimore a imersão do jogador e do público ao experimentar trajes virtuais em tempo real em cenários de jogos e entretenimento.