MagicTryOn - ZJU 및 Vivo 등의 비디오 가상 체험 프레임워크

매직트라이온이란 무엇인가요?

매직트라이온은 절강대학교 컴퓨터공학부가 생체 및 기타 기관과 협력하여 출시한 고급 비디오 가상 체험 프레임워크입니다. 이 프레임워크는 기존의 U-Net 아키텍처를 혁신적인 확산 트랜스포머(DiT) 아키텍처로 대체하고 완전한 자기 주의 메커니즘과 결합하여 영상의 시공간적 일관성 모델링을 달성하고 캐릭터가 움직이는 동안 피팅 효과를 부드럽게 유지하여 의상의 깜박임과 흔들림을 방지하며, MagicTryOn은 거친 의복에서 세밀한 의류 유지 전략을 기반으로 임베딩 단계에서 의류 마커를 통합하고 노이즈 제거 단계에서 의미 및 윤곽선과 같은 여러 조건을 도입합니다. 시맨틱, 텍스처, 등고선과 같은 다중 조건을 도입하여 의상의 디테일을 효과적으로 보존하고 시각적 품질을 향상시키는 MagicTryOn은 이미지 및 비디오 피팅 데이터 세트에서 기존의 최첨단 방법을 뛰어넘는 성능을 보여주며 온라인 쇼핑, 패션 디자인, 가상 피팅룸, 광고 및 마케팅, 게임 및 엔터테인먼트 분야에서 사용자에게 몰입감 있는 가상 피팅 경험을 제공하기 위해 널리 사용되고 있습니다.

MagicTryOn의 주요 기능

의류 세부 정보 유지의상의 질감, 패턴, 실루엣을 정확하게 렌더링하고 인물이 움직일 때에도 의상의 자연스러운 느낌과 디테일의 선명도를 유지합니다.
시공간 일관성 모델링풀 셀프 어텐션 메커니즘을 기반으로 영상 프레임의 일관성을 보장하고, 의상의 깜박임이나 흔들림을 방지하며, 부드러운 피팅 효과를 구현합니다.
다중 조건부 안내텍스트, 이미지 특징, 의상 마커, 등고선 마커 등 다양한 조건으로 안내를 지원하여 보다 사실적이고 세밀한 피팅 효과를 생성하고 전반적인 시각적 품질을 향상시킵니다.

매직트라이온의 공식 웹사이트 주소

프로젝트 웹사이트::https://vivocameraresearch.github.io/magictryon/
GitHub 리포지토리::https://github.com/vivoCameraResearch/Magic-TryOn/
arXiv 기술 논문::https://arxiv.org/pdf/2505.21325

MagicTryOn 사용 방법

환경 준비MagicTryOn은 딥 러닝 기반 프레임워크로, 계산을 가속화하기 위해 고성능 GPU(예: NVIDIA의 RTX 시리즈 또는 A 시리즈 그래픽 카드)가 필요합니다.
소프트웨어 환경::
- Python을 설치합니다(Python 3.8 이상 권장).
- 딥 러닝 프레임워크(예: PyTorch)를 설치하여 버전이 MagicTryOn의 요구 사항과 일치하는지 확인합니다.
- pip install -r requirements.txt 설치(일반적으로 요구사항.txt 파일에 모든 종속성이 포함되어 있음)를 기반으로 다른 종속 라이브러리(예: OpenCV, NumPy, Torchvision 등)를 설치합니다.
코드 및 데이터 가져오기::
- GitHub 리포지토리 복제하기::

git clone https://github.com/vivoCameraResearch/Magic-TryOn.git
cd Magic-TryOn

- 데이터 집합 준비하기::
  - MagicTryOn에는 비디오 데이터와 의상 데이터가 필요합니다. 데이터 세트는 프로젝트와 함께 제공된 링크에서 다운로드하거나 자체 데이터 세트를 사용할 수 있습니다.
  - 예를 들어 데이터 세트는 일반적으로 특정 형식으로 정리해야 합니다:

dataset/
├── videos/          # 视频文件
├── garments/        # 服装图像
├── masks/           # 服装掩码（可选，用于分割）
└── annotations/     # 注释文件（如服装标记等）

모델 추론(입어보기)::
- 사전 학습된 모델 로드프로젝트에서 제공하는 사전 학습된 모델을 사용하는 경우 직접 로드할 수 있습니다:

from magictryon import MagicTryOnModel
model = MagicTryOnModel.load_from_checkpoint("path/to/pretrained_model.ckpt")

- 데이터 입력 준비입력 데이터는 일반적으로 비디오 프레임(캐릭터 이미지), 의상 이미지 및 해당 마스크(의상 영역을 지정하는 데 사용), 선택적으로 텍스트 설명 또는 기타 조건부 정보로 구성됩니다.
- 추론 실행::

output = model.inference(video_frames, garment_image, mask, text_description)

- 출력은 생성된 가상 피팅 결과(일반적으로 비디오 또는 이미지 시퀀스)입니다.
결과 시각화생성된 피팅 결과를 비디오 또는 이미지 시퀀스로 저장하여 OpenCV 또는 기타 도구를 기반으로 시각화할 수 있습니다:

import cv2
for frame in output:
    cv2.imshow("Virtual TryOn", frame)
    cv2.waitKey(30)
cv2.destroyAllWindows()

MagicTryOn의 핵심 이점

의상의 디테일을 탁월하게 표현의상의 텍스처, 패턴, 실루엣을 정확하게 시뮬레이션하여 캐릭터가 움직일 때 사실감과 안정성을 유지합니다.
강력한 시간적, 공간적 일관성 유지완전 자동 인식 메커니즘을 기반으로 영상의 시공간적 일관성을 공동으로 모델링하여 영상의 프레임 간 일관성을 보장하고 의상의 깜박임, 지터링 또는 부자연스러운 전환을 방지합니다.
유연한 다중 조건 안내텍스트, 이미지 특징, 의상 마커, 등고선 마커 등 다양한 조건에 따른 안내를 지원하여 보다 사실적이고 세밀한 피팅 효과를 생성합니다.
기존 방법보다 뛰어난 성능평가 지표, 시각적 품질, 현장 시나리오에 대한 일반화 능력 측면에서 이미지 및 비디오 트라이온 데이터 세트 모두에서 기존의 최첨단 방법을 능가하는 성능을 입증합니다.
광범위한 애플리케이션 시나리오온라인 쇼핑, 가상 피팅룸은 물론 패션 디자인, 광고 및 마케팅, 게임 및 엔터테인먼트 등 다양한 산업 분야에 효율적인 솔루션을 제공합니다.
오픈 소스 및 사용 편의성개발자와 연구자가 빠르게 시작하고 실행할 수 있도록 오픈 소스 코드와 자세한 문서가 제공됩니다.

MagicTryOn은 누구를 위한 서비스인가요?

온라인 쇼핑 플랫폼 및 이커머스 기업사용자가 의상이 신체에 어떻게 보이는지 시각화하여 쇼핑 경험을 개선하고 반품을 줄일 수 있도록 지원합니다.
패션 디자이너 및 의류 브랜드매직트라이온으로 의류 디자인을 빠르게 미리 살펴봄으로써 디자인 프로세스를 가속화하고 프로토타입 제작 비용을 절감할 수 있습니다.
오프라인 매장 및 소매업체가상 피팅 서비스를 제공하여 실제 피팅룸 사용을 줄이고 매장 운영 효율성을 개선합니다.
광고 및 마케팅 직원개인 맞춤형 체험 광고를 제작하여 소비자의 관심을 끌고 브랜드 영향력을 높일 수 있습니다.
게임 및 엔터테인먼트 산업게임 및 엔터테인먼트 시나리오에서 실시간으로 가상 의상을 입어보며 플레이어와 관객의 몰입도를 높일 수 있습니다.