MagicTryOn - фреймворк для виртуальной примерки видео от ZJU, Vivo и других компаний

Что такое MagicTryOn?

MagicTryOn - это передовой фреймворк для виртуальной примерки видео, созданный Школой компьютерных наук и технологий Чжэцзянского университета в сотрудничестве с vivo и другими учреждениями. Фреймворк заменяет традиционную архитектуру U-Net на инновационную архитектуру Diffusion Transformer (DiT) в сочетании с механизмом полного самовнушения для достижения пространственно-временной согласованности моделирования видео и обеспечения эффекта примерки во время движения персонажа, избегая мерцания и дрожания одежды. MagicTryOn основан на стратегии удержания одежды от грубого к тонкому, интеграции маркеров одежды на этапе встраивания и введении нескольких условий, таких как семантические и контурные линии, на этапе деноизации. MagicTryOn вводит несколько условий, таких как семантические, текстурные и контурные линии, чтобы эффективно сохранить детали одежды и улучшить визуальное качество. MagicTryOn демонстрирует производительность, превосходящую существующие современные методы, на наборах данных изображений и видео с примеркой, и широко используется в таких областях, как интернет-магазины, дизайн одежды, виртуальные примерочные, реклама и маркетинг, а также игры и развлечения, чтобы предоставить пользователям захватывающий опыт виртуальной примерки.

Ключевые особенности MagicTryOn

• Детали одежды сохранены: Точное отображение текстур, узоров и силуэтов одежды, сохранение естественности и четкости деталей одежды даже при движении персонажей.
• Моделирование пространственно-временной когерентности: Основанный на механизме полного самонаблюдения, он обеспечивает согласованность кадров в видео, предотвращает мерцание или дрожание одежды и достигает эффекта плавного прилегания.
• Многоусловное руководство: Поддержка руководства с различными условиями, такими как текст, изображения, маркеры одежды и маркеры контурных линий, создавая более реалистичный и детальный эффект подгонки и улучшая общее визуальное качество.

Адрес официального сайта MagicTryOn

• Веб-сайт проекта::https://vivocameraresearch.github.io/magictryon/
• Репозиторий GitHub::https://github.com/vivoCameraResearch/Magic-TryOn/
• Технический документ arXiv::https://arxiv.org/pdf/2505.21325

Как использовать MagicTryOn

• Подготовка к защите окружающей средыMagicTryOn - это фреймворк, основанный на глубоком обучении, для ускорения вычислений которого требуется высокопроизводительный GPU (например, видеокарты NVIDIA серии RTX или A).
• программная среда::
  • Установите Python (рекомендуется Python 3.8 или более поздняя версия).
  • Установите фреймворк глубокого обучения (например, PyTorch), убедившись, что его версия соответствует требованиям MagicTryOn.
  • Установите другие зависимые библиотеки (например, OpenCV, NumPy, Torchvision и т.д.), основываясь на установке pip install -r requirements.txt (файл requirements.txt обычно содержит все зависимости).
• Получение кода и данных::
  • Клонирование репозитория GitHub::

git clone https://github.com/vivoCameraResearch/Magic-TryOn.git
cd Magic-TryOn

• • Подготовка набора данных::
    • MagicTryOn требует видеоданных и данных об одежде. Набор данных можно загрузить по ссылке, прилагаемой к проекту, или использовать свой собственный набор данных.
    • Обычно наборы данных необходимо организовать в определенном формате, например:

dataset/
├── videos/          # 视频文件
├── garments/        # 服装图像
├── masks/           # 服装掩码（可选，用于分割）
└── annotations/     # 注释文件（如服装标记等）

• Модель рассуждений (примерка)::
  • Загрузка предварительно обученных моделей: Если вы используете предварительно обученную модель, предоставленную проектом, вы можете загрузить ее напрямую:

from magictryon import MagicTryOnModel
model = MagicTryOnModel.load_from_checkpoint("path/to/pretrained_model.ckpt")

• • Подготовка к вводу данных: Входные данные обычно состоят из видеокадров (изображений символов), изображений одежды и их масок (используемых для определения областей одежды), а также текстовых описаний или другой условной информации.
  • рассуждения о беге::

output = model.inference(video_frames, garment_image, mask, text_description)

• • Выход - это сгенерированный результат виртуальной подгонки, обычно видео или последовательность изображений.
• Визуализация результатов: Сохраните сгенерированные результаты подгонки в виде видео или последовательности изображений для визуализации с помощью OpenCV или других инструментов:

import cv2
for frame in output:
    cv2.imshow("Virtual TryOn", frame)
    cv2.waitKey(30)
cv2.destroyAllWindows()

Основные преимущества MagicTryOn

• Отличное представление деталей одежды: Точное моделирование текстуры, рисунка и силуэта одежды для сохранения ее реалистичности и устойчивости при движении персонажа.
• Сильная временная и пространственная когерентность: Совместное моделирование пространственно-временной когерентности видео на основе полностью самовнимательного механизма, обеспечивающего когерентность между кадрами в видео и исключающего мерцание, дрожание или неестественные переходы.
• Гибкое руководство с множеством условий: Поддержка рекомендаций на основе различных условий, таких как текст, изображения, маркеры одежды и контурные линии, для создания более реалистичного и детального эффекта примерки.
• Превосходит существующие методы: Демонстрация производительности, превосходящей существующие современные методы, на наборах данных для тестирования изображений и видео, как с точки зрения метрик оценки, визуального качества, так и способности обобщения для полевых сценариев.
• Широкий спектр сценариев примененияОн может использоваться для интернет-магазинов и виртуальных примерочных, а также в дизайне одежды, рекламе и маркетинге, играх и развлечениях и т.д. Он предлагает эффективные решения для различных отраслей.
• Открытый исходный код и простота использования: Разработчикам и исследователям предоставляется открытый исходный код и подробная документация, позволяющая быстро приступить к работе.

Для кого предназначен MagicTryOn?

• Платформы для интернет-магазинов и компании, занимающиеся электронной коммерциейНовейшее дополнение к ассортименту продуктов - это новый способ улучшить опыт покупок и сократить количество возвратов, помогая пользователям визуализировать, как одежда будет смотреться на теле.
• Модельеры и бренды одежды: Ускорьте процесс проектирования и сократите расходы на создание прототипов, быстро просматривая эскизы одежды с помощью MagicTryOn.
• Физические магазины и розничные торговцы: Сократите использование физических примерочных и повысьте эффективность работы магазина за счет предоставления услуг виртуальной примерки.
• Сотрудники отдела рекламы и маркетинга: Создание персонализированных объявлений о примерке для привлечения внимания потребителей и усиления воздействия бренда.
• Индустрия азартных игр и развлечений: Усиление погружения игроков и зрителей путем примерки виртуальных костюмов в реальном времени в игровых и развлекательных сценариях.