CatVTON-FLUX: объединение моделей CATVTON и Flux Fill Repair для виртуальных схем подгонки

Общее введение

CatVTON-FLUX - это передовое решение для виртуальной примерки, которое сочетает в себе CATVTON (Concatenation Is All You Need for Virtual Try-On with Diffusion Models) и Флюс Населенные модели ремонта для реалистичного и точного переноса одежды. Проект, разработанный компанией nftblackmagic и вдохновленный технологией In-Context LoRA for prompt engineering, направлен на обеспечение высококачественной виртуальной примерки с помощью диффузионного моделирования и технологии LoRA (In-Context LoRA for prompt engineering). Платформа позволяет пользователям виртуально примерить Hugging Face и ознакомиться с последними весами модели и улучшениями характеристик.

Опыт работы в Интернете: https://huggingface.co/spaces/xiaozaa/catvton-flux-try-on

Список функций

• Виртуальная примерка: реалистичный перенос одежды с помощью моделей CATVTON и Flux.
• Поддержка весов LoRA: для улучшения работы модели предусмотрены весовые коэффициенты LoRA.
• Gradio Demo: демонстрация виртуальной примерки с помощью платформы Gradio.
• Поддержка обнимающегося лица: выполните CATVTON-FLUX-TRY-ON на обнимающемся лице.
• Обновление весов модели: регулярно обновляйте весовые коэффициенты модели для повышения производительности и детализации.

Использование помощи

Процесс установки

1. Убедитесь, что среда выполнения имеет >= 40 ГБ VRAM (рекомендуется 80 ГБ GPU).
2. Создание и активация виртуальной среды Python:

   conda create -n flux python=3.10
conda activate flux

3. Установите необходимые зависимости:

   pip install -r requirements.txt
huggingface-cli login

Процесс использования

Запустите версию фитинга LoRA

1. Подготовьте исходные изображения, маски и изображения одежды.
2. Выполните следующую команду, чтобы примерить его:

   python tryon_inference_lora.py \
--image ./example/person/00008_00.jpg \
--mask ./example/person/00008_00_mask.png \
--garment ./example/garment/00034_00.jpg \
--seed 4096 \
--output_tryon test_lora.png \
--steps 30

Запустите пробную версию без версии LoRA

1. Подготовьте исходные изображения, маски и изображения одежды.
2. Выполните следующую команду, чтобы примерить его:

   python tryon_inference.py \
--image ./example/person/00008_00.jpg \
--mask ./example/person/00008_00_mask.png \
--garment ./example/garment/00034_00.jpg \
--seed 42 \
--output_tryon test.png \
--steps 30

Запуск демонстрационной версии Gradio

1. Выполните следующую команду, чтобы запустить демо-версию Gradio с весами LoRA:

   python app.py

2. Выполните следующую команду, чтобы запустить демо-версию Gradio без весов LoRA:

   python app_no_lora.py

Подробная процедура работы

1. Подготовка входного изображения: Убедитесь, что входное изображение, маска и изображение одежды имеют одинаковый размер, рекомендуемый размер - 576x768.
2. Выполнение команды test-penetration: Выберите версию LoRA или версию без LoRA для команды Try On, настроив такие параметры, как посев и шаги, для достижения оптимальных результатов.
3. Посмотреть результаты: Результаты подгонки будут сохранены в указанном пути вывода, и пользователь сможет просмотреть и оценить результаты подгонки.
4. Взаимодействие с интерфейсом Gradio: Через интерфейс Gradio пользователи могут загружать собственные изображения и одежду для виртуальной примерки в режиме реального времени.