CatVTON-FLUX: 가상 피팅 체계를 위한 CATVTON과 플럭스 충전 수리 모델의 결합

일반 소개

CatVTON-FLUX는 CATVTON(가상 피팅을 위해 필요한 모든 것을 연결하여 확산 모델과 함께 사용 가능)과 플럭스 사실적이고 정확한 의류 전송을 위해 수선 모델을 채워 넣습니다. nftblackmagic이 개발하고 신속한 엔지니어링을 위한 인컨텍스트 LoRA에서 영감을 얻은 이 프로젝트는 확산 모델링과 LoRA(신속한 엔지니어링을 위한 인컨텍스트 LoRA) 기술을 사용하여 고품질의 가상 피팅 경험을 제공하는 것을 목표로 합니다. 이 플랫폼을 통해 사용자는 허깅 페이스를 가상으로 착용해보고 최신 모델의 무게와 성능 개선을 경험할 수 있습니다.

온라인 체험: https://huggingface.co/spaces/xiaozaa/catvton-flux-try-on

기능 목록

• 가상 피팅: CATVTON 및 Flux 모델을 사용하여 실제와 같은 의상을 구현합니다.
• LoRA 가중치 지원: 모델 성능을 개선하기 위해 LoRA 가중치가 제공됩니다.
• 그라디오 데모: 그라디오 플랫폼을 통해 가상 피팅을 시연합니다.
• 포옹하는 얼굴 지원: 포옹하는 얼굴에서 CATVTON-FLUX-TRY-ON을 실행합니다.
• 모델 가중치 업데이트: 정기적으로 모델 가중치를 업데이트하여 성능과 디테일을 개선합니다.

도움말 사용

설치 프로세스

1. 런타임 환경에 40GB 이상의 VRAM이 있는지 확인합니다(80GB GPU 권장).
2. Python 가상 환경을 만들고 활성화합니다:

   conda create -n flux python=3.10
conda activate flux

3. 필요한 종속성을 설치합니다:

   pip install -r requirements.txt
huggingface-cli login

사용 프로세스

LoRA 버전의 피팅 실행

1. 입력 이미지, 마스크, 의상 이미지를 준비합니다.
2. 다음 명령을 실행하여 사용해 보세요:

   python tryon_inference_lora.py \
--image ./example/person/00008_00.jpg \
--mask ./example/person/00008_00_mask.png \
--garment ./example/garment/00034_00.jpg \
--seed 4096 \
--output_tryon test_lora.png \
--steps 30

LoRA 버전 없이 평가판 실행

1. 입력 이미지, 마스크, 의상 이미지를 준비합니다.
2. 다음 명령을 실행하여 사용해 보세요:

   python tryon_inference.py \
--image ./example/person/00008_00.jpg \
--mask ./example/person/00008_00_mask.png \
--garment ./example/garment/00034_00.jpg \
--seed 42 \
--output_tryon test.png \
--steps 30

Gradio 데모 시작하기

1. 다음 명령을 실행하여 LoRA 가중치를 사용하여 Gradio 데모를 시작하세요:

   python app.py

2. 다음 명령을 실행하여 LoRA 가중치 없이 Gradio 데모를 시작하세요:

   python app_no_lora.py

세부 운영 절차

1. 입력 이미지 준비하기입력 이미지, 마스크, 의상 이미지의 크기가 같은지 확인합니다(권장 크기는 576x768).
2. 테스트-침투 명령 실행Try On 명령의 LoRA 버전 또는 LoRA-free 버전을 필요에 따라 선택하고 최적의 결과를 위해 시드 및 단계 등의 매개변수를 조정합니다.
3. 결과 보기피팅 결과가 지정된 출력 경로에 저장되며, 사용자는 피팅 결과를 보고 평가할 수 있습니다.
4. 라디오 인터페이스 상호 작용Gradio 인터페이스를 통해 사용자는 자신의 이미지와 의상을 업로드하여 실시간으로 가상 피팅을 체험할 수 있습니다.