FitDiT: 의류 디테일의 사실감을 높여주는 고충실도 AI 가상 피팅 도구

일반 소개

FitDiT는 디퓨전 트랜스포머를 기반으로 하는 고충실도 가상 피팅 시스템입니다. Tencent AI Lab에서 개발한 이 프로젝트는 의류 디테일을 표시하는 기존 가상 피팅 시스템의 한계를 해결하기 위한 것으로, FitDiT는 의류의 실제 디테일을 더 잘 보존하는 새로운 알고리즘 아키텍처를 혁신적으로 제안하여 가상 피팅 효과를 더욱 사실적으로 구현합니다. 이 프로젝트는 완전한 오픈 소스이며, 온라인 데모, 사전 훈련된 모델, 전체 코드 구현을 제공하여 연구자와 개발자가 학술 연구 및 상업적 사전 연구를 할 수 있도록 지원합니다. 이 프로젝트는 2024년 11월에 논문을 발표하고 2024년 12월에 온라인 데모, 데이터 세트 및 모델 가중치를 순차적으로 공개하여 학계와 업계에서 큰 관심을 받았습니다.

온라인 데모: https://huggingface.co/spaces/BoyuanJiang/FitDiT

기능 목록

• 완전 자동화된 가상 피팅 생성 기능
• 지능형 피팅 영역 마스크 생성
• 수동 마스크 조정 및 편집 도구
• 다중 해상도 피팅 효과 지원
• 의복 디테일 충실도 최적화
• 온라인 프레젠테이션 플랫폼 지원(Gradio 인터페이스)
• 로컬 배포 지원(여러 성능 구성 지원)
• 복합 가상 드레싱 데이터세트(CVDD) 데이터세트
• 완전한 모델 학습 및 추론 코드
• 허깅 페이스 모델 호스팅 통합

도움말 사용

1. 온라인 액세스

FitDiT는 온라인에서 두 가지 방법으로 사용할 수 있습니다:

1. 허깅 페이스 스페이스 온라인 데모: https://huggingface.co/spaces/BoyuanJiang/FitDiT 방문하기
2. 공식 온라인 데모 플랫폼: http://demo.fitdit.byjiang.com/

사용 단계:

1단계: 피팅 영역 마스크 생성하기

1. 옷을 갈아입을 사람의 사진을 업로드하세요.
2. 입어보고 싶은 대상 의상의 사진을 업로드합니다.
3. '1단계: 마스크 실행' 버튼을 클릭하여 초기 마스크를 생성합니다.
4. 마스크 범위를 조정해야 하는 경우 조정할 수 있습니다:
   • 슬라이더를 사용하여 마스크 범위를 조정합니다:
     • 마스크 오프셋 상단: 상단 테두리를 조정합니다.
     • 마스크 오프셋 하단: 하단 테두리를 조정합니다.
     • 마스크 오프셋 왼쪽: 왼쪽 테두리를 조정합니다.
     • 마스크 오프셋 오른쪽: 오른쪽 테두리를 조정합니다.
   • 브러시 도구를 사용하여 마스크된 영역을 수동으로 수정합니다.
   • 지우개 도구를 사용하여 마스크의 가장자리를 다듬습니다.

2단계: 피팅 결과 생성

1. 원하는 피팅 해상도 선택
2. '2단계: 트라이온 실행'을 클릭하여 생성을 시작합니다.
3. 모델이 처리가 완료될 때까지 기다렸다가 피팅 결과를 확인합니다.

2. 로컬 배포 방법론

환경 요구 사항:

torch==2.3.0
torchvision==0.18.0
diffusers==0.31.0
transformers==4.39.3
gradio==5.8.0
onnxruntime-gpu==1.20.1

배포 단계:

1. FitDiT 모델 가중치에 대한 액세스 권한을 요청하세요:
   • https://huggingface.co/BoyuanJiang/FitDiT 방문하기
   • 액세스 권한을 얻은 후 로컬 카탈로그에 모델을 다운로드합니다.
2. 로컬 Gradio 서비스를 실행합니다:
   하드웨어 구성에 따라 선택할 수 있는 네 가지 작동 모드를 제공합니다:

   # 最快速模式（需要较大显存）：
   python gradio_sd3.py --model_path local_model_dir
   # FP16精度模式：
   python gradio_sd3.py --model_path local_model_dir --fp16
   # CPU辅助模式（中等速度，适中显存）：
   python gradio_sd3.py --model_path local_model_dir --fp16 --offload
   # 激进CPU负载模式（速度最慢，显存占用最少）：
   python gradio_sd3.py --model_path local_model_dir --fp16 --aggressive_offload
   

3. 개발자를 위한 사용 지침

• 이 프로젝트는 CC BY-NC-SA-4.0 라이선스를 따릅니다.
• 비상업적 용도로만 사용
• 상업용 라이선스는 byronjiang@tencent.com 으로 문의하시기 바랍니다.
• 전체 모델 학습 코드 및 데이터 세트는 오픈 소스입니다.
• 허깅 페이스를 통해 사전 학습된 모델 사용 지원