레파: 고충실도 모델 가상 트라이얼 및 캐릭터 포즈 조정, 메타 오픈 소스 제어 캐릭터 이미지 생성 모델

일반 소개

레파는 캐릭터의 외형(예: 가상 피팅)과 포즈(예: 포즈 전송)를 정확하게 조작하는 제어된 캐릭터 이미지를 생성하기 위한 통합 프레임워크입니다. 이 프레임워크는 대상 쿼리가 주의 레이어의 올바른 참조 키에 집중하도록 지시하여 높은 이미지 품질을 유지하면서 세밀한 디테일의 왜곡을 크게 줄이며, 레파의 손실 함수는 모델에 독립적이며 다른 확산 모델의 성능을 개선하는 데 사용할 수 있습니다. 이 프로젝트는 franciszzj가 개발하여 Hugging Face 플랫폼에 게시했습니다.

옷을 갈아입는 데 탁월한 모델인 레파는 이러한 유형의 모델에 대한 이전 접근 방식에서는 종종 디테일이 "도망가" 옷의 질감을 흐릿하게 만드는 등의 문제가 발생했습니다. 이 문제를 해결하기 위해 메타는 "내비게이션 시스템"(레파)을 개발하여 생성 프로세스가 보다 "목표에 맞게" 진행되도록 하여 참조 이미지에서 디테일의 정확한 위치를 찾아 옷의 미세한 질감을 유지할 수 있도록 했습니다! 또한 이 접근 방식은 다른 생성 모델의 성능을 향상시킵니다.

레파 모델 드레스업

레파 모델링 자세 조정

기능 목록

• 제어된 문자 이미지 생성: 참조 이미지를 기반으로 제어된 문자 이미지를 생성합니다.
• 가상 입어보기: 캐릭터의 외형을 정밀하게 조작하여 가상 입어보기 효과를 얻을 수 있습니다.
• 포즈 시프트: 캐릭터의 포즈를 정밀하게 조작하여 포즈 시프트 효과를 얻을 수 있습니다.
• 고품질 이미지 생성: 고품질 이미지 품질을 유지하고 디테일 왜곡을 줄입니다.
• 모델 독립적 손실 함수: 다른 확산 모델의 성능을 개선하는 데 사용할 수 있습니다.

도움말 사용

설치 프로세스

1. 콘다 환경을 만들고 필요한 종속 요소를 설치합니다:

   conda create -n leffa python==3.10
   conda activate leffa
   cd Leffa
   pip install -r requirements.txt
   

2. Gradio 애플리케이션을 실행합니다:

   python app.py
   

기능 작동 흐름

1. 제어된 캐릭터 이미지 생성::
   • 참조 이미지와 대상 이미지를 업로드합니다.
   • 레파 모델을 사용하여 제어된 캐릭터 이미지 생성하기.
   • 매개변수를 조정하여 원하는 모양과 포즈 효과를 얻을 수 있습니다.
2. 가상 체험::
   • 캐릭터 이미지와 의상 이미지를 업로드합니다.
   • 레파 모델을 사용하여 가상 피팅을 생성합니다.
   • 최상의 결과를 위해 의복 위치와 사이즈를 조정하세요.
3. 자세 전환::
   • 사람 및 대상 포즈 이미지를 업로드합니다.
   • 레파 모델을 사용하여 포즈 전환 효과를 생성합니다.
   • 자연스러운 포즈 전환을 위해 포즈 매개변수를 조정합니다.
4. 고품질 이미지 생성::
   • 업로드한 참조 이미지와 대상 이미지의 품질이 높은지 확인하세요.
   • 레파 모델을 사용하여 고품질 이미지를 생성합니다.
   • 생성된 이미지의 세부 정보를 확인하여 왜곡이 없는지 확인합니다.
5. 모델 독립적 손실 함수::
   • 다른 확산 모델에 레파의 손실 함수를 적용합니다.
   • 모델 훈련 및 평가를 수행하여 성능 개선 효과를 관찰합니다.

위의 단계를 통해 사용자는 제어 가능한 캐릭터 이미지 생성, 가상 피팅 및 포즈 전송을 위해 레파를 쉽게 시작하고 고품질 이미지 생성의 재미를 즐길 수 있습니다.