SHMT: 자체 감독 계층적 메이크업 전송 모델, 가상 메이크업, 새로운 인물 사진으로의 메이크업 마이그레이션

일반 소개

SHMT(자기 지도 계층적 메이크업 전송)는 잠재 확산 모델을 기반으로 하는 자기 지도 계층적 메이크업 전송 프로젝트로, 비지도 학습 방법을 통해 메이크업 효과의 고품질 전송을 달성하는 것을 목표로 합니다. 이 프로젝트는 '디커플링 및 재구성' 패러다임을 채택하여 부정확한 의사 페어링 데이터의 잘못된 효과를 제거합니다. 다양한 메이크업 스타일에 적응하기 위해 계층적 텍스처 디테일을 라플라스 피라미드로 분해하여 콘텐츠 표현에 선택적으로 도입하며, SHMT 프로젝트의 연구 결과는 NeurIPS 2024에 게재되어 단순하고 복잡한 메이크업 스타일을 모두 처리하는 데 탁월한 결과를 보여주었습니다.

기능 목록

• 자가 지도 학습: 페어링된 데이터 없이 메이크업 마이그레이션.
• 레이어 텍스처 디테일: 라플라스 피라미드를 사용하여 텍스처 디테일을 분해하고 재구성합니다.
• 효율적인 마이그레이션: 여러 메이크업 스타일로 작업할 때 효율성과 고품질을 유지합니다.
• 다양한 애플리케이션: 이미지 처리, 스타일 마이그레이션, 컴퓨터 비전 및 기타 여러 분야에 적합합니다.

도움말 사용

설치 프로세스

1. SHMT 프로젝트 리포지토리를 복제합니다:

   git clone https://github.com/Snowfallingplum/SHMT.git
   cd SHMT
   

2. 创建并激活虚拟环境：
```bash
python -m venv venv
source venv/bin/activate       # on Windows use `venv\Scripts\activate`

3. 프로젝트 종속성을 설치합니다:

   pip install -r requirements.txt
   

4. (선택 사항) GPU 가속을 지원하도록 CUDA를 설치합니다.

튜토리얼

1. 기본 프로그램 실행

주요 프로그램은main.py파일을 열고 다음 명령을 실행하여 시작합니다:

python main.py --input your_image_path --style your_desired_style

위의 명령에서--input매개변수는 입력 이미지 경로를 지정합니다.--style파라미터는 대상 메이크업 스타일을 지정합니다.

2. 세부 조정

존재config.yaml파일에서 모델 매개변수 및 세부 설정을 조정할 수 있습니다. 예를 들어 라플라스 피라미드의 레이어 수와 재구성 세부 사항의 강도를 조정할 수 있습니다.

3. 결과 출력

메인 프로그램을 실행하면 결과가 지정된 출력 폴더에 저장됩니다. 이미지 보기 도구를 사용하여 메이크업 마이그레이션 결과를 열고 확인할 수 있습니다.

일반적인 예

다음은 간단한 샘플 코드입니다:

from shmt import SHMT
# 初始化模型
model = SHMT()
# 加载输入图像和目标风格
input_image = 'path/to/input/image.jpg'
style = 'glamorous'
# 进行化妆迁移
output_image = model.transfer(input_image, style)
# 保存结果
output_image.save('path/to/output/image.jpg')

일반적인 문제

1. 입력 이미지의 품질이 좋지 않은 경우 어떻게 처리하나요?
   입력 이미지가 선명하고 해상도가 높은지 확인하세요. 이미지 품질이 낮으면 메이크업 마이그레이션 결과에 영향을 줄 수 있습니다.
2. 메이크업 스타일의 강도는 어떻게 조정하나요?
   구성 파일에서config.yaml예를 들어 다음과 같이 관련 매개변수를 조정합니다.style_strength.