SHMT: Modelo de transferencia de maquillaje jerárquico autosupervisado, maquillaje virtual, migración del maquillaje a nuevos retratos.

Introducción general

SHMT (Self-supervised Hierarchical Makeup Transfer) es un proyecto de transferencia de maquillaje jerárquico autosupervisado basado en un modelo de difusión latente, cuyo objetivo es lograr una transferencia de alta calidad de los efectos del maquillaje mediante métodos de aprendizaje no supervisados. El proyecto adopta el paradigma de "desacoplamiento y reconstrucción", que elimina los efectos engañosos de los datos inexactos de pseudoemparejamiento. Con el fin de adaptarse a una variedad de estilos de maquillaje, los detalles jerárquicos de textura se descomponen mediante la pirámide de Laplace y se introducen selectivamente en la representación del contenido.Los resultados de la investigación del proyecto SHMT se han publicado en NeurIPS 2024, demostrando excelentes resultados en el manejo de estilos de maquillaje tanto simples como complejos.

Lista de funciones

• Aprendizaje autosupervisado: migración de maquillaje sin datos emparejados.
• Detalles de textura en capas: descomposición y reconstrucción de detalles de textura mediante pirámides de Laplace.
• Migración eficiente: Mantiene la eficiencia y la alta calidad cuando trabaja con múltiples estilos de maquillaje.
• Diversas aplicaciones: adecuado para el procesamiento de imágenes, la migración de estilos, la visión por ordenador y muchos otros campos.

Utilizar la ayuda

Proceso de instalación

1. Clone el repositorio del proyecto SHMT:

   git clone https://github.com/Snowfallingplum/SHMT.git
   cd SHMT
   

2. 创建并激活虚拟环境：
```bash
python -m venv venv
source venv/bin/activate       # on Windows use `venv\Scripts\activate`

3. Instale las dependencias del proyecto:

   pip install -r requirements.txt
   

4. (Opcional) Instale CUDA para soportar la aceleración GPU.

Tutoriales

1. Ejecución del programa principal

El programa principal se encuentra enmain.pyejecute el siguiente comando para iniciarlo:

python main.py --input your_image_path --style your_desired_style

En el comando anterior, el--inputespecifica la ruta de la imagen de entrada.--styleespecifica el estilo de maquillaje de destino.

2. Ajustes detallados

existeconfig.yamlse pueden ajustar los parámetros del modelo y la configuración de los detalles. Por ejemplo, se puede ajustar el número de capas de la pirámide de Laplace y la intensidad de los detalles de reconstrucción.

3. Salida de resultados

Tras ejecutar el programa principal, los resultados se guardarán en la carpeta de salida especificada. Puedes abrir y ver los resultados de la migración de maquillaje con una herramienta de visualización de imágenes.

ejemplo típico

A continuación se muestra un sencillo código de ejemplo:

from shmt import SHMT
# 初始化模型
model = SHMT()
# 加载输入图像和目标风格
input_image = 'path/to/input/image.jpg'
style = 'glamorous'
# 进行化妆迁移
output_image = model.transfer(input_image, style)
# 保存结果
output_image.save('path/to/output/image.jpg')

problemas comunes

1. ¿Cómo tratar la mala calidad de las imágenes de entrada?
   Asegúrese de que la imagen de entrada es clara y de alta resolución. Las imágenes de baja calidad pueden afectar a los resultados de la migración de maquillaje.
2. ¿Cómo puedo ajustar la intensidad de mi estilo de maquillaje?
   En el archivo de configuraciónconfig.yamlAjuste los parámetros pertinentes en, por ejemplostyle_strength.