SHMT : modèle de transfert de maquillage hiérarchique autosupervisé, maquillage virtuel, migration du maquillage vers de nouveaux portraits.

Introduction générale

SHMT (Self-supervised Hierarchical Makeup Transfer) est un projet de transfert de maquillage hiérarchique autosupervisé basé sur un modèle de diffusion latent, visant à réaliser un transfert de haute qualité des effets de maquillage grâce à des méthodes d'apprentissage non supervisées. Le projet adopte le paradigme "découplage et reconstruction", qui élimine les effets trompeurs des données de pseudo-appariement inexactes. Afin de s'adapter à une variété de styles de maquillage, les détails hiérarchiques de la texture sont décomposés par la pyramide de Laplace et introduits sélectivement dans la représentation du contenu. Les résultats de la recherche du projet SHMT ont été publiés dans NeurIPS 2024, démontrant d'excellents résultats dans le traitement des styles de maquillage simples et complexes.

Liste des fonctions

• Apprentissage auto-supervisé : migration de maquillage sans données appariées.
• Détails de texture en couches : décomposition et reconstruction des détails de texture à l'aide de pyramides de Laplace.
• Migration efficace : maintien de l'efficacité et de la qualité en travaillant avec plusieurs styles de maquillage.
• Applications diverses : convient au traitement d'images, à la migration de style, à la vision par ordinateur et à de nombreux autres domaines.

Utiliser l'aide

Processus d'installation

1. Cloner le référentiel du projet SHMT :

   git clone https://github.com/Snowfallingplum/SHMT.git
   cd SHMT
   

2. 创建并激活虚拟环境：
```bash
python -m venv venv
source venv/bin/activate       # on Windows use `venv\Scripts\activate`

3. Installer les dépendances du projet :

   pip install -r requirements.txt
   

4. (Facultatif) Installez CUDA pour prendre en charge l'accélération GPU.

Tutoriels

1. exécuter le programme principal

Le programme principal se trouve dans le répertoiremain.pyexécutez la commande suivante pour le démarrer :

python main.py --input your_image_path --style your_desired_style

Dans la commande ci-dessus, l'élément--inputspécifie le chemin d'accès à l'image d'entrée.--stylespécifie le style de maquillage cible.

2. ajustements détaillés

existentconfig.yamlles paramètres du modèle et les réglages des détails peuvent être ajustés. Par exemple, le nombre de couches de la pyramide de Laplace et l'intensité des détails de la reconstruction peuvent être ajustés.

3. la production de résultats

Après l'exécution du programme principal, les résultats sont enregistrés dans le dossier de sortie spécifié. Vous pouvez ouvrir et visualiser les résultats de la migration de maquillage à l'aide d'un outil de visualisation d'images.

exemple typique

Voici un exemple de code simple :

from shmt import SHMT
# 初始化模型
model = SHMT()
# 加载输入图像和目标风格
input_image = 'path/to/input/image.jpg'
style = 'glamorous'
# 进行化妆迁移
output_image = model.transfer(input_image, style)
# 保存结果
output_image.save('path/to/output/image.jpg')

problèmes courants

1. Comment gérer la mauvaise qualité des images d'entrée ?
   Veillez à ce que l'image d'entrée soit claire et de haute résolution. Les images de mauvaise qualité peuvent affecter les résultats de la migration vers le maquillage.
2. Comment puis-je ajuster l'intensité de mon style de maquillage ?
   Dans le fichier de configurationconfig.yamlAjustez les paramètres pertinents dans, par exemple, la rubriquestyle_strength.