SHMT: Selbstüberwachtes hierarchisches Make-up-Transfermodell, virtuelles Make-up, Migration von Make-up auf neue Porträts

Allgemeine Einführung

SHMT (Self-supervised Hierarchical Makeup Transfer) ist ein selbstüberwachtes hierarchisches Make-up-Transfer-Projekt auf der Grundlage eines latenten Diffusionsmodells, das darauf abzielt, eine qualitativ hochwertige Übertragung von Make-up-Effekten durch unüberwachte Lernmethoden zu erreichen. Das Projekt verwendet das Paradigma der "Entkopplung und Rekonstruktion", das die irreführenden Auswirkungen ungenauer Pseudo-Paarungsdaten beseitigt. Um sich an eine Vielzahl von Schminkstilen anzupassen, werden die hierarchischen Texturdetails durch eine Laplace-Pyramide zerlegt und selektiv in die Inhaltsrepräsentation eingefügt. Die Forschungsergebnisse des SHMT-Projekts wurden in NeurIPS 2024 veröffentlicht und zeigen hervorragende Ergebnisse bei der Handhabung sowohl einfacher als auch komplexer Schminkstile.

Funktionsliste

• Selbstüberwachtes Lernen: Make-up-Migration ohne gepaarte Daten.
• Geschichtete Texturdetails: Dekomposition und Rekonstruktion von Texturdetails mit Hilfe von Laplace-Pyramiden.
• Effiziente Migration: Bewahrt Effizienz und hohe Qualität bei der Arbeit mit verschiedenen Make-up-Stilen.
• Vielfältige Anwendungen: geeignet für Bildverarbeitung, Stilmigration, Computer Vision und viele andere Bereiche.

Hilfe verwenden

Einbauverfahren

1. Klonen Sie das SHMT-Projekt-Repository:

   git clone https://github.com/Snowfallingplum/SHMT.git
   cd SHMT
   

2. 创建并激活虚拟环境：
```bash
python -m venv venv
source venv/bin/activate       # on Windows use `venv\Scripts\activate`

3. Installieren Sie die Projektabhängigkeiten:

   pip install -r requirements.txt
   

4. (Optional) Installieren Sie CUDA, um die GPU-Beschleunigung zu unterstützen.

Anleitungen

1. die Durchführung des Hauptprogramms

Das Hauptprogramm befindet sich im Verzeichnismain.pyDatei, führen Sie den folgenden Befehl aus, um sie zu starten:

python main.py --input your_image_path --style your_desired_style

In dem obigen Befehl wird die--inputParameter gibt den Pfad des Eingabebildes an.--styleParameter gibt den Zielumbruchstil an.

2. detaillierte Anpassungen

existierenconfig.yamlDatei können Modellparameter und Detaileinstellungen angepasst werden. Zum Beispiel können die Anzahl der Schichten der Laplace-Pyramide und die Intensität der Rekonstruktionsdetails angepasst werden.

3. die Ausgabe der Ergebnisse

Nach der Ausführung des Hauptprogramms werden die Ergebnisse im angegebenen Ausgabeordner gespeichert. Sie können die Ergebnisse der Make-up-Migration mit einem Bildbetrachtungsprogramm öffnen und ansehen.

typisches Beispiel

Nachstehend finden Sie einen einfachen Beispielcode:

from shmt import SHMT
# 初始化模型
model = SHMT()
# 加载输入图像和目标风格
input_image = 'path/to/input/image.jpg'
style = 'glamorous'
# 进行化妆迁移
output_image = model.transfer(input_image, style)
# 保存结果
output_image.save('path/to/output/image.jpg')

allgemeine Probleme

1. Wie kann man mit schlechter Qualität der eingegebenen Bilder umgehen?
   Stellen Sie sicher, dass das Eingangsbild klar und hochauflösend ist. Bilder von geringer Qualität können die Ergebnisse der Make-up-Migration beeinträchtigen.
2. Wie kann ich die Intensität meines Make-ups einstellen?
   In der Konfigurationsdateiconfig.yamlPassen Sie die entsprechenden Parameter an, z. B. instyle_strength.