SHMT: Selbstüberwachtes hierarchisches Make-up-Transfermodell, virtuelles Make-up, Migration von Make-up auf neue Porträts

Allgemeine Einführung

SHMT (Self-supervised Hierarchical Makeup Transfer) ist ein selbstüberwachtes hierarchisches Make-up-Transfer-Projekt auf der Grundlage eines latenten Diffusionsmodells, das darauf abzielt, eine qualitativ hochwertige Übertragung von Make-up-Effekten durch unüberwachte Lernmethoden zu erreichen. Das Projekt verwendet das Paradigma der "Entkopplung und Rekonstruktion", das die irreführenden Auswirkungen ungenauer Pseudo-Paarungsdaten beseitigt. Um sich an eine Vielzahl von Schminkstilen anzupassen, werden die hierarchischen Texturdetails durch eine Laplace-Pyramide zerlegt und selektiv in die Inhaltsrepräsentation eingefügt. Die Forschungsergebnisse des SHMT-Projekts wurden in NeurIPS 2024 veröffentlicht und zeigen hervorragende Ergebnisse bei der Handhabung sowohl einfacher als auch komplexer Schminkstile.

Funktionsliste

• Selbstüberwachtes Lernen: Make-up-Migration ohne gepaarte Daten.
• Geschichtete Texturdetails: Dekomposition und Rekonstruktion von Texturdetails mit Hilfe von Laplace-Pyramiden.
• Effiziente Migration: Bewahrt Effizienz und hohe Qualität bei der Arbeit mit verschiedenen Make-up-Stilen.
• Vielfältige Anwendungen: geeignet für Bildverarbeitung, Stilmigration, Computer Vision und viele andere Bereiche.

Hilfe verwenden

Ablauf der Installation

1. Klonen Sie das SHMT-Projekt-Repository:

   git clone https://github.com/Snowfallingplum/SHMT.git
   cd SHMT
   

2) Erstellen und aktivieren Sie die virtuelle Umgebung:
```bash
python -m venv venv
source venv/bin/activate # unter Windows mit `venv\Scripts\activate`

3. Installieren Sie die Projektabhängigkeiten:

   pip install -r anforderungen.txt
   

4. (Optional) Installieren Sie CUDA, um die GPU-Beschleunigung zu unterstützen.

Anleitungen

1. die Durchführung des Hauptprogramms

Das Hauptprogramm befindet sich im Verzeichnismain.pyDatei, führen Sie den folgenden Befehl aus, um sie zu starten:

python main.py --input Ihr_Bildpfad --style Ihr_gewünschter_Style

In dem obigen Befehl wird die--EingangParameter gibt den Pfad des Eingabebildes an.-StyleParameter gibt den Zielumbruchstil an.

2. detaillierte Anpassungen

existierenconfig.yamlDatei können Modellparameter und Detaileinstellungen angepasst werden. Zum Beispiel können die Anzahl der Schichten der Laplace-Pyramide und die Intensität der Rekonstruktionsdetails angepasst werden.

3. die Ausgabe der Ergebnisse

Nach der Ausführung des Hauptprogramms werden die Ergebnisse im angegebenen Ausgabeordner gespeichert. Sie können die Ergebnisse der Make-up-Migration mit einem Bildbetrachtungsprogramm öffnen und ansehen.

typisches Beispiel

Nachstehend finden Sie einen einfachen Beispielcode:

von shmt import SHMT
# Modell initialisieren
Modell = SHMT()
# Eingabebild und Zielstil laden
eingabe_bild = 'pfad/zur/eingabe/bild.jpg'
Stil = 'glamourös'
# Durchführen einer Make-up-Migration
output_image = model.transfer(input_image, style)
# Speichern Sie die Ergebnisse
output_image.save('pfad/nach/output/image.jpg')

allgemeine Probleme

1. Wie kann man mit schlechter Qualität der eingegebenen Bilder umgehen?
   Stellen Sie sicher, dass das Eingangsbild klar und hochauflösend ist. Bilder von geringer Qualität können die Ergebnisse der Make-up-Migration beeinträchtigen.
2. Wie kann ich die Intensität meines Make-ups einstellen?
   In der Konfigurationsdateiconfig.yamlPassen Sie die entsprechenden Parameter an, z. B. inStil_Stärke.