SHMT: Self-Supervised Hierarchical Makeup Transfer Model, виртуальный макияж, перенос макияжа на новые портреты

Общее введение

SHMT (Self-supervised Hierarchical Makeup Transfer) - это проект самоконтролируемого иерархического переноса макияжа, основанный на модели латентной диффузии и направленный на достижение высококачественного переноса эффектов макияжа с помощью методов обучения без контроля. Проект использует парадигму "развязывания и реконструкции", которая устраняет вводящее в заблуждение влияние неточных псевдопарных данных. Чтобы адаптироваться к различным стилям макияжа, иерархические текстурные детали разлагаются пирамидой Лапласа и выборочно вводятся в представление контента. Результаты исследований проекта SHMT были опубликованы в журнале NeurIPS 2024, продемонстрировав отличные результаты в работе как с простыми, так и со сложными стилями макияжа.

Список функций

• Самостоятельное обучение: миграция макияжа без парных данных.
• Слоистые детали текстуры: разложение и восстановление деталей текстуры с помощью пирамид Лапласа.
• Эффективная миграция: сохраняет эффективность и высокое качество при работе с несколькими стилями макияжа.
• Разнообразные применения: подходит для обработки изображений, миграции стилей, компьютерного зрения и многих других областей.

Использование помощи

Процесс установки

1. Клонируйте репозиторий проекта SHMT:

   git clone https://github.com/Snowfallingplum/SHMT.git
   cd SHMT
   

2. 创建并激活虚拟环境：
```bash
python -m venv venv
source venv/bin/activate       # on Windows use `venv\Scripts\activate`

3. Установите зависимости проекта:

   pip install -r requirements.txt
   

4. (Необязательно) Установите CUDA для поддержки ускорения GPU.

Учебники

1. Запуск основной программы

Основная программа находится в папкеmain.pyвыполните следующую команду, чтобы запустить его:

python main.py --input your_image_path --style your_desired_style

В приведенной выше команде--inputПараметр задает путь к входному изображению.--styleПараметр задает целевой стиль верстки.

2. детальные настройки

существоватьconfig.yamlфайл, можно настроить параметры модели и параметры деталей. Например, можно настроить количество слоев пирамиды Лапласа и интенсивность деталей реконструкции.

3. Вывод результатов

После запуска основной программы результаты будут сохранены в указанной выходной папке. Вы можете открыть и просмотреть результаты миграции макияжа с помощью инструмента просмотра изображений.

типичный пример

Ниже приведен простой пример кода:

from shmt import SHMT
# 初始化模型
model = SHMT()
# 加载输入图像和目标风格
input_image = 'path/to/input/image.jpg'
style = 'glamorous'
# 进行化妆迁移
output_image = model.transfer(input_image, style)
# 保存结果
output_image.save('path/to/output/image.jpg')

общие проблемы

1. Как справиться с плохим качеством входных изображений?
   Убедитесь, что входное изображение четкое и высокого разрешения. Низкокачественные изображения могут повлиять на результаты миграции.
2. Как регулировать интенсивность макияжа?
   В файле конфигурацииconfig.yamlНастройте соответствующие параметры, например, в разделеstyle_strength.