SHMT: Self-Supervised Hierarchical Makeup Transfer Model, バーチャルメイク, 新しいポートレートへのメイクの移行

はじめに

SHMT（Self-supervised Hierarchical Makeup Transfer）は、潜在拡散モデルに基づく自己教師あり階層的メイクアップ転送プロジェクトであり、教師なし学習手法によってメイクアップ効果の高品質な転送を実現することを目的としている。このプロジェクトは、不正確な擬似ペアリングデータの誤解を招く影響を排除する「デカップリングと再構築」のパラダイムを採用している。SHMTプロジェクトの研究成果はNeurIPS 2024に掲載され、単純なメイクアップスタイルと複雑なメイクアップスタイルの両方に対応できる優れた結果を示している。

機能一覧

• 自己教師付き学習：ペアデータなしのメイク移行。
• 層状のテクスチャ詳細：ラプラスピラミッドを用いたテクスチャ詳細の分解と再構築。
• 効率的な移行：複数のメイクアップスタイルを扱う際、効率と高品質を維持する。
• 多様なアプリケーション：画像処理、スタイル移行、コンピュータビジョン、その他多くの分野に適しています。

ヘルプの使用

設置プロセス

1. SHMTプロジェクトリポジトリをクローンする：

   git clone https://github.com/Snowfallingplum/SHMT.git
   cd SHMT
   

2.仮想環境を作成し、アクティベートする：
bash
python -m venv venv
source venv/bin/activate # on Windows use `venvScriptsactivate`

3. プロジェクトの依存関係をインストールします：

   pip install -r requirements.txt
   

4. (オプション）GPUアクセラレーションをサポートするためにCUDAをインストールします。

チュートリアル

1.メインプログラムの実行

メインプログラムはmain.pyファイルを開き、以下のコマンドを実行して起動する：

python main.py --input your_image_path --style your_desired_style

上記のコマンドでは--入力パラメータは入力画像のパスを指定する。--スタイルパラメータはターゲットメイクのスタイルを指定する。

2.詳細な調整

あるconfig.yamlファイルでは、モデルのパラメータや詳細設定を調整することができます。例えば、ラプラスピラミッドの層数や再構築の詳細の強度を調整することができます。

3.結果の出力

メインプログラムの実行後、結果は指定された出力フォルダに保存されます。メイクアップされた移行結果は、画像表示ツールで開いて見ることができます。

典型例

以下は簡単なサンプルコードです：

from shmt import SHMT
# モデルの初期化
モデル = SHMT()
# 入力画像とターゲットスタイルを読み込む
input_image = 'パス/to/input/image.jpg'
スタイル = 'glamorous'
# メイクマイグレーションを行う
output_image = model.transfer(input_image, style)
# 結果を保存する
output_image.save('path/to/output/image.jpg')

一般的な問題

1. 入力画像の画質が悪い場合の対処法は？
   入力画像が鮮明で高解像度であることを確認してください。低画質の画像は、メイクアップ移行の結果に影響を与える可能性があります。
2. メイクスタイルの濃さを調整するには？
   コンフィギュレーション・ファイルでconfig.yamlで関連するパラメーターを調整する。style_strength（スタイル・ストレングス.