Leffa：高忠実度モデルのバーチャル試着とキャラクターポーズ調整、メタ・オープンソース制御キャラクター画像生成モデル

はじめに

Leffaは、制御されたキャラクタ画像を生成するための統一的なフレームワークであり、キャラクタの外観（バーチャルフィッティングなど）と姿勢（ポーズ転送など）を正確に操作する。Leffaの損失関数はモデルに依存せず、他の拡散モデルの性能を向上させるために使用することができる。このプロジェクトはfranciszzjによって開発され、Hugging Faceプラットフォームで公開されました。

着替えのための優れたモデルとして：Leffa、このタイプのモデルに対する以前のアプローチは、例えば服のテクスチャーをぼやけさせるなど、しばしばディテールを "逃がして "しまった。この問題を解決するため、Metaは「ナビゲーション・システム」（Leffa）を考案し、生成プロセスをより「的確」にし、参照画像内のディテールの正確な位置を見つけることで、衣服の繊細な質感を維持できるようにした！さらに、このアプローチは他の生成モデルのパフォーマンスを向上させる。

レファモデルのドレスアップ

レファ・モデリング 姿勢調整

機能一覧

• 制御文字画像生成：参照画像に基づいて制御文字画像を生成する。
• バーチャル試着：キャラクターの外見を精密に操作し、バーチャル試着効果を実現する。
• ポーズシフト：キャラクタのポーズを正確に操作して、ポーズシフトエフェクトを実現します。
• 高画質生成：高画質を維持し、ディテールの歪みを低減。
• モデルに依存しない損失関数：他の拡散モデルの性能を向上させるために使用できる。

ヘルプの使用

設置プロセス

1. conda環境を作成し、必要な依存関係をインストールする：

   conda create -n leffa python==3.10
   conda leffaをアクティブにする
   cd Leffa
   pip install -r requirements.txt
   

2. Gradioアプリケーションを実行する：

   python app.py
   

機能 操作の流れ

1. 制御された文字画像生成::
   • 参照画像とターゲット画像をアップロードします。
   • レファモデルを用いた制御されたキャラクター画像の生成。
   • パラメータを調整し、好みのルックとポーズ効果を得る。
2. バーチャル試着::
   • キャラクター画像やコスチューム画像をアップロード
   • Leffaモデルを使ってバーチャルフィッティングを行う。
   • 最良の結果を得るために、衣服の位置とサイズを調整してください。
3. 姿勢変化::
   • 人物やターゲットポーズの画像をアップロードする。
   • Leffaモデルを使用してポーズ伝達効果を生成する。
   • 自然なポーズ移動のためにポーズパラメータを調整する。
4. 高画質画像生成::
   • アップロードされた参照画像とターゲット画像が高品質であることを確認してください。
   • レファモデルを使用して高画質画像を生成します。
   • 生成された画像の細部をチェックし、歪みがないことを確認する。
5. モデル非依存損失関数::
   • Leffaの損失関数を他の拡散モデルに適用する。
   • モデルの訓練と評価を行い、性能向上効果を観察する。

以上の手順で、ユーザーは簡単にLeffaを使って、コントロール可能なキャラクター画像生成、バーチャルフィッティング、ポーズ転送を開始し、高品質な画像生成の楽しさを味わうことができる。