SynthLight：ポートレート画像の自然光レンダリング（未発表）

はじめに

SynthLightは、拡散モデルに基づいたポートレートリライティングツールです。合成顔画像の再レンダリングを学習し、実際の肖像画に調整された照明効果を実現します。このツールは、物理的なレンダリングエンジンを使用して、さまざまな照明条件下での照明変換をシミュレートするデータセットを生成します。SynthLightは、被写体のアイデンティティを維持しながら、ハイライトや投影を含むリアルな照明効果を生成することができます。SynthLightは、被写体のアイデンティティを維持しながら、ハイライトやプロジェクションを含むリアルな照明効果を生成することができます。さまざまな実際の写真で優れたパフォーマンスを発揮し、これまでにない豊かな照明効果を実証しています。

似たようなアイテムICライト（V2）キャンバスの中で光の効果を自由にコントロールするプロジェクト。 ルミナブラシ .

機能一覧

• ポートレート再点灯アンビエント・ライト・マップで肖像画を再照明し、リアルな照明効果を生成。
• 拡散モデル自然な照明効果を確保するための拡散モデルを使った画像処理。
• マルチタスクモデルの汎化能力を向上させるために、光のラベルのない実際の肖像画を使用したマルチタスクトレーニング。
• 推論時間のサンプリング入力された肖像画の詳細を保存する分類器ガイドなし推論に基づく推論時間拡散サンプリング手順。
• 物理レンダリングエンジン物理レンダリングエンジンを使用してデータセットを生成し、さまざまな照明条件下での光の遷移をシミュレートします。

ヘルプの使用

使用手順

1. 顔写真のアップロードホームページの "写真をアップロード "ボタンをクリックし、リライトしたいポートレート写真を選択します。
2. 光条件の選択光条件オプションで環境光マップを選択またはアップロードします。ユーザーはプリセットの光条件を選択するか、カスタマイズした光マップをアップロードすることができます。
3. 調整パラメーター光の強さ、方向、その他のパラメーターを必要に応じて調整し、希望する光の効果を得ます。
4. 結果を出す生成 "ボタンをクリックし、システムの処理を待ちます。処理終了後、ユーザーは再照明ポートレートをプレビューし、ダウンロードすることができます。

詳細機能

• ポートレート再点灯ユーザーがポートレート写真をアップロードすると、選択された照明条件に従って写真が再照明されます。生成される照明効果には、自然なハイライトや投影が含まれ、写真が本物らしく見えるようにします。
• 拡散モデルSynthLightは、被写体の同一性を保ちながらリアルな照明効果を生成できる拡散モデルを画像処理に使用しています。拡散モデルは、異なる照明条件下での光の遷移をシミュレートすることで、合成された顔画像の再レンダリングを学習します。
• マルチタスクこのシステムでは、モデルの汎化能力を向上させるために、照明ラベルのない実際のポートレートをマルチタスク学習に使用しています。これにより、照明ラベルのないデータでも自然な照明効果を生成することができる。
• 推論時間のサンプリングこのシステムは、分類器を用いない推論的な時間拡散サンプリングに基づき、入力された肖像画のディテールを保持することができ、結果として自然で詳細な照明効果を保証します。
• 物理レンダリングエンジンSynthLightは、物理レンダリングエンジンを使用して、さまざまな照明条件下での光の遷移をシミュレートするデータセットを生成します。物理レンダリングエンジンは高品質なライティングエフェクトを生成し、モデルが様々なライティング条件下で優れたパフォーマンスを発揮することを保証します。

ヒントとコツ

• 正しいライトマップの選択撮影環境に応じて適切なライトマップを選択し、最適なライティング効果を得ることができます。
• 光パラメーターの調整結果を生成する前に、ユーザーは希望する照明効果を得るために、光の強さや方向などのパラメーターを調整することができます。
• 試みるユーザーは異なる照明条件やパラメータ設定を何度も試して、最も満足のいく照明効果を見つけることができます。

SynthLightは、写真の照明効果を簡単に調整できる、強力なポートレートリライティングツールです。簡単な操作でリアルな照明効果を生成し、写真をより鮮やかに仕上げることができます。