MatAnyone: ターゲットポートレート指定ビデオ抽出、ターゲットポートレートビデオ生成オープンソースツール

はじめに

MatAnyoneは、シンガポールの南洋理工大学S-Labの研究チームによって開発され、GitHubで公開されているビデオキーイングに特化したオープンソースプロジェクトです。一貫したメモリ伝搬技術によって安定した効率的なビデオ処理能力をユーザーに提供し、特に複雑な背景におけるターゲット固有のキーイングタスクを処理することに優れている。Peiqingヤンなどの研究者によって2025年に開始されたこのプロジェクトは、映画やテレビのポストプロダクション、仮想背景の置き換えなど、高品質のビデオセグメンテーションを必要とするシナリオのための高度なコンピュータビジョンアルゴリズムを組み合わせたものである。このプロジェクトは学術界やオープンソースコミュニティで注目を集めており、NTU S-Lab Licence 1.0の下で公開されている。

機能一覧

• ターゲット指定ビデオ・キーイング特定のオブジェクトのユーザー指定キーイングをサポートし、人物やその他の動的ターゲットのビデオセグメンテーションに適しています。
• コヒーレント・メモリー伝送地域適応型メモリフュージョンにより、ビデオフレーム間のコヒーレントなキーイング結果を確保。
• 高品質の境界処理プロフェッショナルなビデオ編集のために、オブジェクトのエッジの微細なディテールを保持し、キーイングの精度を向上させます。
• 1フレーム目のマスク予測最初のフレームのセグメンテーションマスクに基づいて、後続フレームのアルファマットを予測します。
• オープンソース・サポート完全なコードとドキュメントが提供され、ユーザー定義の最適化や二次開発が可能です。
• クロスプラットフォームの互換性複数のオペレーティングシステム上で動作し、開発者が既存のワークフローに統合するのが簡単です。

ヘルプの使用

設置プロセス

MatAnyoneはGitHubのオープンソースプロジェクトで、基本的なPythonプログラミング環境とGitツールが必要です。以下はMatAnyoneをインストールする手順です：

1.環境準備

• オペレーティングシステムWindows、Linux、macOSに対応しています。
• ソフトウェア依存::
  • Python 3.8以上。
  • Git（GitHubからコードをクローンするため）。
  • Conda（仮想環境の作成に推奨）。
• ハードウェア要件GPU（例えばNVIDIAのグラフィックカード）は推論プロセスを高速化するために推奨されます。

2.コードのダウンロード

ターミナルまたはコマンドラインを開き、以下のコマンドを入力して MatAnyone リポジトリをクローンします：

git clone https://github.com/pq-yang/MatAnyone.git
cd MatAnyone

これでプロジェクト・ファイルがローカル・ディレクトリにダウンロードされる。

3.仮想環境の構築

Condaを使用して、独立したPython環境を作成・有効化し、依存関係の衝突を回避する：

conda create -n matanyone python=3.8 -y
conda activate matanyone

4.依存関係のインストール

プロジェクトのルート・ディレクトリで以下のコマンドを実行し、必要なPythonライブラリをインストールする：

pip install -r requirements.txt

依存関係 requirements.txt PyTorch、OpenCVなど、プロジェクトに必要なライブラリはすべて含まれています。ネットワークの問題が発生した場合は、pipのソースを変更してみてください。 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt).

5.訓練済みモデルのダウンロード

MatAnyone を実行するには、事前にトレーニングされたモデルファイルが必要です。作者は，プロジェクトのページ（通常は README.md ）にモデルをダウンロードするためのリンクを提供しています． models/ (カタログ）。具体的なステップ

• GitHubのプロジェクトページ（https://github.com/pq-yang/MatAnyone）をご覧ください。
• READMEにあるモデルのダウンロードリンクを見つけてください（Google DriveまたはHugging Faceを指しているかもしれません）。
• モデルファイルをダウンロードし、解凍して MatAnyone/models/ カタログ

6.インストールの検証

以下のコマンドを実行し、環境が正常に設定されているかどうかを確認する：

python test.py

エラーが報告されなければ、インストールは完了し、使用を開始できます。

主な機能

MatAnyoneの中心的な機能は、ターゲット指定のビデオキーイングです：

機能1：ターゲット・ビデオ・キーイング

1. ビデオ入力の準備::
   • 処理するビデオファイルを配置する（たとえば input_video.mp4)の下のプロジェクト・ディレクトリに置く。 data/ フォルダ（このフォルダが存在しない場合は手動で作成できます）。
   • ビデオフォーマットがサポートされていること（MP4、AVIなど）、解像度が適度であることを確認してください（高すぎると、より多くのコンピューティングリソースが必要になる場合があります）。
2. 最初のフレームマスクを生成する::
   • Photoshopやオープンソースのセグメンテーションツールなどの外部ツールを使用して、動画の最初のフレームのターゲットオブジェクトのセグメンテーションマスクを生成する（PNG形式で、ターゲット領域は白、背景は黒）。
   • マスクファイル名 mask_frame1.pngに入れる。 data/masks/ フォルダー
3. キーイングコマンドを実行する::
   ターミナルでプロジェクト・ディレクトリに移動し、以下のコマンドを実行する：

   python inference.py --video data/input_video.mp4 --mask data/masks/mask_frame1.png --output output/
   

   • --video 入力ビデオパスを指定する。
   • --mask 最初のフレームマスクパスを指定する。
   • --output 出力フォルダを指定し、結果は透明な背景を持つビデオファイルとして保存されます。
4. 結果を見る::
   • 処理が完了したら output/ フォルダに保存される場合、生成されたキーイング・ビデオはフレーム・シーケンスまたはフル・ビデオとして保存される（設定による）。

機能2：一貫した記憶の普及

• 理論MatAnyoneは、前のフレームの特徴を記憶し、それを現在のフレームの処理に融合させることで、キーイング結果が時間次元で首尾一貫していることを保証します。
• リグこの機能は推論プロセスに組み込まれている。最初のフレームマスクが提供されている限り、プログラムは自動的にフレームごとにメモリを伝播する。
• 最適化のヒント::
  • 映像に急激な照明の変化がある場合は、コンフィギュレーションファイルのパラメータを調整してください。 memory_fusion_rate)、パラメーターの説明は config.yaml ドキュメンテーション
  • 調整コマンドの例：

    python inference.py --video data/input_video.mp4 --mask data/masks/mask_frame1.png --config config.yaml --output output/
    

機能3：高品質の境界処理

• 有効化方法デフォルトで有効になっています。プログラムは自動的にエッジの詳細を最適化します。
• 効果を検証する背景が複雑な映像（例えば、風に揺れるキャラクターの髪など）を処理する場合は、出力映像の境界線が自然かどうかを観察してください。
• エンハンスメント効果もし満足のいく結果が得られない場合は、次のコマンドを追加して推論の解像度を上げてみてください。 --resolution 1080 パラメーター

  python inference.py --video data/input_video.mp4 --mask data/masks/mask_frame1.png --resolution 1080 --output output/
  

使用上の注意

• コンピューティングリソースGPU環境では処理が速くなります。 CPUを使用する場合は、待ち時間を短縮するために動画の長さを短く（30秒以下）することをお勧めします。
• 1フレーム目のマスク品質マスクの精度は後続フレームの結果に直接影響するので、特にエッジ領域では慎重にプロットすることをお勧めします。
• 文書参照問題が発生した場合は README.md または、peiqingyang99@outlook.com までお問い合わせください。
• 地域支援GitHubのIssuesページには、ユーザーからのフィードバックや解決策が掲載されています。

以上の手順で、ユーザーはMatAnyoneをすぐに使い始めることができ、インストールからビデオキーイングまでの全プロセスを完了することができます。MatAnyoneは安定した技術サポートを提供します。