Avatarify Python：アバターを使ったビデオ会議

はじめに

Avatarify Pythonは、First Order Motion Model技術に基づいたオープンソースのAIビデオ会議ツールで、ユーザーの表情や動きをリアルタイムで任意のアバターにマッピングします。Zoom、Skype、Teamsなど様々なビデオ会議ソフトウェアでサポートされており、ユーザーは実際のカメラ映像の代わりにアバターを使ってビデオ通話を行うことができる。このツールはプリセットの有名人アバターの使用をサポートするだけでなく、ユーザーがカスタムアバターを追加したり、AIが生成したバーチャルキャラクターのアバターを使用することもできる。仮想ウェブカメラはシステムの実行時に作成され、カスタムビデオ入力ソースをサポートするあらゆるアプリケーションで使用できる。

機能一覧

• バーチャルアバターにマッピングされたリアルタイムの表情と動き
• プリセットの有名人アバターやカスタムアバターを幅広くサポート
• StyleGANが生成したAIアバターアバターの統合
• カメラ画面のズームと位置調整機能を提供
• 位置変更のためのアバタープレビューオーバーレイをサポート
• 異なるアバターを素早く切り替える機能（ショートカットキー1～9）
• プレビューと出力画面のミラーリングに対応
• アライメントを補助する顔特徴点表示機能を提供
• すべての主要ビデオ会議ソフトウェアに対応
• ローカル操作またはリモートGPUアクセラレーションの選択

ヘルプの使用

システム要件

1. 基本的な構成要件：
   • ローカル操作にはNVIDIAグラフィックカード（推奨性能）が必要です：
     • GeForce GTX 1080 Ti: 33 fps
     • GeForce GTX 1070: 15 fps
     • GeForce GTX 950：9フレーム/秒。
   • もしNVIDIAのグラフィックカードを持っていないなら、それも選択肢の一つだ：
     • Google Colabで遠隔操作
     • GPUでリモートサーバーを使用する
     • CPUで動作（低パフォーマンス、<1fps）

インストール手順

1. Windowsシステムのインストール：
   • Miniconda Python 3.8のインストール
   • Gitのインストール
   • Anaconda Prompt を開いて実行する：

     git clone https://github.com/alievk/avatarify-python.git
     cd avatarify-python
     scriptsinstall_windows.bat
     

   • avatarify-python ディレクトリにモデルの重みファイルをダウンロードします。
   • OBS StudioとVirtualCamプラグインのインストール
2. Linuxシステムのインストール：

   git clone https://github.com/alievk/avatarify-python.git
   cd avatarify-python
   bash scripts/install.sh
   

3. マックシステムのインストール：
   • Miniconda Python 3.7のインストール
   • CamTwistのインストール
   • インストールスクリプトを実行する：

     git clone https://github.com/alievk/avatarify-python.git
     cd avatarify-python
     bash scripts/install_mac.sh
     

使用ガイドライン

1. 手続きを開始する：
   • ウィンドウズ：実行ラン_ウィンドウズ.バット
   • Linux: 実行中バッシュ run.sh
   • Mac: Google Colabまたはリモートサーバーの手順に従ってください。
2. 運用管理：
   • 数字キー1～9：最初の9つのアバターを素早く切り替える
   • Qキー：AIが生成するランダムアバターを有効にする
   • 0キー：アバターの表示/非表示を切り替える
   • A/Dキー：前後のアバターを切り替える
   • W/Sキー：カメラ画面の拡大/縮小
   • U/H/J/Kキー：上/左/下/右でカメラ画面を移動
   • Z/Cキー：アバターオーバーレイの透明度を調整する
   • Xキー：基準フレームをリセット
   • Fキー：参照フレーム検索モードの切り替え
   • Oキー：顔の特徴点の表示/非表示
   • ESCキー：プログラムを終了する
3. アバター運転のヒント
   • カメラフレーム内の顔の位置とプロポーションを、ターゲットアバターにできるだけ近づける。
   • 透明オーバーレイ機能（Z/Cキー）や顔特徴点表示（Oキー）で表情を合わせる
   • Fキーを使用すると、ソフトウェアがより良い参照フレームを自動的に見つけることができます。
4. ビデオ会議ソフトウェアで使用される：
   • ズーム：設定 -> ビデオ -> バーチャルカメラの選択
   • Skype：設定 -> 音声とビデオ -> バーチャルカメラの選択
   • チーム：プロフィール画像 -> 設定 -> デバイス -> バーチャルカメラの選択
   • Slack: 通話をする -> ブラウザによるカメラの使用を許可する -> 設定 -> バーチャルカメラを選択する