Hallo2: リップシンク/表情シンクされたポートレートビデオのオーディオ駆動型生成 (Windows用ワンクリックインストール)

はじめに

Hallo2は復旦大学と百度が共同開発したオープンソースプロジェクトで、音声駆動型の生成により高解像度のポートレートアニメーションを生成する。このプロジェクトでは、先進的なGenerative Adversarial Networks (GAN)と時間的アライメント技術を利用して、4K解像度と最大1時間のビデオ生成を実現している。Hallo2はまた、生成コンテンツの多様性と制御性を高めるために、テキストプロンプトもサポートしている。

機能一覧

• オーディオ・ドリブン・アニメーション生成音声ファイルを入力して、対応する似顔絵アニメーションを生成します。
• 高解像度対応鮮明な画質を保証する4K解像度のビデオ生成に対応。
• 長時間のビデオ生成最長1時間のビデオコンテンツを作成できます。
• テキスト・アラートの強化意味的なテキストラベルを通して、生成された似顔絵の表情や動作を制御する。
• オープンソース二次開発を容易にするために、完全なソースコードと事前にトレーニングされたモデルが提供されます。
• マルチプラットフォーム対応Windows、Linuxなどのマルチプラットフォームでの動作に対応。

ヘルプの使用

設置プロセス

1. システム要件::
   • オペレーティングシステム：Ubuntu 20.04/22.04
   • GPU: CUDA 11.8対応のグラフィックカード（A100など）
2. 仮想環境の構築::

   conda create -n hallo python=3.10
   condaはhalloをアクティブにする
   

3. 依存関係のインストール::

   pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 --index-url https://download.pytorch.org/whl/cu118
   pip install -r requirements.txt
   sudo apt-get install ffmpeg
   

4. 訓練済みモデルのダウンロード::

   git lfs install
   git clone https://huggingface.co/fudan-generative-ai/hallo2 pretrained_models
   

使用プロセス

1. データ入力の準備::
   • 必要な事前学習済みモデルをダウンロードして準備する。
   • ソース・イメージとドライバー・オーディオ・ファイルを準備する。
2. 推論スクリプトの実行::

   python scripts/inference.py --source_image path/to/image --driving_audio path/to/audio
   

3. 生成された結果を見る::
   • 生成されたビデオファイルは、指定された出力ディレクトリに保存され、任意のビデオプレーヤーを使用して表示することができます。

詳細な手順

1. ダウンロードコード::

   git clone https://github.com/fudan-generative-vision/hallo2
   cd hallo2
   

2. 仮想環境の作成と起動::

   conda create -n hallo python=3.10
   condaはhalloをアクティブにする
   

3. 必要なPythonパッケージをインストールする::

   pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 --index-url https://download.pytorch.org/whl/cu118
   pip install -r requirements.txt
   

4. ffmpegをインストールする::

   sudo apt-get install ffmpeg
   

5. 訓練済みモデルのダウンロード::

   git lfs install
   git clone https://huggingface.co/fudan-generative-ai/hallo2 pretrained_models
   

6. 推論スクリプトの実行::

   python scripts/inference.py --source_image path/to/image --driving_audio path/to/audio
   

7. 生成された結果を見る::
   • 生成されたビデオファイルは、指定された出力ディレクトリに保存され、任意のビデオプレーヤーを使用して表示することができます。

Hallo2: Windowsワンクリックインストーラ

このコンテンツは作者によって非表示にされています。コンテンツを表示するには認証コードを入力してください。

キャプチャ

このサイトWeChat公開番号に注意してください、返信"CAPTCHA、チャレンジ・レスポンス・テストの一種（コンピューティング）"、認証コードを取得します。WeChatで"チーフAIシェアリングサークル「またはルックスAI"またはWeChatは、QRコードの右側をスキャンすると、このサイトWeChatの公開番号に注意を払うことができます。

AIを始めるための素人ガイド

AIツールの活用方法を、低コスト・ゼロベースから学ぶことができます。AIはオフィスソフトと同様、誰にとっても必須のスキルです。 AIをマスターすれば、就職活動で有利になり、今後の仕事や勉強の労力も半減します。

詳細を見る