HelloMeme：ローカルの忠実度の高い表現アクション一貫性のある画像やビデオを生成、Runway Act oneオープンソースピンポン！

はじめに

HelloMemeはHelloVision社によって開発されたオープンソースプロジェクトで、Spatial Knitting Attentionsを統合して拡散モデルに高レベルかつ高忠実度の条件を埋め込むことにより、高品質の画像や動画を生成する。HelloMemeは、画像生成、動画生成、Gradioとの統合など、様々な機能モジュールを提供しています。 ComfyUI この統合は、さまざまな実験や用途に使いやすい。

関連記事

LivePortrait：静止画や動画からダイナミックなポートレートを生成するアニメーションツール(オープンソース)

ConsisID：キャラクタ一貫性のある映像を生成するポートレート参照マップ、迅速な多端末統合(オープンソース)

Reface：AIを使った顔置換と動画生成で楽しいアニメーション画像を作成（有料）

機能一覧

• 画像生成リファレンス画像とドライバー画像から高画質画像を生成します。
• ビデオ・ジェネレーションリファレンスビデオやドライバービデオを基に、忠実度の高いビデオを作成します。
• グラディオの統合ユーザーとのインタラクションのためのGradioインターフェイスを提供。
• ComfyUIの統合ComfyUI インターフェースをサポートし、ユーザーの操作プロセスを簡素化します。
• 実験モジュール様々な実験やテストを行うための様々な実験コードが含まれています。
• 効率的アルゴリズムVRAM使用量を減らし、世代効率を向上させるためにアルゴリズムを最適化します。

ヘルプの使用

設置プロセス

1. Conda環境の作成::

   conda create -n hellomeme python=3.10.11
conda hellomeme をアクティブにする

2. PyTorchとFFmpegのインストール詳しいインストール方法はPyTorchとFFmpegの公式サイトを参照してください。
3. 依存関係のインストール::

   pip install diffusers transformers einops scipy opencv-python tqdm pillow onnxruntime onnx safetensors accelerate peft

4. クローン倉庫::

   git clone https://github.com/HelloVision/HelloMeme
cd HelloMeme

5. 実行コード::
   • 画像生成： バッシュ
python inference_image.py

   • ビデオ世代： バッシュ
python inference_video.py

6. Gradioアプリケーションのインストール::

   pip install gradio
pip install imageio[ffmpeg］
python app.py

機能 操作の流れ

画像生成

1. 入力画像の準備リファレンス・イメージとドライブ・イメージを用意します。
2. 画像生成スクリプトの実行::

   python inference_image.py --reference_image path/to/reference.jpg --drive_image path/to/drive.jpg

3. 生成された結果を見る生成された画像は指定したディレクトリに保存されます。

ビデオ・ジェネレーション

1. ビデオ入力の準備参考ビデオやドライバーのビデオを用意する。
2. ビデオ生成スクリプトの実行::

   python inference_video.py --reference_video path/to/reference.mp4 --drive_video path/to/drive.mp4

3. 生成された結果を見る生成されたビデオは指定したディレクトリに保存されます。

グラディオ・インターフェースの使用

1. Gradioアプリケーションの起動::

   python app.py

2. ブラウザからのアクセスブラウザを開いて http://localhost:7860グラディオのインターフェイスは、画像やビデオの生成に使用できる。

ComfyUIインターフェースの使用

1. ComfyUIのインストールインストール方法はComfyUIの公式サイトをご参照ください。
2. HelloMemeを実行する::

   python comfyui_hellomeme.py

3. ComfyUIインターフェースによる操作必要に応じて画像またはビデオの生成機能を選択し、参照ファイルとドライバーファイルをアップロードして、生成ボタンをクリックします。

ほら

• 依存バージョンディフューザーのバージョン要件にご注意ください。 ディフューザー=0.31.0.
• VRAMの使用状況ビデオを生成する場合、ドライブビデオが長くなればなるほど、より多くのVRAMが必要になりますので、実際の状況に応じて調整してください。
• モデルダウンロード初回実行時には、すべてのモデルが自動的にダウンロードされるため、時間がかかる場合があります。