Ruyi-Models: レンズ制御とモーション振幅制御をサポートする、画像からビデオへのオープンソースモデルを生成します。

はじめに

Ruyi-Modelsは、画像から高品質のビデオを生成するために設計されたオープンソースプロジェクトです。IamCreateAIチームによって開発されたこのプロジェクトは、解像度768、毎秒24フレーム、合計5秒、120フレームの映画品質のビデオ生成をサポートしています。 Ruyi-Modelsはショットコントロールとモーションコントロールをサポートし、RTX 3090またはRTX 4090グラフィックカードを使用して、解像度512、120フレーム（または解像度768、約72フレーム）のロスレスビデオを生成することができます。このプロジェクトは、詳細なインストールと使用方法を提供します。このプロジェクトでは、さまざまなユーザーのニーズに合わせて、詳細なインストール方法と使用方法を説明しています。

公式サイト：https://www.iamcreate.ai/

機能一覧

• イメージ・トゥ・ビデオ生成：高画質のシネマクオリティービデオを生成します。
• レンズ制御：レンズの左右、上下、静止制御をサポート。
• 運動振幅制御：異なる振幅の運動制御をサポート。
• GPUメモリの最適化：さまざまなユーザーのニーズに対応するため、さまざまなGPUメモリ最適化オプションを提供します。
• 多様な取り付けオプション: 経由での取り付けをサポート ComfyUI マネージャーと手動インストール。
• モデルダウンロード：自動および手動モデルダウンロードをサポートします。

ヘルプの使用

設置プロセス

1. リポジトリをクローンし、必要な依存関係をインストールします：

   git clone https://github.com/IamCreateAI/Ruyi-Models
   cd 如意モデル
   pip install -r requirements.txt
   

2. ComfyUIユーザーの方へ：
   • 方法1：ComfyUI Managerを介したインストール。

ComfyUIを起動し、Managerを開き、Custom Nodes Managerを選択し、"Ruyi "を検索します。検索結果でComfyUI-Ruyiを選択し（下のスクリーンショットのように）、"Install "ボタンをクリックしてインストールします。

最後に、「ComfyUI-VideoHelperSuite」を検索し、インストールしてください。

1. • 方法2：手動インストール：

     cd ComfyUI/custom_nodes/
     git clone https://github.com/IamCreateAI/Ruyi-Models.git
     pip install -r 如意モデル/requirements.txt
     

2. ビデオ出力を表示するためにComfyUI-VideoHelperSuiteをインストールします：

   cd ComfyUI/custom_nodes/
   git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git
   pip install -r ComfyUI-VideoHelperSuite/requirements.txt
   

3. Windowsユーザー向け：
   • ComfyUI_windows_portable_nvidiaディストリビューションを使用してください：

     cd ComfyUI_windows_portable/ComfyUI/custom_nodes
     git clone https://github.com/IamCreateAI/Ruyi-Models.git
     ...\...\python_embeddedpython.exe -m pip install -r Ruyi-Models/requirements.txt
     

使用方法

1. モデルをダウンロードし、指定したパスに保存します：
   • 例えば、Ruyi-Mini-7Bモデルをダウンロードして、それを 如意-モデル/モデル フォルダー
   • ComfyUIユーザーの場合、パスは次のようになります。 ComfyUI/モデル/如意.
2. モデルを実行する：
   • Pythonコードで直接実行：

     python3 predict_i2v.py
     

   • スクリプトはモデルを 如意-モデル/モデル フォルダで 資産 フォルダ内の画像は、ビデオ推論の開始フレームと終了フレームとして使用されます。スクリプトの変数は、入力画像を置き換えたり、ビデオの長さや解像度などのパラメータを設定するために変更することができます。
3. GPUメモリの最適化：
   • 提供 GPU_memory_mode 歌で応える GPU_offload_steps オプションを使用して、さまざまなユーザーのニーズに合わせて GPU メモリの使用量を減らすことができます。より少ないGPUメモリを使用するには、より多くのRAMとより長い生成時間が必要です。

AIを始めるための素人ガイド

AIツールの活用方法を、低コスト・ゼロベースから学ぶことができます。AIはオフィスソフトと同様、誰にとっても必須のスキルです。 AIをマスターすれば、就職活動で有利になり、今後の仕事や勉強の労力も半減します。

詳細を見る