AIパーソナル・ラーニング
と実践的なガイダンス
豆包Marscode1

SkyReels-V1: 高品質のヒューマンアクション動画を生成するオープンソースビデオモデル

はじめに

SkyReels-V1は、SkyworkAIチームによって開発されたオープンソースプロジェクトで、人間中心の高品質なビデオコンテンツの生成に焦点を当てています。このプロジェクトは フンユアンビデオ Sky2Vモデルは、何千万もの高品質な映画やテレビのクリップを微調整して作成された、世界初の基本的な人間のアクションビデオモデルです。SkyReels-V1はオープンソースであるため、同クラスの他のツールとは一線を画し、クリエイターや教育者、AI研究者が短いスケッチやアニメーション、技術探索に使用するのに適しています。プロジェクトはGitHubでホストされている。プロジェクトはGitHubでホストされており、ユーザーがすぐに始められるように、詳細なコード、モデルの重み、ドキュメントを提供しています。

SkyReels-V1:生成高品质人体动作视频的开源视频模型-1


 

機能一覧

  • テキストからビデオへ(T2V)サングラスをかけた猫がプールのライフガードをしている」というような、ユーザーが入力したテキストに基づいたアニメーション動画を生成します。
  • イメージ・トゥ・ビデオ(I2V)静止画を動画に変換し、元の画像の特徴を保ち、自然な動きを加えます。
  • 高度なフェイシャル・アニメーション33の微妙な表情と400以上の動きの組み合わせをサポートし、人間の感情やボディランゲージを正確に表現します。
  • シネマクオリティの映像プロフェッショナルな構図、照明効果、カメラセンスを提供するために、高品質の映画やテレビのデータを使ったトレーニング。
  • 効率的な推論フレームワークSkyReelsInferによる高速ビデオ生成、マルチGPU並列コンピューティングによる生成効率の向上。
  • 柔軟なパラメータ調整: ビデオ解像度(544x960など)、フレームレート(97fpsなど)、ガイドスケールなどのユーザー定義可能なパラメーター。
  • オープンソース・モデルの重み付け:: 開発者が直接ダウンロードし、二次開発できるように、事前に訓練されたモデルを提供する。

 

ヘルプの使用

設置プロセス

SkyReels-V1はPythonベースのツールで、いくつかのハードウェアとソフトウェア環境のサポートが必要です。以下はインストールと使用方法の詳細です:

環境要件

  • ソフトウェアCUDAを確実にサポートするために、RTX 4090またはA800などのNVIDIA GPUを搭載したコンピュータを使用することをお勧めします。
  • オペレーティングシステムWindows、LinuxまたはmacOS(後者は追加設定が必要な場合があります)。
  • ソフトウェア依存Python 3.10+、CUDA 12.2、PyTorch、Git。

インストール手順

  1. クローン倉庫
    ターミナルを開き、以下のコマンドを入力してSkyReels-V1のプロジェクトコードをダウンロードします:
git clone https://github.com/SkyworkAI/SkyReels-V1.git
cd SkyReels-V1

これでローカルにプロジェクトフォルダーが作成される。

  1. 仮想環境の構築(任意だが推奨)
    依存関係の衝突を避けるため、仮想環境を推奨する:
conda create -n skyreels python=3.10
conda activate skyreels
  1. 依存関係のインストール
    このプロジェクトは requirements.txt ファイルを開き、以下のコマンドを実行して必要なライブラリをインストールする:
pip install -r requirements.txt

インストールが完了するまで数分かかる場合があります。

  1. モデルウェイトのダウンロード
    SkyReels-V1のモデルウェイトは、Hugging Faceでホストされており、ローカルに手動でダウンロードするか、コードから直接パスを指定してダウンロードすることができます。アクセス ハグする顔のモデルページダウンロード SkyReels-V1-Hunyuan-T2V フォルダーをプロジェクト・ディレクトリー(例えば /path/to/SkyReels-V1/models).
  2. インストールの確認
    サンプル・コマンドを実行し、環境が機能しているかどうかをテストする:
python3 video_generate.py --model_id ./models/SkyReels-V1-Hunyuan-T2V --prompt "FPS-24, A dog running in a park"

エラーが報告されず、動画が生成されれば、インストールは成功です。

主な機能の操作

テキストからビデオへ(T2V)

  1. キューの準備
    ビデオの内容を説明するキューを書く。例えば、"FPS-24 "で始まる必要がある:
FPS-24, A cat wearing sunglasses and working as a lifeguard at a pool
  1. generateコマンドを実行する
    ターミナルで以下のコマンドを入力する:
python3 video_generate.py 
--model_id /path/to/SkyReels-V1-Hunyuan-T2V 
--guidance_scale 6.0 
--height 544 
--width 960 
--num_frames 97 
--prompt "FPS-24, A cat wearing sunglasses and working as a lifeguard at a pool" 
--embedded_guidance_scale 1.0 
--quant --offload --high_cpu_memory 
--gpu_num 1
  • --guidance_scaleテキストステアリングの強さを調節します。推奨は6.0です。
  • --height 歌で応える --widthデフォルトは 544x960 です。
  • --num_framesフレームを生成し、97フレームは約4秒のビデオ(24FPS)に相当します。
  • --quantそして--offloadローエンドデバイス向けにメモリ使用量を最適化。
  1. 出力結果
    生成されたビデオは results/skyreels フォルダで、ファイル名はキューワード+シード値。 FPS-24_A_cat_wearing_sunglasses_42_0.mp4.

イメージ・トゥ・ビデオ(I2V)

  1. 画像の準備
    静止画(PNGやJPGなど)をアップロードし、鮮明であることを確認してください。
  2. コマンド実行
    増加 --task_type i2v 歌で応える --image パラメーターがある:
python3 video_generate.py 
--model_id /path/to/SkyReels-V1-Hunyuan-T2V 
--task_type i2v 
--guidance_scale 6.0 
--height 544 
--width 960 
--num_frames 97 
--prompt "FPS-24, A person dancing" 
--image ./input/cat_photo.png 
--embedded_guidance_scale 1.0
  1. 結果を見る
    出力されたビデオは、画像に基づいたダイナミックコンテンツを生成する。 results/skyreels フォルダー

パラメータを調整して結果を最適化する

  • フレームレートと持続時間:: 変更 --num_frames 歌で応える --fps(デフォルト24)、または10秒ビデオの場合は240fps。
  • 画質:: 増加 --num_inference_steps(デフォルトは30)、ディテールは向上するが、時間がかかる。
  • マルチGPUサポート設定 --gpu_num 処理を高速化するために利用可能なGPUの数に対して。

注目の機能操作

高度なフェイシャル・アニメーション

SkyReels-V1の目玉は、フェイシャル・アニメーション機能です。キューが特定の表情(例えば「驚いた」「微笑んだ」など)を表すと、モデルが自動的に33種類の表情を自然な動きで生成します。例えば

FPS-24, カフェで談笑する女性

一度生成された映像のキャラクターは、実写に匹敵するディテールでリアルな笑顔や体の微細な動きを見せる。

シネマ・クオリティのグラフィック

追加設定は不要で、SkyReels-V1はデフォルトでプロフェッショナルなライティングと構図でビデオを出力します。シーンの説明をキューに追加すれば (例: "夜のネオンの下で") より映画的なルックになります。

ほら

  • ハードウェア制限GPUメモリが不足している場合(例えば、12GB未満)、GPUメモリを有効にすることをお勧めします。 --quant 歌で応える --offloadまたは解像度を512x320に下げる。
  • キュー・ワード・テクニック曖昧な表現は避け、簡潔で具体的な説明が最も効果的です。
  • 地域支援GitHub Issuesページでフィードバックを提出したり、コミュニティのディスカッションをチェックしたりできます。

以上の手順で、ユーザーはSkyReels-V1を簡単に使い始めることができ、短いスケッチであれ、アニメーションの実験であれ、高品質のビデオコンテンツを生成することができます。

無断転載を禁じます:チーフAIシェアリングサークル " SkyReels-V1: 高品質のヒューマンアクション動画を生成するオープンソースビデオモデル
ja日本語