騰訊宏源動画モデルインターフェイスを使用したDifyの動画生成ワークフロー

本論文では、Dify v0.12.1バージョンを使用し、主にDifyワークフローのHTTPノードを通じて、siliconflow tencent/HunyuanVideoインターフェイスを呼び出し、テキストを通じてビデオの具体的な実装を生成するために紹介します。その中で、DifyとHTTPサービスはSealos Cloudプラットフォームの上に配置されています。

フンユアンビデオ テンセントが発表したオープンソースの動画生成ベースモデルで、130億以上のパラメータを持ち、現在最大のオープンソース動画生成モデルである。このモデルは、統一された画像と動画生成アーキテクチャを採用し、データの照合、画像と動画の共同モデルトレーニング、効率的なインフラストラクチャなどの主要技術を統合している。このモデルは、マルチモーダル・マクロ言語モデルをテキスト・エンコーダとして使用し、3D VAEによる空間・時間圧縮を実行し、キュー・ワードの書き換えを提供する。専門的な人間による評価結果によると、HunyuanVideoは、テキストアライメント、モーション品質、ビジュアル品質の面で、既存の最先端モデルを凌駕している。

I.フンユアン・ビデオ・インターフェイス

1.ヴィンセンティアン・ビデオを作成する

プロンプトを入力してビデオを生成し、インターフェイスはユーザーの現在の要求によって生成されたrequestIdを返し、ユーザーはステータスインターフェイスをポーリングして特定のビデオリンクを取得する必要があり、生成された結果は10分以内に有効であり、時間内にビデオリンクを取ってください。以下のように：

インポートリクエスト
url = "https://api.siliconflow.cn/v1/video/submit"
ペイロード = {
"model": "tencent/HunyuanVideo"、
「prompt": "", "seed": 123
「シード": 123
}
ヘッダー = {
"Authorisation": "Bearer ", "Content-Type".
"Content-Type": "application/json".
}
response = requests.request("POST", url, json=payload, headers=headers)
print(response.text)

2.ビデオ生成リンクを取得する

以下のようなユーザー作成ビデオを入手する：

インポートリクエスト
url = "https://api.siliconflow.cn/v1/video/status"
payload = {"requestId": ""}。
ヘッダー = {

"Content-Type": "application/json"
}
response = requests.request("POST", url, json=payload, headers=headers)
print(response.text)

Hunyuanビデオインターフェイスのカプセル化

ビデオを生成するためのテキストはまだ比較的長いので、時間の設計では、通常のサプライヤーは、2つのインターフェイスを持つことになり、1つのインターフェイスは、この要求requestIdを取得することです、別のインターフェイスは、ビデオの生成モデルのステータスを決定するrequestIdに応じて、ビデオのURLの戻り値の前に、ビデオの生成が完了した！したがって、DifyワークフローのHTTPノードを直接使って、siliconflowの公式インターフェースを呼び出すことはできませんが、再度HunyuanVideoインターフェースをカプセル化する必要があります。具体的なHunyuanVideoインターフェイスのパッケージも非常に簡単です、Flaskサービスを開始することです、ビジネスロジックによると、パッケージ化する。

以下のようにrequirements.txtコマンドを生成する：

pip freeze > requirements.txt

以下のように、ミラーコマンドとしてパッケージングする：

docker build -t 1000sprites/hunyuanvideo:v1 .

特記事項：タグにdockerhubリポジトリのユーザー名（1000spritesは私自身に対応して記入する必要がある）がない場合、Dockerは画像をアップロードしてエラー:denied:リソースへの要求されたアクセスが拒否されたことを報告する。

生成された画像1000sprites/hunyuanvideo:v1を以下のようにパッケージ化する：

Push to Hubをクリックすると、以下のようにdockerhubのリポジトリにアップロードされます：

dockerhub リポジトリにアップロードされたイメージはデフォルトでは非公開なので、以下のように公開に設定する必要がある：

シーロス、HunyuanVideoサービスを展開

下図のように「アプリケーション管理」をクリックする：

特にミラー名はスペルを間違えないように。ミラーは以下のようにこのアドレスから引き出されるからだ：

アプリケーションのSTATUSがPendingからRunningに変わると、アプリケーションが正常に起動したことを示します。STATUSがRunningの場合、外部ネットワークアドレスに直接アクセスできます。問題が発生した場合は、以下のようにPodログを確認してください：

III.Difyビデオ生成ワークフロー

書誌

[1] 動画生成オンライン体験：https://cloud.siliconflow.cn/playground/text-to-video

[2] Pythonアプリのクイックインストール： https://sealos.run/docs/examples/programming-languages/Quick Pythonアプリのインストール

[3] https://hub.docker.com/