Flux de production vidéo dans Dify à l'aide de l'interface du modèle HunyuanVideo de Tencent

Cet article utilise la version 0.12.1 de Dify, qui introduit principalement le nœud HTTP dans le flux de travail de Dify, pour appeler l'interface siliconflow tencent/HunyuanVideo, à travers le texte pour générer la mise en œuvre spécifique de la vidéo. Les services Dify et HTTP sont déployés sur la plateforme Sealos Cloud.

HunyuanVidéo Il s'agit d'un modèle de base de génération vidéo à source ouverte lancé par Tencent, avec plus de 13 milliards de paramètres, qui est actuellement le plus grand modèle de génération vidéo à source ouverte. Le modèle adopte une architecture unifiée de génération d'images et de vidéos, intégrant des technologies clés telles que la collecte de données, la formation conjointe de modèles image-vidéo et une infrastructure efficace. Le modèle utilise un modèle de macrolangage multimodal comme encodeur de texte, effectue une compression spatio-temporelle via la VAE 3D et fournit une réécriture des mots repères. Selon les résultats de l'évaluation manuelle professionnelle, HunyuanVideo surpasse les modèles de pointe existants en termes d'alignement de texte, de qualité de mouvement et de qualité visuelle.

 

I. HunyuanInterface vidéo

1. créer une vidéo vincentienne

Générer une vidéo en saisissant une invite, l'interface renvoie le requestId généré par la demande actuelle de l'utilisateur, l'utilisateur doit interroger l'interface d'état pour obtenir le lien vidéo spécifique, le résultat généré est valable dans les 10 minutes, veuillez prendre le lien vidéo à temps. Comme le montre le schéma ci-dessous :

import requests
url = "https://api.siliconflow.cn/v1/video/submit"
payload = {
"model": "tencent/HunyuanVideo",
"prompt": "<string>",
"seed": 123
}
headers = {
"Authorization": "Bearer <token>",
"Content-Type": "application/json"
}
response = requests.request("POST", url, json=payload, headers=headers)
print(response.text)

 

2) Obtenir le lien de génération de la vidéo

Obtenez la vidéo générée par l'utilisateur comme indiqué ci-dessous :

import requests
url = "https://api.siliconflow.cn/v1/video/status"
payload = {"requestId": "<string>"}
headers = {
"Authorization": "Bearer <token>",
"Content-Type": "application/json"
}
response = requests.request("POST", url, json=payload, headers=headers)
print(response.text)

 

Encapsulation de l'interface vidéo Hunyuan

Parce que le temps de génération du texte vidéo est encore relativement long, les fournisseurs ont généralement deux interfaces dans la conception du temps, une interface pour obtenir cette demande requestId, une autre interface selon requestId pour déterminer le modèle de génération vidéo Status, et ainsi de suite, la génération vidéo est terminée, avant le retour de l'URL de la vidéo. Par conséquent, vous ne pouvez pas utiliser directement le nœud HTTP dans le flux de travail Dify pour appeler l'interface officielle de Siliconflow, mais vous devez encapsuler à nouveau l'interface HunyuanVideo. Le paquetage spécifique de l'interface HunyuanVideo est également très simple : il suffit de lancer un service Flask, en fonction de la logique commerciale, pour le paquetage.

 

 

Générer la commande requirements.txt comme indiqué ci-dessous :

pip freeze > requirements.txt

Emballage en tant que commande miroir, comme indiqué ci-dessous :

docker build -t 1000sprites/hunyuanvideo:v1 .

Note spéciale : Si le tag n'a pas de nom d'utilisateur pour le dépôt dockerhub (1000sprites doit être rempli correspondant au mien), alors Docker télécharge l'image pour rapporter une erreur :denied : requested access to the resource is denied.

 

Empaquetez l'image générée 1000sprites/hunyuanvideo:v1 comme suit :

 

Cliquez sur Push to Hub pour télécharger vers le dépôt dockerhub comme indiqué ci-dessous :

 

Les images téléchargées sur le dépôt dockerhub étant privées par défaut, elles doivent être définies comme publiques, comme indiqué ci-dessous :

 

Déploiement du service vidéo Hunyuan par Sealos

Cliquez sur "Gestion des applications" comme indiqué ci-dessous :

 

Configurez-le comme il se doit, en particulier le nom du miroir ne doit pas être mal orthographié car il tirera des miroirs à partir de cette adresse, comme indiqué ci-dessous :

 

Cliquez sur "Gestion des applications" pour afficher l'état de l'application. Lorsque l'état de l'application passe de "En attente" à "En cours", cela signifie que l'application a été démarrée avec succès. Lorsque l'ÉTAT est en cours d'exécution, vous pouvez accéder directement à l'adresse réseau externe. Si vous rencontrez des problèmes, vérifiez les journaux Pod comme indiqué ci-dessous :

 

Flux de travail de la génération de vidéos Dify

 

 

bibliographie

[1] Génération de vidéos en ligne : https://cloud.siliconflow.cn/playground/text-to-video

[2] Installation rapide des applications Python : https://sealos.run/docs/examples/programming-languages/Quick installation des applications Python

[3] https://hub.docker.com/