Flujo de trabajo de generación de vídeo en Dify mediante la interfaz del modelo Tencent HunyuanVideo

Este trabajo utiliza Dify v0.12.1 versión, principalmente introduce a través del nodo HTTP en el flujo de trabajo Dify, para llamar siliconflow tencent/HunyuanVideo interfaz, a través del texto para generar la aplicación específica del vídeo. Entre ellos, Dify y los servicios HTTP se despliegan en la parte superior de la plataforma Sealos Cloud.

HunyuanVídeo Se trata de un modelo base de generación de vídeo de código abierto lanzado por Tencent, con más de 13.000 millones de parámetros, que es actualmente el mayor modelo de generación de vídeo de código abierto. El modelo adopta una arquitectura unificada de generación de imagen y vídeo, integrando tecnologías clave como el cotejo de datos, el entrenamiento conjunto de modelos de imagen y vídeo y una infraestructura eficiente. El modelo utiliza un modelo de macrolenguaje multimodal como codificador de texto, realiza la compresión espacio-temporal mediante VAE 3D y proporciona reescritura de palabras clave. Según los resultados de una evaluación humana profesional, HunyuanVideo supera a los modelos más avanzados en alineación de texto, calidad de movimiento y calidad visual.

 

I. HunyuanInterfaz de vídeo

1. Crear un vídeo vicenciano

Genere el vídeo introduciendo el prompt, la interfaz devuelve el requestId generado por la petición actual del usuario, el usuario necesita obtener el enlace de vídeo específico sondeando la interfaz de estado, el resultado generado es válido en 10 minutos, por favor tome el enlace de vídeo a tiempo. Como se muestra a continuación:

import requests
url = "https://api.siliconflow.cn/v1/video/submit"
payload = {
"model": "tencent/HunyuanVideo",
"prompt": "<string>",
"seed": 123
}
headers = {
"Authorization": "Bearer <token>",
"Content-Type": "application/json"
}
response = requests.request("POST", url, json=payload, headers=headers)
print(response.text)

 

2. Obtener el enlace de generación de vídeo

Consigue el vídeo generado por el usuario que se muestra a continuación:

import requests
url = "https://api.siliconflow.cn/v1/video/status"
payload = {"requestId": "<string>"}
headers = {
"Authorization": "Bearer <token>",
"Content-Type": "application/json"
}
response = requests.request("POST", url, json=payload, headers=headers)
print(response.text)

 

HunyuanEncapsulación de interfaz de vídeo

¡Debido a que el texto para generar el vídeo es todavía relativamente largo, por lo que por lo general los proveedores en el diseño de la época tendrá 2 interfaces, una interfaz es para obtener esta solicitud requestId, otra interfaz de acuerdo con requestId para determinar el modelo de generación de vídeo Estado, y así sucesivamente la generación de vídeo es completa, antes de la devolución de la URL de vídeo. por lo tanto, no se puede utilizar Dify directamente! Por lo tanto, no se puede utilizar directamente el nodo HTTP en el flujo de trabajo Dify para llamar a la interfaz oficial de siliconflow, pero es necesario encapsular la interfaz HunyuanVideo de nuevo. Específico HunyuanVideo paquete de interfaz es también muy simple, es iniciar un servicio de Flask, de acuerdo con la lógica de negocio para empaquetar.

 

 

Genere el comando requirements.txt como se muestra a continuación:

pip freeze > requirements.txt

Embalaje como comando espejo, como se muestra a continuación:

docker build -t 1000sprites/hunyuanvideo:v1 .

Nota especial: Si la etiqueta no tiene un nombre de usuario del repositorio dockerhub (1000sprites debe ser llenado correspondiente a la mía), a continuación, Docker carga la imagen para informar de un error :denied: acceso solicitado al recurso es denegado.

 

Empaqueta la imagen generada 1000sprites/hunyuanvideo:v1 como sigue:

 

Haga clic en Push to Hub para subir al repositorio dockerhub como se muestra a continuación:

 

Dado que las imágenes subidas al repositorio dockerhub son privadas por defecto, es necesario establecerlas como públicas, tal y como se muestra a continuación:

 

Sealos despliega el servicio HunyuanVideo

Haga clic en "Gestión de aplicaciones", como se muestra a continuación:

 

Configúrelo como sea necesario, especialmente el nombre de la réplica no debe estar mal escrito, ya que estará sacando réplicas de esta dirección como se muestra a continuación:

 

Haga clic en "Gestión de aplicaciones" para ver, cuando el ESTADO de la aplicación cambia de Pendiente a En ejecución, indica que la aplicación se ha iniciado correctamente. Cuando el ESTADO es En ejecución, puede acceder directamente a la dirección de la red externa. Si tiene problemas, compruebe los registros Pod como se muestra a continuación:

 

III. Flujo de trabajo de generación de vídeo de Dify

 

 

bibliografía

[1] Experiencia en línea de generación de vídeo: https://cloud.siliconflow.cn/playground/text-to-video

[2] Instalación rápida de aplicaciones Python: https://sealos.run/docs/examples/programming-languages/Quick installation of Python Apps

[3] https://hub.docker.com/