Рабочий процесс создания видео в Dify с использованием интерфейса модели Tencent HunyuanVideo

Эта статья использует Dify v0.12.1 версии, в основном представляет через узел HTTP в Dify рабочего процесса, чтобы вызвать siliconflow tencent/HunyuanVideo интерфейс, через текст, чтобы генерировать конкретные реализации видео. Среди них Dify и HTTP-сервисы развернуты на платформе Sealos Cloud.

HunyuanVideo Это базовая модель генерации видео с открытым исходным кодом, запущенная компанией Tencent, с более чем 13 миллиардами параметров, которая на сегодняшний день является крупнейшей моделью генерации видео с открытым исходным кодом. Модель использует единую архитектуру генерации изображений и видео, объединяющую такие ключевые технологии, как сопоставление данных, совместное обучение модели изображения и видео и эффективную инфраструктуру. Модель использует мультимодальную макроязыковую модель в качестве кодировщика текста, выполняет пространственно-временное сжатие с помощью 3D VAE и обеспечивает перезапись подсказок-слов. Согласно результатам профессиональной ручной оценки, HunyuanVideo превосходит существующие современные модели по выравниванию текста, качеству движения и визуальному качеству.

 

И. ХунюаньВидеоинтерфейс

1. Создайте видеоролик о Винсентии

Сгенерировать видео, введя запрос, интерфейс возвращает requestId, сгенерированный текущим запросом пользователя, пользователю необходимо опросить интерфейс статуса, чтобы получить конкретную ссылку на видео, сгенерированный результат действителен в течение 10 минут, пожалуйста, возьмите ссылку на видео вовремя. Как показано ниже:

import requests
url = "https://api.siliconflow.cn/v1/video/submit"
payload = {
"model": "tencent/HunyuanVideo",
"prompt": "<string>",
"seed": 123
}
headers = {
"Authorization": "Bearer <token>",
"Content-Type": "application/json"
}
response = requests.request("POST", url, json=payload, headers=headers)
print(response.text)

 

2. Получите ссылку для создания видео

Получите пользовательское видео, как показано ниже:

import requests
url = "https://api.siliconflow.cn/v1/video/status"
payload = {"requestId": "<string>"}
headers = {
"Authorization": "Bearer <token>",
"Content-Type": "application/json"
}
response = requests.request("POST", url, json=payload, headers=headers)
print(response.text)

 

HunyuanВидеоинтерфейс инкапсуляции

Потому что текст для генерации видео еще относительно долго, поэтому обычно поставщики в дизайн времени будет иметь 2 интерфейса, один интерфейс, чтобы получить этот запрос requestId, другой интерфейс в соответствии с requestId для определения модели генерации видео Статус, и так далее генерация видео завершена, до возвращения видео URL. поэтому вы не можете использовать Dify напрямую! Поэтому вы не можете напрямую использовать узел HTTP в рабочем процессе Dify для вызова официального интерфейса siliconflow, но вам нужно снова инкапсулировать интерфейс HunyuanVideo. Конкретный пакет интерфейса HunyuanVideo также очень прост, это запуск службы Flask, в соответствии с бизнес-логикой, чтобы упаковать.

 

 

Создайте команду requirements.txt, как показано ниже:

pip freeze > requirements.txt

Упаковка как команда зеркала, как показано ниже:

docker build -t 1000sprites/hunyuanvideo:v1 .

Особое замечание: если у тега нет имени пользователя репозитория dockerhub (нужно заполнить 1000sprites, соответствующее моему собственному), то Docker загружает изображение с сообщением об ошибке :denied: requested access to the resource is denied.

 

Упакуйте созданный образ 1000sprites/hunyuanvideo:v1 следующим образом:

 

Нажмите Push to Hub для загрузки в репозиторий dockerhub, как показано ниже:

 

Поскольку изображения, загруженные в репозиторий dockerhub, по умолчанию являются приватными, их необходимо установить в положение public, как показано ниже:

 

Sealos развертывание видеосервиса HunyuanVideo

Нажмите "Управление приложениями", как показано ниже:

 

Настройте его так, как нужно, особенно имя зеркала не должно быть написано неправильно, поскольку он будет извлекать зеркала с этого адреса, как показано ниже:

 

Нажмите "Управление приложениями" для просмотра, когда СТАТУС приложения изменится с "Ожидание" на "Работает", это означает, что приложение было успешно запущено. Когда СТАТУС приложения находится в состоянии Running, вы можете напрямую получить доступ к внешнему сетевому адресу. Если у вас возникли проблемы, проверьте журналы Pod, как показано ниже:

 

III. Рабочий процесс генерации видео Dify

 

 

библиография

[1] Видеогенерация онлайн-опыта: https://cloud.siliconflow.cn/playground/text-to-video

[2] Быстрая установка приложений Python: https://sealos.run/docs/examples/programming-languages/Quick установка приложений Python

[3] https://hub.docker.com/