텐센트 후위안비디오 모델 인터페이스를 사용한 Dify의 비디오 생성 워크플로

이 백서에서는 주로 Dify 워크플로우의 HTTP 노드를 통해 소개하는 Dify v0.12.1 버전을 사용하여 텍스트를 통해 실리콘플로우 텐센트/헌유안비디오 인터페이스를 호출하여 비디오의 구체적인 구현을 생성합니다. 그 중 Dify와 HTTP 서비스는 실로스 클라우드 플랫폼 위에 배포됩니다.

훈위안비디오 텐센트에서 출시한 오픈소스 동영상 생성 기본 모델로, 130억 개 이상의 파라미터를 보유하고 있으며 현재 오픈소스 동영상 생성 모델 중 가장 큰 규모입니다. 이 모델은 통합 이미지 및 비디오 생성 아키텍처를 채택하여 데이터 대조, 공동 이미지-비디오 모델 학습, 효율적인 인프라 등의 핵심 기술을 통합합니다. 이 모델은 멀티모달 매크로 언어 모델을 텍스트 인코더로 사용하고, 3D VAE를 통해 시공간 압축을 수행하며, 큐워드 재작성 기능을 제공합니다. 전문가들의 수동 평가 결과에 따르면 HunyuanVideo는 텍스트 정렬, 모션 품질 및 시각적 품질 측면에서 기존 최첨단 모델보다 뛰어난 성능을 발휘합니다.

 

I. 훈위안비디오 인터페이스

1. 빈센트 동영상 만들기

프롬프트 입력으로 비디오 생성, 인터페이스는 사용자의 현재 요청에 의해 생성된 요청Id를 반환하고, 사용자는 특정 비디오 링크를 얻기 위해 상태 인터페이스를 폴링해야 하며, 생성된 결과는 10분 이내에 유효하므로 제시간에 비디오 링크를 가져가세요. 아래와 같이요:

import requests
url = "https://api.siliconflow.cn/v1/video/submit"
payload = {
"model": "tencent/HunyuanVideo",
"prompt": "<string>",
"seed": 123
}
headers = {
"Authorization": "Bearer <token>",
"Content-Type": "application/json"
}
response = requests.request("POST", url, json=payload, headers=headers)
print(response.text)

 

2. 동영상 생성 링크 받기

아래 그림과 같이 사용자 제작 동영상을 가져옵니다:

import requests
url = "https://api.siliconflow.cn/v1/video/status"
payload = {"requestId": "<string>"}
headers = {
"Authorization": "Bearer <token>",
"Content-Type": "application/json"
}
response = requests.request("POST", url, json=payload, headers=headers)
print(response.text)

 

훈위안비디오 인터페이스 캡슐화

텍스트 생성 비디오 시간이 여전히 상대적으로 길기 때문에 일반적으로 시간 설계의 공급 업체는 일반적으로 2 개의 인터페이스를 가지고 있으며, 하나의 인터페이스는이 요청 요청을 가져 오는 것이고, 요청Id에 따라 다른 인터페이스는 비디오 생성 모델 상태를 결정하는 등 비디오 생성은 비디오 URL을 반환하기 전에 완료됩니다. 따라서 Dify를 직접 사용할 수 없습니다! 따라서 Dify 워크플로우에서 HTTP 노드를 직접 사용하여 실리콘플로우의 공식 인터페이스를 호출할 수 없고, HunyuanVideo 인터페이스를 다시 캡슐화해야 합니다. 특정 HunyuanVideo 인터페이스 패키지도 매우 간단하며, 패키징할 비즈니스 로직에 따라 플라스크 서비스를 시작하는 것입니다.

 

 

아래와 같이 요구 사항.txt 명령을 생성합니다:

pip freeze > requirements.txt

아래와 같이 미러 명령으로 패키징합니다:

docker build -t 1000sprites/hunyuanvideo:v1 .

특별 참고: 태그에 dockerhub 리포지토리 사용자 이름이 없는 경우(내 사용자 이름에 해당하는 1000개의 스프라이트를 입력해야 함), Docker는 이미지를 업로드하여 오류 :거부됨: 리소스에 대한 요청된 액세스가 거부됨을 보고합니다.

 

생성된 이미지 1000sprites/hunyuanvideo:v1을 다음과 같이 패키징합니다:

 

아래와 같이 푸시 투 허브를 클릭하여 dockerhub 리포지토리에 업로드합니다:

 

dockerhub 리포지토리에 업로드된 이미지는 기본적으로 비공개이므로 아래 그림과 같이 공개로 설정해야 합니다:

 

실로스, 훈위안비디오 서비스 배포

아래 그림과 같이 '애플리케이션 관리'를 클릭합니다:

 

필요에 따라 설정하며, 특히 미러 이름은 아래와 같이 이 주소에서 미러를 가져올 것이므로 철자가 틀리면 안 됩니다:

 

"애플리케이션 관리"를 클릭하여 애플리케이션의 상태가 보류 중에서 실행 중으로 변경되면 애플리케이션이 성공적으로 시작되었음을 나타냅니다. 상태가 실행 중이면 외부 네트워크 주소에 직접 액세스할 수 있습니다. 문제가 발생하면 아래와 같이 파드 로그를 확인하세요:

 

비디오 생성 워크플로우 다변화

 

 

참고 문헌

[1] 동영상 생성 온라인 경험: https://cloud.siliconflow.cn/playground/text-to-video

[2] 파이썬 앱의 빠른 설치: https://sealos.run/docs/examples/programming-languages/Quick 파이썬 앱의 설치

[3] https://hub.docker.com/