Vidéo hybride de Vincennes : génération de séquences réalistes de vidéo de haute qualité, Tencent open source génération de vidéo de grands modèles

Introduction générale

Tencent Hybrid Text Generation Video (disponible sur Yuanbao APP) est une plateforme de génération de vidéos basée sur la technologie de l'IA lancée par Tencent. La plateforme utilise le Tencent Mixed Yuan Big Model avec de puissantes connaissances inter-domaines et une compréhension du langage naturel pour générer un contenu vidéo de haute qualité basé sur les descriptions textuelles des utilisateurs. Qu'il s'agisse d'un style réaliste ou virtuel, les vidéos générées par le texte de Tencent Mixed Element peuvent être facilement réalisées, aidant les utilisateurs à transformer leur créativité en œuvres vidéo vivantes. La plateforme est adaptée à une variété de besoins d'expression créative, de la création personnelle aux applications commerciales, fournissant une solution de génération vidéo pratique et efficace.

HunyuanVideo est un cadre de génération vidéo open source de Tencent qui vise à fournir des capacités de génération vidéo de haute qualité. Le projet est basé sur PyTorch et comprend des modèles pré-entraînés, un code d'inférence et des exemples de vidéos. HunyuanVideo utilise un certain nombre de technologies clés, telles que la curation de données, l'entraînement de modèles image-vidéo, et une infrastructure efficace pour soutenir l'entraînement et l'inférence de modèles à grande échelle. Avec plus de 13 milliards de paramètres de modèle, il s'agit de l'un des modèles de génération vidéo les plus paramétrés dans l'espace open-source. HunyuanVideo surpasse de nombreux modèles open-source en termes de qualité visuelle, de diversité des mouvements, d'alignement texte-vidéo et de stabilité de la génération.

Version accélérée du modèle de génération vidéo hybride :FastHunyuanIl suffit de 6 étapes de diffusion pour générer des vidéos de haute qualité, ce qui est 8 fois plus rapide que les 50 étapes de la version originale.

Expérience en ligne :https://video.hunyuan.tencent.com/

Liste des fonctions

• Vidéo sur la génération de texteL'utilisateur saisit une description textuelle et la plateforme génère automatiquement le contenu vidéo correspondant.
• Support multi-stylesLes vidéos peuvent être générées de manière réaliste ou virtuelle afin de répondre à différents besoins créatifs.
• Une production de haute qualitéLes vidéos sont générées avec une grande précision physique et une grande cohérence des scènes, ce qui permet d'obtenir une expérience visuelle de qualité cinématographique.
• Génération d'actions en continuLa capacité à générer des scènes d'action en continu garantit des vidéos fluides et naturelles.
• Lentille artistiqueLes vidéos de l'UE : soutient l'utilisation de séquences de niveau réalisateur pour fournir une présentation vidéo artistique.
• Conformité physiqueLa vidéo générée est conforme aux lois de la physique et réduit le sentiment de dissonance du spectateur.

Utiliser l'aide

Guide d'utilisation des fonctions

Vidéo sur la génération de texte

1. Description du texte d'entréeLa description de la vidéo que vous souhaitez générer est à saisir dans la zone de texte. Par exemple : "Une petite fille allume des allumettes en hiver, le ciel est sombre et le sol est recouvert d'une couche de neige".
2. Choisir un styleLa vidéo : Choisissez le style de vidéo que vous souhaitez, réaliste ou virtuel.
3. Générer une vidéoCliquez sur le bouton "Générer" et le système générera automatiquement le contenu vidéo correspondant.
4. Prévisualisation et téléchargementAprès la génération, vous pouvez prévisualiser l'effet vidéo, le télécharger et l'enregistrer lorsque vous êtes satisfait.

Support multi-styles

1. Changement de styleLa création de vidéos : Lors de la création de vidéos, vous pouvez passer librement du style réel au style virtuel pour répondre à différents besoins créatifs.
2. Préréglages de styleLa plateforme propose une variété de styles prédéfinis afin que les utilisateurs puissent choisir le style approprié pour la génération de vidéos selon leurs besoins.

Une production de haute qualité

1. Une expérience de qualité cinématographiqueLes vidéos sont générées avec une grande précision physique et une grande cohérence des scènes, ce qui permet d'obtenir une expérience visuelle de qualité cinématographique.
2. Ajustements détaillésLes utilisateurs peuvent procéder à des ajustements détaillés de la vidéo générée afin de s'assurer que chaque image répond aux attentes.

Génération d'actions en continu

1. Description de l'action continue en entrée: Entrez une scène d'action continue dans la description textuelle, par exemple "Une personne qui court sur un tapis roulant".
2. Générer une vidéo d'action continueLe système génère automatiquement des vidéos de mouvements continus afin de garantir des mouvements fluides et naturels.

Lentille artistique

1. Sélection de l'objectifLa plateforme prend en charge une large gamme d'options d'objectifs, ce qui permet aux utilisateurs de sélectionner l'objectif vidéo approprié pour la génération.
2. Expression artistiqueLa vidéo qui en résultera contiendra une utilisation artistique des séquences, ce qui permettra d'obtenir un effet visuel plus expressif.

Conformité physique

1. règle physiqueLa vidéo générée est conforme aux lois de la physique et réduit le sentiment de dissonance du spectateur.
2. Cohérence des scénariosLes scènes de la vidéo doivent être cohérentes et homogènes.

problèmes courants

• Échec de la génération vidéoLa description de texte ne peut pas être générée : Veuillez vérifier que la description de texte saisie répond aux exigences, ou essayez de la régénérer.
• Problèmes de connexionSi vous ne pouvez pas vous connecter, vérifiez que votre numéro de téléphone portable et votre code de vérification sont corrects ou contactez le service clientèle pour obtenir de l'aide.

Processus d'installation et de déploiement

1. la dépendance environnementalePython : Assurez-vous que Python 3.8 et plus est installé et que les bibliothèques de dépendance nécessaires sont installées.

   pip install -r requirements.txt
   

2. Télécharger le modèle pré-entraînéTélécharger le modèle pré-entraîné à partir de la page du projet et le placer dans le répertoire spécifié.
3. Exécuter le code d'inférenceLa commande suivante permet d'exécuter le code d'inférence afin de générer la vidéo.

   python sample_video.py --input_text "生成视频的描述文本"
   

Fonction Opération Déroulement

Génération de texte en vidéo

1. Description du texte d'entréeDescription : Entrez le texte de la description sur la ligne de commande ou dans la démo Web de Gradio.
2. Exécuter le code d'inférenceLe code d'inférence est exécuté pour générer le fichier vidéo correspondant.
3. Voir les résultats générés: Visualiser le fichier vidéo généré dans le répertoire de sortie.

Génération d'images en vidéo

1. Fichier d'image d'entrée: Fournit le chemin d'accès au fichier d'image d'entrée.
2. Exécuter le code d'inférenceLe code d'inférence : Exécuter le code d'inférence pour générer des vidéos dynamiques.
3. Voir les résultats générés: Visualiser le fichier vidéo généré dans le répertoire de sortie.

Raisonnement parallèle multi-GPU

1. Configuration d'un environnement multi-GPUPour plus d'informations, consultez le site web de la Commission européenne : Assurez-vous que plusieurs GPU sont installés sur le système et que l'environnement CUDA est configuré.
2. Exécution du code d'inférence parallèleLancement du code d'inférence parallèle multi-GPU : Exécutez le code d'inférence parallèle multi-GPU à l'aide de la commande suivante.

   python sample_video.py --input_text "生成视频的描述文本" --gpus 4
   

Gradio Web Demo

1. Démarrer le serveur GradioDémarrer le serveur Gradio Web Demo en exécutant la commande suivante.

   python gradio_server.py
   

2. Accès à la démo webPour ce faire, vous devez ouvrir l'URL fournie dans votre navigateur et expérimenter la fonction de génération de texte à partir d'une vidéo.

Téléchargement du modèle de pré-entraînement

1. Visiter la page du projetPour plus d'informations, consultez la page du projet HunyuanVideo sur GitHub.
2. Télécharger le modèle pré-entraînéCliquez sur le lien de téléchargement du fichier de modèle pré-entraîné.
3. Placement des fichiers modèles: Placer le fichier modèle téléchargé dans le répertoire spécifié du projet.

Grâce à l'aide détaillée ci-dessus, les utilisateurs peuvent facilement commencer à utiliser HunyuanVideo et découvrir la fonction de génération de vidéos de haute qualité.

Pack d'intégration Hybrid Video One Click

Quark : https://pan.quark.cn/s/ae28d498f451

Baidu : https://pan.baidu.com/s/1PgJKZiey98rKWZzPFzT6-w?pwd=pwk8