StreamingT2V : Génération dynamique et évolutive de textes vers des vidéos longues

Introduction générale

StreamingT2V est un projet public développé par l'équipe de recherche en IA de Picsart, qui vise à générer des vidéos longues cohérentes, dynamiques et évolutives à partir de descriptions textuelles. Cette technologie utilise une approche autorégressive avancée qui garantit une vidéo temporellement cohérente qui correspond étroitement au texte de la description et maintient une image de haute qualité. Elle est capable de générer des vidéos allant jusqu'à 1 200 images par seconde et d'une durée maximale de deux minutes, avec la possibilité de les étendre à des périodes plus longues. L'efficacité de la technique n'est pas limitée par un modèle Text2Video spécifique, c'est-à-dire que les améliorations apportées au modèle permettront d'améliorer encore la qualité de la vidéo.

StreamingT2V Expérience en ligne

Liste des fonctions

Il permet de générer des vidéos jusqu'à 1200 images par seconde et d'une durée maximale de deux minutes.
Maintien de la cohérence temporelle de la vidéo et des images de haute qualité
Génération dynamique de vidéos correspondant étroitement à la description du texte
Prise en charge de plusieurs applications du modèle de base pour améliorer la qualité des vidéos générées
Prise en charge de la conversion texte-vidéo et image-vidéo
Démonstration en ligne de Gradio

Utiliser l'aide

Cloner le dépôt de projet et installer l'environnement requis
Télécharger les poids et les placer dans le catalogue approprié
Exécuter un exemple de code pour la conversion de texte en vidéo ou d'image en vidéo
Consultez la page du projet pour obtenir des résultats détaillés et des démonstrations.

Toutes les mesures ont été prises en utilisant le GPU NVIDIA A100 (80 GB). Lorsque le nombre d'images dépassait 80, un mélange aléatoire était utilisé. Pour le mélange aléatoire, lachunk_sizeet la valeur deoverlap_sizesont fixés respectivement à 112 et 32.