StreamingT2V: generación dinámica y escalable de texto a vídeo largo

Introducción general

StreamingT2V es un proyecto público desarrollado por el equipo de investigación en IA de Picsart centrado en generar vídeos largos coherentes, dinámicos y escalables a partir de descripciones textuales. Esta tecnología utiliza un enfoque autorregresivo avanzado que garantiza un vídeo temporalmente coherente que se corresponde estrechamente con el texto de la descripción y mantiene una imagen de alta calidad de fotogramas. Es capaz de generar vídeos de hasta 1200 fps y hasta dos minutos de duración, con potencial para escalar a periodos de tiempo más largos. La eficacia de la técnica no está limitada por un modelo Text2Video específico, es decir, las mejoras en el modelo mejorarán aún más la calidad del vídeo.

StreamingT2V Experiencia en línea

Lista de funciones

Admite la generación de vídeos de hasta 1200 fps y hasta dos minutos de duración.
Mantiene la coherencia temporal del vídeo y de las imágenes de alta calidad de fotogramas
Generación dinámica de vídeos que se corresponden estrechamente con la descripción del texto
Admite múltiples aplicaciones del modelo Base para mejorar la calidad de los vídeos generados
Conversión de texto a vídeo y de imagen a vídeo
Demostración en línea de Gradio

Utilizar la ayuda

Clonar el repositorio del proyecto e instalar el entorno necesario
Descargar pesos y colocarlos en el catálogo correcto
Ejecutar código de ejemplo para la conversión de texto a vídeo o de imagen a vídeo
Consulte la página del proyecto para ver los resultados detallados y las demostraciones

Todas las mediciones se realizaron con la GPU NVIDIA A100 (80 GB). Cuando el número de fotogramas superaba los 80, se utilizaba la mezcla aleatoria. Para la mezcla aleatoria, elchunk_sizey el valor deoverlap_sizese fijan en 112 y 32, respectivamente.