Paper2Video - Proyecto de código abierto de la NUS para generar automáticamente vídeos de demostración de trabajos académicos

Qué es Paper2Video

Paper2Video es un proyecto de código abierto del Show Lab de la Universidad Nacional de Singapur para la generación automatizada de vídeos de presentación de trabajos académicos. Utilizando el marco de inteligencia múltiple PaperTalker, los artículos se transforman en vídeos de presentación completos que contienen diapositivas, subtítulos, voz en off y avatar del orador. El marco consta de cuatro módulos: generador de diapositivas, generador de subtítulos, generador de cursor y generador de orador, que se encargan respectivamente de la generación de diapositivas, la generación de subtítulos, el posicionamiento del cursor y la generación del vídeo del orador. paper2video proporciona la primera referencia de alta calidad para vídeos de presentaciones académicas, con 101 artículos y sus correspondientes vídeos de presentación de los autores, diapositivas y otros datos.

Características de Paper2Video

• Generación automática de vídeos de demostración: Puede generar automáticamente vídeos de presentación completos directamente a partir de documentos académicos, abarcando múltiples aspectos como diapositivas, subtítulos, voz, movimiento del cursor y avatares del orador, lo que reduce enormemente el tiempo y el esfuerzo necesarios para la producción manual de vídeos de presentación.
• Un marco para la colaboración multiinteligenciaEl marco multiinteligencia de PaperTalker se utiliza para asignar distintas tareas a módulos especializados (como el constructor de diapositivas, el constructor de subtítulos, el constructor de cursores y el constructor de oradores) para lograr un proceso de generación de vídeo eficaz y flexible.
• Puntos de referencia e indicadores de evaluación de alta calidadSe proporciona el primer conjunto de datos de referencia de alta calidad de vídeos de presentaciones académicas, que contiene 101 artículos y sus correspondientes vídeos y diapositivas de presentaciones de autores, y se diseñan las métricas de evaluación Meta Similarity, PresentArena, PresentQuiz e IP Memory para medir exhaustivamente la calidad de los vídeos de presentaciones.
• Generación de altavoces personalizados: Genere avatares y voces personalizados de los oradores utilizando fotos de retratos de autores y muestras de voz para dar a los vídeos un aspecto más auténtico y profesional.
• El procesamiento en paralelo mejora la eficaciaEl proceso de generación de vídeo: al dividir la tarea de generación de vídeo por diapositivas y procesarla en paralelo, se reduce significativamente el tiempo de generación y se mejora la eficiencia global.
• Fácil de usar y ampliar: Proporcionan implementaciones de código completas y directrices de uso detalladas para facilitar a los investigadores y desarrolladores una rápida puesta en marcha, y pueden personalizarse y ampliarse según sea necesario.

Puntos fuertes de Paper2Video

• eficacia y ahorro de tiempoGeneración automática de vídeos de demostración a partir de documentos académicos, lo que reduce drásticamente el tiempo y el esfuerzo que supone la creación manual de vídeos.
• Alta calidad: El vídeo generado alcanza un alto nivel de precisión de contenido, efectos visuales y expresión de voz para mejorar la calidad de la presentación.
• PersonalizaciónGeneración de avatares y voces personalizados basados en retratos de autores y muestras de voz para realzar la autenticidad y profesionalidad del vídeo.
• Sistema de evaluación bien establecidoProporcionar conjuntos de datos de referencia especializados y métricas de evaluación que puedan medir de forma exhaustiva la calidad y eficacia de los vídeos generados.
• Procesamiento paralelo eficazEl procesamiento en paralelo se utiliza para acelerar la generación de vídeo y mejorar la eficacia.

¿Cuál es el sitio web oficial de Paper2Video?

• Página web del proyecto:: https://showlab.github.io/Paper2Video/
• Repositorio Github:: https://github.com/showlab/Paper2Video
• Documento técnico arXiv:: https://arxiv.org/pdf/2510.05096

Para quién es Paper2Video

• Investigadores universitariosLa capacidad de convertir rápidamente los resultados de la investigación en vídeos de presentación para su uso en conferencias académicas, seminarios o cursos en línea.
• Profesores de enseñanza superiorEl contenido de los artículos académicos puede convertirse en videocursos para enriquecer los recursos didácticos y mejorar la eficacia de la enseñanza.
• Estudiantes de posgrado y doctoradoAyudarles a preparar presentaciones académicas y vídeos de defensa de tesis de forma más eficaz.
• organización de la investigaciónPromover los resultados de la investigación y aumentar el impacto académico de la institución.
• comunicador académicoAmpliar la difusión de la investigación compartiendo las becas a través de canales como las redes sociales.
• Desarrollador tecnológicoEl código fuente y los marcos abiertos pueden utilizarse para un mayor desarrollo y personalización con el fin de explorar nuevos escenarios de aplicación.