Paper2Video - 新加坡国立开源的学术论文自动生成演示视频项目

Paper2Video是什么

Paper2Video 是新加坡国立大学 Show Lab 开源的学术论文自动生成演示视频项目。通过 PaperTalker 多智能体框架，将论文转化为包含幻灯片、字幕、语音和演讲者头像的完整演示视频。框架包含幻灯片构建器、字幕构建器、光标构建器和演讲者构建器四个模块，分别负责幻灯片生成、字幕生成、光标定位和演讲者视频生成。Paper2Video 提供了首个高质量的学术演示视频基准，包含 101 篇论文及其对应的作者演讲视频、幻灯片等数据。

Paper2Video的功能特色

• 自动化生成演示视频：能直接从学术论文自动生成完整的演示视频，涵盖幻灯片、字幕、语音、光标移动和演讲者头像等多个方面，大大减少了人工制作演示视频的时间和精力。
• 多智能体协作框架：采用 PaperTalker 多智能体框架，将不同任务分配给专门的模块（如幻灯片构建器、字幕构建器、光标构建器和演讲者构建器），实现高效且灵活的视频生成流程。
• 高质量基准与评估指标：提供首个高质量的学术演示视频基准数据集，包含 101 篇论文及其对应的作者演讲视频、幻灯片等数据，并设计了 Meta Similarity、PresentArena、PresentQuiz 和 IP Memory 等评估指标，用于全面衡量演示视频的质量。
• 个性化演讲者生成：利用作者的肖像照和声音样本，生成个性化的演讲者头像和语音，使视频更具真实感和专业性。
• 并行化处理提高效率：通过将视频生成任务按幻灯片拆分并进行并行处理，显著缩短了生成时间，提高了整体效率。
• 易于使用和扩展：提供完整的代码实现和详细的使用指南，方便研究人员和开发者快速上手，并可根据需要进行定制和扩展。

Paper2Video的核心优势

• 高效省时：从学术论文自动生成演示视频，大幅减少手动制作视频的时间和精力。
• 高质量输出：生成的视频在内容准确性、视觉效果和语音表达上均达到较高水平，提升演示质量。
• 个性化定制：根据作者的肖像和声音样本生成个性化的演讲者头像和语音，增强视频的真实感和专业性。
• 评估体系完善：提供专门的基准数据集和评估指标，能够全面衡量生成视频的质量和效果。
• 并行处理高效：采用并行化处理技术，加快视频生成速度，提高工作效率。

Paper2Video官网是什么

• 项目官网：https://showlab.github.io/Paper2Video/
• Github仓库：https://github.com/showlab/Paper2Video
• arXiv技术论文：https://arxiv.org/pdf/2510.05096

Paper2Video的适用人群

• 学术研究人员：能快速将研究成果转化为演示视频，用于学术会议、研讨会或在线课程。
• 高校教师：可将学术论文内容制作成视频课程，丰富教学资源，提升教学效果。
• 研究生和博士生：帮助他们更高效地准备学术报告和论文答辩视频。
• 科研机构：用于推广研究成果，提升机构的学术影响力。
• 学术传播者：通过社交媒体等渠道分享学术成果，扩大研究的传播范围。
• 技术开发者：可以用开源代码和框架，进行进一步的开发和定制，探索新的应用场景。