InfinityStar - 字节开源的统一时空自回归视频生成框架

InfinityStar是什么

InfinityStar是字节跳动开源的统一时空自回归框架，专为高分辨率图像和视频生成设计。采用离散自回归方法，能在单一模型中同时处理文本到图像、文本到视频、图像到视频等任务。框架在VBench基准测试中获得83.74分，超过现有自回归模型，并比扩散模型快10倍。核心技术包括时空金字塔建模（将视频分解为首帧图像和动态片段）、高效的离散视觉分词器（通过知识继承和随机量化器深度加速训练），以及优化的Transformer架构（如语义尺度重复和时空稀疏注意力）。用户可通过Discord社区体验其功能，支持单GPU分钟级生成5秒720p视频。

InfinityStar的功能特色

• High-resolution video generation：支持生成高质量的720p视频，能够快速合成复杂的动态场景，满足高分辨率内容需求。
• multitasking support：涵盖文本到图像、文本到视频、图像到视频等多种生成任务，满足多样化的内容创作需求。
• Efficient generation of capacity：生成5秒720p视频仅需58秒，速度远超传统扩散模型，显著提升生成效率。
• 统一时空建模：通过时空金字塔结构，有效解耦外观和动态信息，实现高效的空间和时间依赖关系捕捉。
• 知识继承策略：基于预训练的变分自编码器（VAE）构建，利用知识继承策略，缩短训练时间并降低计算资源消耗。
• Open Source and Ease of Use：所有代码和模型均已开源，方便研究人员和开发者快速上手并进行进一步研究和应用开发。
• High-quality generation of results：在VBench基准测试中表现优异，生成的视频和图像质量高，细节丰富，能够满足多种应用场景的需求。

InfinityStar的核心优势

• Efficient generation speed：生成5秒720p视频仅需58秒，速度比传统扩散模型快10倍，显著提升视频生成效率。
• High quality output：在VBench基准测试中得分远超其他模型，生成的视频和图像质量高，细节丰富，视觉效果出色。
• multitasking support：自然支持文本到图像、文本到视频、图像到视频等多种生成任务，满足多样化的内容创作需求。
• 统一时空建模：采用时空金字塔结构，有效解耦外观和动态信息，实现高效的空间和时间依赖关系捕捉，提升模型性能。
• 知识继承策略：基于预训练的变分自编码器（VAE）构建，利用知识继承策略，缩短训练时间并降低计算资源消耗。
• Open Source and Ease of Use：所有代码和模型均已开源，方便研究人员和开发者快速上手并进行进一步研究和应用开发。
• Long video generation capability：为长视频生成铺平了道路，支持生成更长时间的高质量视频内容，拓展了视频生成的应用范围。

InfinityStar官网是什么

• Github repository：https://github.com/FoundationVision/InfinityStar
• HuggingFace Model Library：https://huggingface.co/FoundationVision/InfinityStar
• arXiv Technical Paper：https://arxiv.org/pdf/2511.04675

InfinityStar的适用人群

• content creator：包括视频制作者、动画师、广告创意人员等，能快速生成高质量视频内容，提升创作效率。
• game developer：可用于开发互动式游戏和虚拟现实（VR）/增强现实（AR）应用，支持交互式视频生成，增强用户体验。
• educator：用于制作教学视频，通过生成与教学内容相关的动画或视频，提高教学效果和学生参与度。
• Social Media Operators：为社交媒体平台提供丰富多样的视频内容，帮助用户快速生成吸引人的视频，提升内容传播效果。
• (scientific) researcher：在计算机视觉和人工智能领域进行研究，探索视频生成技术的新应用和边界拓展。
• 企业营销团队：用于制作广告和宣传视频，快速生成符合品牌调性的内容，提升营销效果和品牌影响力。