NitroGen - 英伟达联合斯坦福大学、加州理工等开源的游戏AI模型

NitroGen是什么

NitroGen是英伟达联合斯坦福大学、加州理工学院等机构研发的开源游戏AI模型，能玩转超1000款不同类型游戏。模型基于GROOT N1.5架构，通过分析4万小时游戏视频数据（含手柄操作标注），实现从零样本游戏到快速迁移新游戏的能力。创新点在于采用扩散Transformer技术直接从像素输入生成动作指令，支持通过Gymnasium API适配各类游戏。测试显示，NitroGen在未微调状态下仍能完成非平凡任务，迁移学习时任务成功率提升达52%，未来有望应用于机器人等具身智能领域。项目已开源完整代码、数据集及预训练模型。

NitroGen的功能特色

• 多游戏适配：NitroGen 能玩转1000余款游戏，涵盖角色扮演、平台跳跃、大逃杀、竞速等多种类型，无论是2D还是3D游戏，几乎无所不包。
• 输入输出：模型直接以游戏视频帧作为输入，输出真实的手柄操作信号，天然适配所有支持手柄的游戏。
• 后训练能力：NitroGen 支持后训练，面对新游戏时，无需从零开始学习规则，只需少量微调或轻量适配，就能迅速上手，具备跨游戏泛化的潜力。
• 架构基础：其底层架构是 GROOT N1.5，这一架构最初是为机器人技术设计的，经过改造后适用于游戏领域。

NitroGen的核心优势

• 广泛的适配性：能适配1000余款不同类型的游戏，涵盖角色扮演、平台跳跃、大逃杀、竞速等多种游戏类型，无论是2D还是3D游戏，都能有效运行。
• 高效的后训练能力：面对新游戏时，无需从零开始学习规则，只需少量微调或轻量适配，能迅速上手，展现出强大的跨游戏泛化能力。
• 出色的任务成功率：在程序化生成的游戏世界以及从未接触过的新游戏中，任务成功率相比从零开始训练的模型提升了52%，表现优异。
• 开源共享：研究成果包括预训练模型权重、完整的动作数据集以及相关代码均已开源，方便开发者进行进一步的研究和开发。
• 基于视频帧的输入输出：直接以游戏视频帧作为输入，输出真实的手柄操作信号，这种端到端的处理方式使其能直接适配所有支持手柄的游戏。
• 大规模行为克隆训练：使用超过40000小时的游戏主播操作视频进行训练，涵盖1000余款游戏，通过模仿人类玩家的操作行为，学习到不同类型游戏的玩法和策略。

NitroGen官网是什么

• 项目官网：https://nitrogen.minedojo.org
• Github仓库：https://github.com/MineDojo/NitroGen
• HuggingFace模型库：https://huggingface.co/nvidia/NitroGen
• 论文地址：https://nitrogen.minedojo.org/assets/documents/nitrogen.pdf
• HuggingFace数据集：https://huggingface.co/datasets/nvidia/NitroGen

NitroGen的适用人群

• 游戏开发者：可以用NitroGen快速测试新游戏的玩法和机制，优化游戏设计，提升开发效率。
• 游戏测试人员：借助NitroGen模拟玩家操作，进行自动化测试，发现并修复游戏中的问题。
• 游戏内容创作者：通过NitroGen生成的游戏玩法和操作，获取创作灵感，制作游戏攻略、教程或娱乐视频。
• 游戏玩家：尤其是新手玩家，可以用NitroGen作为辅助工具，学习游戏技巧，快速上手复杂游戏。
• AI研究人员：NitroGen作为研究通用人工智能和跨游戏泛化能力的平台，为相关研究提供实验基础和数据支持。
• 教育工作者和学生：在教育领域，NitroGen可用于开发教育游戏或模拟训练环境，辅助教学和学习。