ForgeTrain - 面壁智能联合清华大学、OpenBMB开源的大模型预训练框架

ForgeTrain是什么

ForgeTrain 是面壁智能联合清华大学、OpenBMB 开源社区发布的全球首个完全由 AI 编写、零人类代码介入的生产级大模型预训练框架。框架采用独创的 Forge Engineering（锻造工程） 三阶段方法论，在英伟达 H100 上训练速度超越 Megatron 10%，已在华为昇腾芯片上完整跑通预训练流程，成功训练出 MiniCPM5-1B 模型。

ForgeTrain的功能特色

• 生产级大模型预训练：支持数百至数千张 GPU 的分布式协同训练，实现数据加载、梯度同步、模型并行、流水线并行等核心机制的完整自动化。
• 跨硬件平台适配：同一份 Harness 可在不同硬件上锻造出完全不同的专属优化实现，无需手动移植代码。
• 逐比特一致性验证：AI 生成的框架能与参考实现（Megatron）在相同输入下产出完全一致的数值结果，确保正确性后再进行性能优化。
• 自动化评测 Harness：内置自动化测试与性能评测系统，将"跑对了"和"跑快了"转化为机器可自动判断的标准。
• 自诊断 Agent 循环：read reference → implement → launch job → parse logs → root-cause → patch → pass gate → commit，全程自主运行。

ForgeTrain的核心优势

• 零人类代码介入：整个框架完全由 AI 自主编写，没有任何人类工程师直接编写的代码行，代表软件工程范式的根本性变革。
• L4 级 AI 制造 AI：在"AI 制造 AI"五级进化路径中达到 L3-L4 级别，即 AI 不仅能优化模型，还能优化生成模型的基础设施本身。
• 零抽象损耗：通用性保留在 Harness 规约中，高性能保留在每次锻造中，消除了传统通用框架与定制化实现之间的取舍。
• 打破国产算力生态瓶颈：为华为昇腾等国产芯片即时锻造专属高性能软件栈，无需漫长的 CUDA 兼容性建设周期。
• 端侧模型训练验证：已用 ForgeTrain 训练出 MiniCPM5-1B，在 AA 榜单 2B 以下规模位列全球第一，INT4 量化后仅 0.5GB，可跑在手机上断网使用。

ForgeTrain官网是什么

• Репозиторий GitHub：https://github.com/OpenBMB/ForgeTrain

ForgeTrain的操作步骤

1. Подготовка к защите окружающей среды：推荐使用 NVIDIA H100 或华为昇腾 910B，操作系统建议 Linux（Ubuntu 20.04+），最低 GPU 显存 80GB。
2. Получить код: из репозиториев GitHub https://github.com/OpenBMB/ForgeTrain 克隆代码，包含 H100 和昇腾两个版本。
3. Конфигурационная среда：英伟达版本需安装 PyTorch 2.0+ 和 NCCL；华为版本需配置昇腾 AI 处理器驱动和 CANN 软件包。
4. 运行预训练：使用启动脚本运行，如 python train.py --config configs/minicpm_1b.yaml，框架自动完成分布式初始化。
5. 复现逐比特对齐：运行 Agent Harness 中的对齐测试模块，比对 ForgeTrain 与 Megatron 在相同输入下的输出结果。
6. 性能优化迭代：切换至性能导向 Harness，让 AI 在更大搜索空间中自主优化，自动选择最优实现。

ForgeTrain的适用人群

• 大模型研发团队：需要生产级分布式预训练框架的 AI 实验室和厂商。
• 国产算力适配团队：希望在昇腾等国产芯片上快速构建高性能训练软件栈的团队。
• 关注 AI 基础设施自动化的研究者：探索"AI 制造 AI"递归自改进路径的研究人员。
• 端侧模型开发者：需要高效训练小尺寸高性能模型（如 MiniCPM 系列）的团队。

ForgeTrain的常见问题