OpenAI의 차세대 모델이 큰 병목현상에 부딪히자, 전 수석 과학자가 새로운 경로를 공개합니다.

OpenAI 的下一代大语言模型「Orion」可能遇到前所未有的瓶颈。据 The Information 报道，OpenAI 员工称 Orion 模型的性能提升未达到预期，与 GPT-3 到 GPT-4 的升级相比，品质提升「小很多」。

此外，Orion 在处理某些任务时不如前代 GPT-4 稳定。尽管 Orion 的语言能力更强，但编程性能可能无法超越 GPT-4。训练高质量文本和其他数据的资源逐渐减少，使得寻找优质训练数据变得更加困难，从而减缓了大语言模型（LLMs）的发展。

不仅如此，未来的训练将更加耗费计算资源、资金甚至电力，这意味着开发 Orion 及后续的大语言模型的成本会显著增加。OpenAI 研究员诺姆·布朗（Noam Brown）最近在 TED AI 大会上表示，更先进的模型可能「经济上不可行」：

我们真的要耗费数千亿美元或数万亿美元来训练模型吗？某个时刻，扩展定律会崩溃。

OpenAI 已成立由尼克·雷德（Nick Ryder）领导的基础团队，负责研究如何应对训练数据日益匮乏的问题，以及大模型扩展定律（scaling laws）还能持续多久。

Noam Brown

扩展定律（scaling laws）是人工智能领域的核心假设之一：只要有更多可学习的数据，并且具备更强的计算能力来推动训练过程，大语言模型的性能就能以相同的速度持续提升。简而言之，扩展定律描述了资源投入（数据量、计算能力、模型规模）与模型性能输出之间的关系。也就是说，向大语言模型投入更多资源时，性能提升的程度。

例如，训练大语言模型可以类比为生产汽车：最初工厂规模很小，只有几台机器和少数工人，此时每增加一台机器或一名工人，产量都会显著提高，因为新增资源直接转化为生产力。然而，当工厂规模扩大后，每增加一台机器或一名工人的产量提升将逐渐减少，这可能是由于管理复杂性增加或工人协作效率下降。

当工厂达到一定规模，再增加机器或工人，产量的提升可能会更为有限。这时，工厂可能接近土地、电力供应和物流等资源的极限，进一步投资已经无法带来与之相匹配的产能提升。Orion 模型面临的困境正是如此：随着模型规模的增大（类似于增加机器和工人），早期和中期模型性能提升非常显著，但后期即便增加模型规模或训练数据量，性能提升却变得越来越小，这就是所谓的「撞墙」。

根据 arXiv 上的论文，由于对公共人类文本数据的需求增长和数据有限性，预计在 2026 到 2032 年间，大语言模型的发展可能耗尽公共人类文本资源。尽管诺姆·布朗指出未来模型训练存在「经济问题」，但他仍反对上述观点，认为「人工智能的发展不会很快放缓」。

OpenAI 的研究员们也普遍认同这一观点，尽管扩展定律可能会放缓，但通过优化推理时间和训练后的改进，AI 的整体发展不会受到显著影响。Meta CEO 马克·扎克伯格（Mark Zuckerberg）、OpenAI CEO 山姆·奥特曼（Sam Altman）以及其他 AI 开发商的首席执行官也公开表示，扩展定律的传统极限尚未到来，他们仍在开发昂贵的数据中心以提高预训练模型的性能。

OpenAI 产品副总裁彼得·韦林德（Peter Welinder）也在社交媒体上表示「人们低估了测试时计算的强大功能」。测试时计算（TTC）是机器学习的一个概念，指的是模型在部署后针对新输入数据进行推理或预测时的计算，与训练时的计算是分开的。训练阶段是模型学习数据模式的过程，而测试阶段是模型应用于实际任务的过程。

传统的机器学习模型在训练完成并部署后，通常无需额外计算即可预测新的数据实例。然而，一些更复杂的模型，例如某些类型的深度学习模型，可能需要在测试时（推理时）进行额外计算。OpenAI 开发的「o1」模型就采用了这种推理模式。整个 AI 行业正在将重点转向初始训练完成后的模型优化阶段。

Peter Welinder

OpenAI 联合创始人之一伊利亚·苏茨克弗（Ilya Sutskever）最近在接受路透社采访时承认，使用大量未标记数据来训练人工智能模型，使其理解语言模式和结构的预训练阶段，其效果提升已经趋于平稳。他表示：「2010 年代是扩展的时代，而现在我们再次回到了探索和发现的时代。」他还指出：「提升准确性比以往更加重要。」

Orion 计划于 2025 年推出，OpenAI 将其命名为「Orion」而非「GPT-5」，或许暗示着一次全新的革命。虽然目前因理论限制而「难产」，但人们依然期待这个新名字的「新生儿」能够为 AI 大模型带来变革的契机。