人工智能的「第一性原理」扩展定律（Scaling Laws），把模型性能与算力等资源投入联系在了一起，是如今人们构建更先进大模型重要的参考标尺。 有关扩展定律的起源，存在很多种说法，有人认为是 2020 年 OpenAI 提出的，有人认为是 2017 年百度发现的，详情可参阅我们之前的报道《遗憾不？原来百度 2017 年就研究过 Scaling Law，连 Anthropic CEO 灵感都来自百度》。 他进一步解释说，这篇论文其实是一篇 NeurIPS 论文。贝尔实验室的研究者「在不同大小的数据集、不同大小的模型上训练了分类器并拟合了幂律」。这让 Morris 不禁感叹：「不敢相信这已经是 32 年前的事了。」 近日，OpenAI 联合创始人、总裁 Greg Brockman 也转发了这一消息，并表示这些结果跨越了多个数量级和几十年的时间，经历了时间的考验，可以说揭示了深度学习的根本。 这篇论文介绍说，基于大规模数据训练分类方法是相当耗费算力的工作。因此，开发高效的程序来可靠地预测分类器是否适合执行给定任务至关重要，这样才能将资源分配给最有潜力的候选分类器，或腾出资源来探索新的候选分类器。 作者提出了一种实用且有原则的预测方法，避免了在整个训练集上训练性能较差的分类器的高成本过程，同时拥有坚实的理论基础。作者证明了所提方法的有效性，以及适用于单层和多层网络。 在该工作中，作者研究了自动分类的算法，随着训练数据逐步增加，分类器的能力（模型出错的概率）被持续标记。在测量了多个数据点后，可以发现模型的错误率对比训练数据的数量，在对数曲线上呈现出了一定的规律。 作者进而得出结论：「经过 12000 种模式的训练后，很明显新网络的表现将优于旧网络…… 如果我们的预测方法能够对网络的测试误差做出良好的定量估计，我们就可以决定是否应该对新架构进行三周的训练。」 这篇论文的一作 Corinna Cortes 已经拥有超过 10 万引用！她与四作 Vladimir Vapnik 也是经典论文《Support-vector networks》（引用量超过了 7.7 万）的两位作者。这篇论文提出了大家熟知的现代意义上的支持向量机。 Corinna Cortes 的职业履历很简单：先在贝尔实验室工作了 14 年，之后于 2003 年加入谷歌，领导 Google Research NY 达 21 年之久。现在她是 NeurIPS 的董事会成员之一。她同时也是一名竞技跑步运动员。 这篇论文的二作 Lawrence D Jackel 是时任的贝尔实验室应用系统研究部门负责人。1988 年 Yann LeCun 加入该实验室后，与他合作完成了多项高引用研究成果，其中包括一篇重要的反向传播论文《Backpropagation applied to handwritten zip code recognition》。 该论文运用信息论的思想，推导出了一类用于调整神经网络规模的实用且近乎最优的方案。通过从网络中移除不重要的权重，可以预期实现多项改进：更好的泛化能力、更少的训练样本需求以及更快的学习和 / 或分类速度。其基本思想是利用二阶导数信息在网络复杂度和训练集误差之间进行权衡。 前文我们已经见到过 Vladimir Vapnik 的名字，即支持向量机的作者之一。除此之外，这位拥有超过 33.5 万引用的大佬还是统计学习领域著名的 Vapnik–Chervonenkis 理论的提出者之一 —— 是的，这个理论就是以他和苏联数学家 Alexey Chervonenkis 的名字命名的。 他曾就读于加州理工学院。大三时，他创办了一家成功的小型软件和电子公司，在安防系统、好莱坞特效、手持电子游戏和视频游戏等多个领域做出了开创性的工作。此外，在读本科期间，他还在加州理工学院创建并教授了一门课程：「微处理器设计」。 他在康奈尔大学的博士研究考察了氢原子气体在仅比绝对零度高千分之几摄氏度的温度下的性质，并表明在这种稀薄的玻色气体中存在量子自旋输运和长寿命的「自旋波」共振。他的其他研究涉及超低噪声测量设备的设计 —— 其中基本的量子力学限制起着重要作用。 Denker 博士加入过 AT&T 贝尔实验室多年时间，曾担任杰出技术人员、部门主管和部门经理等职务。他的研究兴趣包括计算机安全、选举安全、网络电话和神经网络。他还发明了新型低能耗「绝热」计算系统。 John Denker 还拥有商用飞行员、飞行教练和地面教练资格。他是美国联邦航空管理局（FAA）的航空安全顾问。他曾任蒙茅斯地区飞行俱乐部董事会成员，以及美国国家研究委员会商用航空安全委员会成员。 其中证明了一类普适的学习曲线渐近行为，适用于一般的无噪声二分机器或神经网络。结果表明：无论机器的架构如何，其平均预测熵或信息增益 纵观数十年的研究脉络，Scaling Law 的提出并非灵光乍现的顿悟，而是跨越学科、跨越时代的逐步累积。从心理学的学习曲线，到感知器的早期探索，再到 Vapnik、Amari、贝尔实验室的系统化研究，最后发展到 OpenAI 等机构在大规模实验中验证和推广，每一代学者都在为这条「经验定律」添砖加瓦。 今天我们所说的 Scaling Law，看似清晰而坚固，但它背后蕴含的是数十年理论与实践的反复印证。正如 Brockman 所言，它揭示了深度学习的根本，而这一「根本」并不是一蹴而就的，而是科学探索在时间长河中的积累与沉淀。
