过度训练：通向类人 AI 的路径Overtraining as the path to human-like AI

匿名博主 Gwern 最近完成了一篇一万三千字的文章，名为《Human-like Neural Nets by Catapulting》，在文中他提出了一种理论，解释了为什么 LLM 不具备真正灵活的类人智能，以及我们该如何训练出具备这种智能的 LLM。这类理论其实并不稀奇：互联网上每个偏执的研究者都有关于如何攻克 AI 的理论。但 Gwern 却非同凡响。在 OpenAI 之外，Gwern 是最早预见到大型语言模型潜力的人，也是最早预见到让它们变得更大、更强大的规模扩展军备竞赛的人。我经常引用 Leopold Aschenbrenner 的《Situational Awareness》作为某人准确预测 AI 未来的例子。Aschenbrenner 在 2024 年 GPT-4 刚发布后写下了这篇文章，他预测对了很多事情：竞相建造价值数十亿或数万亿美元的 GPU 集群、LLM 周边代码的重要性（他称之为“unhobbling”）1，以及规模扩展将贯穿整个十年的事实。Gwern 的文章《The Scaling Hypothesis》在 2020 年 GPT-3 刚发布时就预见了大致轮廓（比 ChatGPT 的发布和 AI 热潮的开始早了两年）。

然而，据我所知，《Human-like Neural Nets by Catapulting》尚未引起太多公众关注：最近的一个 Hacker News 帖子只有十二条评论，而且全都在讨论人类大脑是否与神经网络相似。部分原因在于： 文章太长了， 简短的摘要描述了 Gwern 的主张，却没有说明原因， 文章开头的大部分内容看起来确实是在通过与人类大脑进行类比来论证。不过，我认为这种类比并不是论证的核心支撑。让我试着解释一下我认为 Gwern 想表达的意思。

什么是 grokking？

首先，我们来谈谈“grokking”。2022 年，OpenAI 发表了一篇论文，表明如果你在一个简单的数据集（例如，像除法这样的简单数学运算）上训练模型，并在训练看起来停滞不前后继续长时间训练，模型的能力会突然实现巨大飞跃。为什么这会起作用？训练的第一阶段就像死记硬背：模型必须尽可能多地将训练数据压缩到其权重中。但如果你继续训练，正则化技术（例如迫使模型使用更小权重值的压力）将促使2模型找到越来越简单的数据压缩方法。起初这看起来没什么变化（训练损失保持为零），直到模型发现可以通过简单地执行底层数学运算来表达数据，此时它会瞬间变得聪明得多。换句话说，对模型进行过度训练可以迫使它真正理解其训练数据。OpenAI 以 Robert Heinlein 创造的新词将这一过程命名为“grokking”，在 Heinlein 的语境中，这个词的意思类似于“获得深刻、直观和本质的理解”3。

Gwern 的论点大致如下：

我将跳过（3），因为我认为即使没有与人脑的类比，这个论点依然很有说服力。

LLM 表现不佳是因为它们无法领悟吗？

我认为他的第一点很难反驳。LLM 在特定领域非常聪明，但它们经常犯人类不会犯的错误。更关键的是，它们经常犯任何与 LLM 一样聪明的人类绝不会犯的错误。这显然表明了泛化能力的失败：LLM 在特定领域与聪明的人类一样强大，但无法像人类那样将这种智能泛化到同样多的任务中。

LLM 真的无法领悟吗？我通读了这篇认为它们可以领悟的论文。如果你将“LLM 记住了多少数据”与基准测试表现绘制成图，你会看到基准测试表现最初有一个小峰值，接着大幅下降，最后又出现大幅跃升。这种模式根本不反映记忆情况：记忆在后台一直平稳增加。

我认为这篇论文突出了区分“领悟”与“泛化”的困难。显然，LLM 在训练过程中学会了泛化，而且学会泛化可能需要一定基准水平的记忆（这样 LLM 才有泛化的原始材料）。因此，这看起来就像是在“领悟”。

当 Gwern（及其他人）说 LLM 无法领悟时，我认为他们的意思是，至少还有一次巨大的泛化飞跃等待着实现。这合理吗？作为存在性证明，人类显然比 LLM 具备更好的泛化能力。当然，人类这种水平的泛化能力可能源于我们大脑中神经网络无法复制的特征，但这似乎有点特设性：如果神经网络能够泛化，为什么它们只能泛化到这个程度，而无法更进一步呢？

关于“领悟”的简单例子依赖于那些有待发现的简单规则的领域（例如数学运算）。人类语言有这么深层的规则吗？我认为这是一个悬而未决的问题，但有充分的理由相信答案是肯定的。语言具有深层、微妙的结构：不仅是内部结构，而且这种结构一直延伸到世界的本质以及人类心智的运作方式。

AI 实验室在海量数据上训练相对较小的模型

在过去的几年里，许多 AI 研究人员一直表示数据是最重要的：无论你选择什么模型架构，只要有足够的规模和训练时间，模型最终都会收敛于其数据集。无论这是否属实，AI 实验室都已将大量资源投入到获取更多、更高质量的数据上：包括扫描实体书籍、付费请专家生成和标注数据，或者与已经拥有大量数据的公司合作。

AI 实验室也一直在训练相对较小的模型。即使是最大的前沿模型，可能也是拥有几万亿参数的 MoE，而活跃参数可能只有其十分之一。当然，对前沿模型规模的估计大多是猜测，但开源模型提供了一个很好的基准：它们大概在 Kimi-K3 的范围内，后者拥有略低于三万亿的参数和五百亿的活跃参数。这听起来很多，但你大概可以在最大的前沿集群4中用几天时间完成预训练。

“领悟”需要在小型数据集上训练巨大的模型

Gwern 的预测是，AI 实验室应该尝试做与目前完全相反的事情。与其在海量数据上训练一堆万亿参数模型，不如尝试在小数据集上训练一个百万亿参数的模型。

表面上看，这听起来相当愚蠢。模型能访问的数据越多，它就会越聪明，对吧？为什么要浪费一整个训练集群去做一次受限的训练？因为如果 Gwern 是对的，当数据集受限时，grokking 更有可能发生5。如果你把世界上所有的数据都喂给模型，它只需记住更多新事物或建立简单的联系就能继续改进。如果模型必须对一小部分数据进行反复琢磨，它将被迫不断寻找更深层的泛化。你需要一个非常大的模型来实现这一点，这样它才能尽可能多地记住数据。每一块记住的数据都可以作为泛化的原材料。

大型实验室可能还没有这样做过。Gwern 本人很可能是个内部人士，他会知道情况，所以他写这篇文章本身就是实验室尚未尝试过的证据。此外，训练一个百万亿参数模型所涉及的工程问题可能尚未解决：目前最大的模型可能是 Claude Mythos，它肯定没有这么大。但他们有资源和工程人才来好好尝试一下。

有趣的是，政治障碍可能和技术障碍一样难以解决。这次训练在成功之前看起来都会像是失败了：训练损失会相对较快地降到零，然后在几周或几个月内停滞不前，显然对改善测试损失毫无作用，同时消耗掉数十亿美元。顶级玩家中有谁有风险偏好或勇气一直为这个实验提供资金吗？

结论

Gwern 的文章有一个延伸论点，即人类大脑的发育也是以同样的方式运作的：人类大脑的“参数”远多于前沿 LLM，并且训练所用的数据要少得多6，这促使我们在幼儿时期做出更深层的泛化。我没有生物学或神经科学背景来评估这些主张，因此我在阐述 grokking 的理由时完全没有引用它。

在 2024 年，大家都清楚地看到，“纯扩展”——即只需训练越来越大的 GPT-3.5 版本的想法——是行不通的。OpenAI 的 GPT-4“更大版本”根本不够好，最终作为 GPT-4.5 而不是 GPT-5 发布。自那以后最大的进展是推理，它带来了能力的又一次巨大飞跃，以及更好的自动化 RL，这开启了当前可靠的智能体时代。这两者似乎都不是通向人工超级智能的合理路径。

我不知道我是否同意 Gwern 的观点，但迫使超大型 LLM 进行 grok 至少是一个可能开启“机器之神”的想法。我不记得上次读到如此雄心勃勃的简单想法是什么时候了7。我希望某个大型实验室能尝试一下。

如果你喜欢这篇文章，可以考虑订阅我的新文章邮件更新，或者在 Hacker News 上分享它。

这是一篇与本文共享标签的相关文章的预览。

C2PA 只有在所有内容都经过签名的情况下才有效。欧盟《人工智能法案》是欧洲全面监管人工智能使用的尝试。其中很大一部分是要求 AI 生成的内容必须是可识别的：要么打上水印，要么使用该法案所称的“数字签名元数据”。由于所有这些规定将在一个月后生效，因此有必要弄清楚这是否合理。我最近在《文本 AI 水印将永远很容易被移除》一文中详细讨论了 AI 水印技术。那么数字签名元数据呢？继续阅读...