更好的 AI 意味着什么?What will better AI mean?
文章探讨了当前前沿 AI 实验室(如 Anthropic)是否拥有超越公开技术的秘密训练方法。作者认为,所谓‘Claude Mythos’模型并无特殊技巧,其能力主要来自常规的大规模数据训练和工程优化。对于可验证的任务领域,提升性能只需修复 bug 和扩大规模。因此,作者指出 Anthropic 急于推动监管俘获,是因为 AI 行业缺乏真正的护城河。
我本来想发这篇论文,但打算把它重新命名为《Claude Mythos技术报告》。据我所知,美国前沿实验室并没有藏着什么秘密技巧,Mythos的训练方式基本上就是这样。论文里的东西确实有效,在可验证的领域里,只需要修复bug并扩大规模就行了。这就是为什么Anthropic如此迫切地想要监管俘获——AI没有护城河。
AI(以及任何形式的搜索)都有这样一个特性:投入的钱呈指数增长,而获得的回报却是线性的。所以我们暂时会生活在一个时代:理论上AI能解决非常困难的问题,但要做到这一点代价极高。
互联网已经被完全挖掘,产生了20万亿个优质token。对于一个Chinchilla最优模型来说,这仅相当于1万亿个权重(如果是稠密模型,训练量就是1e26次运算)。500GB就能把所有人类知识打包成一个易于查询的档案。相比之下,维基百科压缩后也有24GB。
技术发展遵循S型曲线,AI已经经历了好几轮。我知道自己来得有点晚,但我对“缩放即将停止带来新突破”这一趋势感到乐观。GPT-5.5已经到了一个地步,我几乎找不到能难倒它的问题。如果人类都无法察觉其“超人类智能”,那“超人类智能”到底意味着什么?
某些领域仍可能检测到这种能力。只要人类看到某个数字被优化到极低水平时感到惊叹,就算是一种检测。还有一些令人毛骨悚然的“美杜莎系统”会直接优化参与度,千万别直视它们。但一首歌要算“超人类”是什么意思呢?与理性崇拜者的信念相反,大多数事情都不是优化问题。真正困难的是确定该优化什么。
“通过扩大规模就能明显提升AI性能”的时代已经结束,现在我们进入了“效率与品味”的时代。让我们把这套工具分发出去,让更多人参与到这条S型曲线的终点冲刺中来。品味这个领域可以容纳无数人参与。
需要完整排版与评论请前往来源站点阅读。