RLVR在科学验证方面可能存在系统性缺陷RLVR might be disproportionately bad at science

我正在整理与迈克尔·尼尔森（Michael Nielson）访谈中探讨的一些观点。那期节目是我最喜欢的之一。

我和迈克尔·尼尔森访谈的核心问题是：“我们如何识别科学进步？”这个问题在思考人工智能能否完成强化学习（RL）验证闭环以推动科学发现时尤为关键。然而，从人类科学史的角度来看，这又是一个令人惊讶地神秘且难以捉摸的问题。

有些人认为人工智能在实现科学突破方面将具有不成比例的优势。他们认为的原因有两个：第一，科学是‘可验证的’；第二，AI 在那些具有紧密验证循环的领域——如编程、数学等——表现出色，因为可以在这些循环中进行强化学习。

但人类科学的历史表明，理论的验证周期可能长达数十年甚至数百年，而且即使如此，实验也未必能彻底排除其他可能性：古希腊人（公元前2世纪）就因日心说暗示了恒星视差而否定了阿里斯塔克斯（Aristarchus）的观点。直到1838年，弗里德里希·威廉·贝塞尔（Friedrich Wilhelm Bessel）才首次成功测量到恒星视差。

今天我们认为是更优的理论，在当时往往反而做出了更差的预测：众所周知，哥白尼（Copernicus）关于行星绕太阳做圆周运动的模型，其精度不如托勒密（Ptolemy）的地心模型，后者通过积累数千年的本轮修正来提升准确性。鲜为人知的是，哥白尼的学说在简洁性上也不占优势——托勒密的模型用偏心匀速点（equant）解释轨道的真实椭圆性质，即其他行星并非严格围绕地球做匀速圆周运动，而是围绕一个偏离中心的点运动。哥白尼对此不满，因为这违背了他的柏拉图式启发法，所以他摒弃了偏心匀速点技巧，导致模型变得不够简约，为此他不得不添加更多本轮和次本轮来弥补。

那么，1543年时它为何被视为更好的理论呢？某种意义上，它并不是！你无法预知日心说结合开普勒三定律（1619年）会形成一个更加清晰准确的体系，也无法预知日心轨道与地面引力之间存在如此优美的统一性（牛顿于1686年提出）。

但在1543年，确实有一个先验理由支持选择哥白尼：他的理论自然推导出行星的逆行现象，而托勒密则需要将其作为特设性补充。更令人印象深刻的是，哥白尼在1543年提出的理论实际上预言了金星的相位变化，而这些相位直到1610年才被伽利略观测到。不过，这两个结论同样可以从第谷·布拉赫（Brahe）的模型中推导出来——该模型设定太阳绕地球运行，而所有行星又绕太阳运行。

按照朴素证伪主义框架，人们必须等到1838年观测到恒星视差后，才能确定第谷是错误的。但显然，科学界的发展速度远快于此。科学进步过程中存在着某种判断与启发式的混合机制，我们对它的理解尚不足以清晰表述，更不用说将其编码进强化学习循环中了。

再比如1846年海王星的发现：天王星偏离了其牛顿力学预测的轨道轨迹。勒维耶（Le Verrier）推算出必有一颗未知扰动行星存在，并计算出它的质量与轨道位置，结果海王星几乎精确地出现在预测的位置上。

但海王星的故事是对失败案例的对称。水星存在异常进动——根据牛顿力学计算其他行星的引力影响，其轨道椭圆应每世纪旋转43角秒，而实际观测值多出这一数值。这促使天文学家推测水星轨道内存在一颗未知行星“维纳斯”。然而，1915年爱因斯坦提出广义相对论后，问题得以解决。

一个真正的牛顿主义者仍会推进研究议程，但会做出如下调整：首先预测存在一颗未知行星；若无法找到，则声称它太小，需要更大望远镜，于是建造更大望远镜；若依然找不到，可能解释为存在遮挡它的宇宙尘埃云；若仍未发现，则怀疑卫星仪器受某种未知磁场干扰，于是发射新卫星。每一步骤中，若能发现新行星、未知尘埃或新磁场，都将是对牛顿主义的重大胜利。

从先验角度看，这种做法并非不合理！只有在经历数十年甚至数百年修补后，我们才能分析：这些修正只是增加本轮，还是该理论框架具有进步性——即能预测原本无法预见的现象。

这些例子说明了什么？从先验角度看，几乎不可能判断哪些研究纲领是进步的（能预测并解释意外的新现象），哪些是退步的（需反复扭曲自身以容纳看似否证的新现象）。

但验证周期往往极其漫长且充满敌意，即便如此，实验也未必能明确排除替代理论（参见尼尔森播客中关于1880年代迈克尔逊-莫雷实验的讨论：当时物理学家认为它仅排除了以太的特定理论，唯有爱因斯坦彻底抛弃以太概念才完成这一认知飞跃）。

这意味着重大概念突破难以被轻易验证。它们通常在数十年或数百年后才被承认——届时发现这些突破远比当时可用的替代方案更具生产力。这对AI在科学中的应用意味着：1. 很难为重大概念突破训练强化学习循环。

而2. AI科学家的社会仍需要具备独特偏见和启发式方法的个体AI实例，并应数十年如一日地不懈追求——例如像爱因斯坦坚持不存在任意惯性参考系那样。应当有专门人员维持若干休眠的研究议程，以防其在后续探索中显现出价值。要理解这种为保留正确科学理念所需的顽固执着（即便面对反证），可参考以下故事：1815年，普劳特提出所有纯化学元素的相对原子质量均为整数，因为实验显示大多数元素确实如此。但存在诸多异常——例如氯的原子量实测为35.5。于是普劳特学派推测这些元素可能存在于不纯的化学物质中。然而似乎找不到能去除杂质的化学反应。后来他们又提出可能是完整原子量的分数形式，但随着测量精度提高，这些分数反而显得愈发不自然——氯从35.5变为35.46。直到近一个世纪后人们才意识到，这些测量值揭示的是同一元素的不同同位素，它们可通过物理方法分离，却无化学性质上的区别。

我想表达的是，事前无法预知哪个研究项目更具成效。我们必须同时投资所有方向。但这种投入在表象上，就像是一群科学家固执地坚持各自偏好的研究议程，显得极其不合理且冥顽不灵。

《物种起源》出版于1859年，而《数学原理》则发表于1687年，两者相隔两个世纪。从概念上看，自然选择理论似乎比引力理论简单得多。达尔文的同时代人托马斯·赫胥黎阅读《物种起源》后感叹：“竟然没想到这一点，真是太蠢了！”但从未有人对没能先于牛顿发现《数学原理》发出过同样感慨。我怀疑之所以如此，是因为虽然达尔文理论在概念上更简单，却无法被决定性验证。证据是间接的、回顾性的、累积性的。没有类似牛顿通过计算月球轨道周期和半径来验证其方程式的案例。

此外还需要"深时"（deep time）这一概念。查尔斯·莱伊尔于1830年出版《地质学原理》，为达尔文提供了自然选择所需的时间尺度。达尔文和华莱士几乎同时提出进化论（两人都承认莱伊尔的贡献），这确实表明这些被低估的思想支点至关重要（地质学、古生物学中的灭绝物种化石显示过渡类型（部分介于猿与人之间）、生物地理学基于航海与殖民时代的地理分布、更精细的人工选择实践如鸽子育种等）。有趣的是，一个数千年来对牧民和父母而言显然易见的观念，竟需历经数千年辅助性直觉思维才能完整阐明。

科学与技术领域的并行发现模式非常有趣，似乎与某些创新本可以更早发生的观点相矛盾。

无帖子