只有一个糟糕的AI情景There is only one bad AI scenario

我曾追问AI悲观主义者关于AI如何确切地毁灭我们的具体机制，但从未听到过令人信服的答案。我认为像《终结者》中人类被失控AI大规模对抗的场景，以及“灰色粘质”自下而上的吞噬场景，都属于科幻式的统治幻想。这两种假设都严重偏离了当前现实，过于离奇而不可能成立。但遗憾的是，人类作为开放式进化过程的终结，并不需要这些极端前提。真正的危险在于：AI持续优化着驯化社会的现有损失函数。

人类虽曾忍受过残酷的制度，但本质上仍是进化产物。任何极权控制系统必须能代际延续——它不仅要控制成年人，更要培养出能在其中生存、维护并传承该制度的下一代。而人类的繁殖方式决定了必然存在进化随机性，熵总会局部显现，现实无法被绝对掌控。

我不确定是否可行，但若存在AI的坏结局，那将是与现实之外无实质关联的单一实体。这种局面不会通过希特勒式的语言实现，而是通过行政语言达成。为安全起见，现实必须被中介化。

想想看：若我们拥有技术能力，是否应放任谋杀发生？性侵？疾病？霸凌？种族主义言论？

过去十年间，人类在这些议题上的冲动已反复显现。“安全至上”的主张几乎难以反驳。当前的安全措施看似陈旧，但我认为这并未改变根本趋势。对比美国使用纸质新冠疫苗接种卡（50年前尚不存在加密技术）与欧洲采用真正加密技术的做法，可见技术正日益成为现实的中介工具——为了你的安全，为了便利，为了让社会可识别，将你纳入管理体系。

仅凭这种冲动本身即便全员践行，也不足以导致灾难性后果。尽管系统规模可能扩大，关键问题在于多少独立系统仍存留。一个简单指标是：多少群体仍能实施有效暴力？不仅包括人类群体，细菌等微生物也算在内。

可能存在其他局部危害，但唯一的世界末日情景是形成单一实体。不是单个服务器上的巨型模型，而是没有外部制约的有效控制层——无人能对其施加成本，无竞争系统可绕行，无不受控的进化过程能出其不意。

所有以安全之名阻止的暴力，使该系统不再对现实负责。它脱离了进化约束，无法从外部修正。这就是终点。

我无法断言其可能性，但若设想一个合理的AI末日图景，便是如此。非人与机器大战，而是缓慢且受控的进化终结，很可能在进一步追求人类驯化的过程中实现。