伪名末日Pseudpocalypse

这里有一个猜想：如果你在互联网上以不同的名字发布了大量文本，那么仅通过文本本身就能将这些身份关联起来。我认为这是可能的，因为你在所写的一切内容中都留下了统计意义上的“指纹”。

想象一下这样一个网站：你可以粘贴某人刚刚写下的全新文本。作为回报，该网站会提供该作者以任何名字发布过的所有文本的链接。它并不完美，但相当不错。据我所知，目前还没有这样的网站——至少在公共互联网上没有。但我怀疑这是可能的，而且很快就会变得很容易。这将对匿名博客带来一些困难。

注：我于2025年中期写了这篇文章的大部分内容，之后我愚蠢地把它搁置了一年，去修改那些你们根本不会读的定理表述。1 在此期间，LLMs 从文本中猜测作者的能力已经大幅提升。（只需给出这篇文章草稿的前1000个词，Claude 4.8 就知道是我写的。）尽管如此，我认为我们才刚刚开始。我预计会看到越来越不知名的作家被越来越少的文本片段识别出来。我预计即使人们在用不同的语域写作或写不相关的主题时，这种方法也能奏效。而且我预计，我以任何笔名写过的一切内容，很快都会被关联到我的真实身份。2

一个更强的猜想是，我们正走向某种普遍的“匿名末日”。也许在未来，如果你通过几乎任何高带宽渠道与世界互动，你都会暴露自己的身份。假设你在公共场合戴着面具，并且只通过向变声器默读来发声。没关系，你仍然会通过你的体型、步态或化学特征被识别出来。或者假设你不喜欢你的车到处被追踪，所以你不再带手机，并且不知怎么地说服立法者禁止车牌。没问题，你的车仍然会通过微小的划痕或引擎发出的独特爆震声被追踪。再或者假设你不喜欢在互联网上被追踪，所以你锁定了你的浏览器配置，只用 Monero 购物，并通过三个 VPN 链进行连接。那也没关系。你仍然会通过你向下滚动页面时手指摆动的方式被识别出来。我们都太独特了，信息论极限正在向我们逼近。

起始比特

让我们从第一性原理开始。想象一下，每个人在出生时都会被分配一个随机的二进制字符串。每当你在互联网上发布任何内容时，你都需要用该字符串对其进行签名。如果字符串非常短，比如 0110，那么很多其他人会和你拥有相同的字符串。但如果字符串非常长，那么你的字符串几乎肯定是唯一的，将你所有的笔名关联起来将变得轻而易举。

转折点在哪里？如果你只知道作者目前还活着并且居住在英语圈的某个地方，那么大约是 29 比特。这是因为如果有 K 位数，那么就有 2ᴷ 种可能的二进制字符串，如果 K = 28.86，那么 2ᴷ ≈ 490,000,000，这正是目前生活在英语圈的人口数量。如果字符串少于 29 比特，那么其他人很可能会和你共享同一个字符串。如果超过 29 比特，那么你的字符串很可能是唯一的。

我们（目前还？）不需要用政府发放的不可变字符串来为我们写的内容签名。但是，你的写作方式仍然会通过你的语气、性格、用词等为你提供大量线索。

从理论上讲，我认为只要一个人写得足够多，就有可能将其身份关联起来。再次想象一下，每个人在出生时都被分配一个随机的二进制字符串，但不需要你用这个字符串为你写的内容签名，而是每次你写一个词时，你的字符串中都有一定概率会暴露一个随机位，并将其作为签名添加到你的消息中。例如，可能会添加一个 bit[129]=1 的签名，表示你的字符串在位置 129 的值为 1。

可以把你的字符串看作代表了你所有的写作风格习惯，而一个位的暴露则代表你写出了某些能揭示偏好的内容。例如，也许第 18 位表示你更喜欢在破折号周围加上难看的空格 —— 像这样 —— 还是不加空格——像这样。如果你使用了破折号，那个位就被暴露了。

所以想象一下，你在 Pseudonym A 下写了很多内容，多到足以暴露完整的位字符串。也许它是这样的：

Pseudonym A: 
110000001111001101110000100001
010100100101011110111001101000
100111110010101001101010111010

现在假设你开始在 Pseudonym B 下写作。最初，没有任何位是已知的：

Pseudonym B: 
??????????????????????????????
??????????????????????????????
??????????????????????????????

但慢慢地，你会开始泄露几个位：

Pseudonym B:
?????00???1????1????????1??0??
?????01??1?????????11????01???
???1??????1???10??????????????

最终你会泄露大量的位：

Pseudonym B:
???0?00?1?11??110??1????10?0??
?10?001?0101?11???11100?101???
???11?1??010??10?1?01??011????

现在从一个想知道 A 和 B 是否为同一个人的“攻击者”的角度来思考这件事。假设他们只看到了上述的位，并且没有关于其他任何人的信息。那么攻击者知道的是：

直觉上，如果 K 是 5，那么所有位都匹配这一事实并不能证明什么，因为在 4.9 亿人中，很多人会偶然在这些位上匹配。但如果 K 是 70，即使一开始有这么庞大的基数，两个不同的人共享所有这些位的可能性也极小。事实证明，如果存在 N 个具有随机位的其他人，并且你选择了你的 K 个位，那么存在某个人与所有这些位都匹配的概率是 1 - (1-2⁻ᴷ)ᴺ。当 N 为 4.9 亿时，情况如下：

看，29 又出现了。（数学不是很奇妙吗？）通常，这种转变发生在当位数 K 满足 2ᴷ ≈ N 时，即 K = log₂(N)。

如果你在 Pseudonym B 下暴露的位数明显少于 29 位，那么几乎可以肯定有其他人也会与所有这些位匹配。但如果你暴露的位数明显多于 29 位，那么几乎不可能存在其他人与所有这些位匹配。因此，攻击者基本上可以确定 A 和 B 是同一个人。我再次强调：他们知道这一点，而不需要查看其他 4.9 亿人的任何信息。

当然，我们在写作时并不会字面意义上泄露不可变特征字符串的比特。但你可以让模型更贴近现实，同样的问题依然存在。如果你想反映出文本只提供关于作者的带有噪声的信息，那么你可以在比特被揭示之前向它们添加噪声。如果你想反映出某些写作风格比其他风格更常见，那么你可以让比特串的分布不均匀。如果你想反映出某些怪癖比其他怪癖更明显，你可以给不同的比特赋予不同的被揭示概率。所有这些都会让数学计算变得更复杂。但它们不会改变基本结论：如果你的写作风格包含至少 29 比特的信息，并且你写了足够多的内容，你就暴露了。

这就是我关于“伪末日危机”可能发生的论点。但我不仅想声称它最终可能会发生。我认为它很可能很快就会发生，而且你需要暴露的文本量并不大。为了论证这一点，我们需要具体化：人们有哪些特征会反映在他们的写作中？这些特征包含多少比特的信息？这些比特能从书面文本中被多准确地猜出？

注意：为了避免这变成一场冗长的信息论讲座，我大多会使用“比特”和“信息”这样的词，而不会对它们的含义做到百分之百的完全精确。我这样做是因为我预计大多数读到这篇文章的人并不是“比特定义狂热分子”，而且过于技术化反而会掩盖大局。如果你是信息论爱好者，和/或怀疑我是否知道自己在做什么，我建议你参阅下文的“致怀疑论信息论爱好者”一节。在此之前，请运用你的直觉并保持信任。

特征空间

假设除了我写了上述文字之外，你对我一无所知。再假设你必须猜测我的年龄、宗教信仰或职业。你能猜出来，对吧？虽然不会完全准确，但会比你在无法阅读这些文字的情况下猜得好得多。因此，不知何故，这些文字包含了关于我人口统计特征的信息。所以我试着列出了一些你从文本中至少能比随机猜测猜得更准的类似事物。以下是我想到的：

同样地，如果你只阅读了上述文字，你能猜出我有多外向或有多尽责吗？同样，不会完全准确。（当我遇到读这个博客的人时，他们通常似乎很惊讶我居然能在直射的阳光下生存。）但尽管如此，我相信你会猜得不错。所以，再说一次，这些文字包含了关于我性格的信息。

性格有哪些特征？HEXACO 模型列出了六个，即诚实-谦逊、情绪性、外向性、宜人性、尽责性和经验开放性。我怀疑，从足够长的写作样本中，这些特征都能以合理的准确度被猜出。但你能猜出更多吗？对于这六个因素中的每一个，HEXACO 模型都列出了四个“方面”。抽象地说，试图从文本中猜测 6 × 4 = 24 种不同的性格特征听起来很荒谬，但请看看它们：

如果你仔细想想特定的人，我想你能让自己相信这24个特征代表了真实存在的事物，而且从文本中猜测它们是合理的。（例如，你最喜欢的探讨存在主义焦虑和科学的博主，在“谦虚”这一项上的得分可能低于其他诚实-谦逊维度的特征。）不同的子因素肯定是相关的，但并非完全相关。

当然，从人们的写作中你能学到的最重要的一点是他们是如何写作的。他们会毫无意义地分裂不定式吗？他们会使用连字符连接的单词吗？他们会错误地放置状语从句吗？

利用写作风格特征来鉴定作者身份的想法至少可以追溯到1440年，当时洛伦佐·瓦拉证明了《君士坦丁的赠礼》——据说君士坦丁大帝在这份文件中将罗马帝国捐赠给了天主教会——使用的是君士坦丁死后400年才出现的白话，因此是一份伪造品。1851年，奥古斯都·德·摩根观察到，同一作者的平均单词长度往往是稳定的。第一次“现代”尝试似乎是在1964年，当时莫斯特勒和华莱士发表了《作者身份问题中的推断》：

这项研究[试图]解决《联邦党人文集》的作者身份问题；[…] 词频是用于区分的变量。由于所写的主题会严重影响某个词的使用频率，因此必须谨慎选择词汇。语言中的填充词，如 an、of 和 upon，以及更广泛意义上的冠词、介词和连词，提供了相当稳定的频率，而像 war、executive 和 legislature 这样更有实际意义的词则不然。在调查了这些词频的分布之后，作者们执行了一项[…]基于贝叶斯方法的分析。关于作者身份问题的结论是，所有12篇有争议的文章都是由麦迪逊而不是汉密尔顿写的。

明白了吗？关键在于，你对 war 这个词的使用主要取决于你是否碰巧在谈论战争。但你对 upon 的使用主要取决于你有多喜欢 upon 这个词。为了证明这一点，他们提取了汉密尔顿写的48篇文章和麦迪逊写的50篇文章，并制作了这张表格，统计他们使用 by、from 和 to 的次数：

麦迪逊喜欢用 by。汉密尔顿则更偏爱 to。利用这类统计数据，他们得出结论，那些有争议的《联邦党人文集》文章一定是麦迪逊写的。

所以我做了一些研究，寻找其他被认为在人们撰写不同主题时保持稳定的写作风格特征。我发现有很多。数量之多，以至于我甚至很难将它们组织成有意义的类别：

低级频率：

词汇特征：

句法特征：

风格特征：

规则偏好特征：

个性化特征：

这已经很多了。肯定还有更多。而且这些都是人类用我们小小的脑袋想出来的“浅层”特征。我强烈怀疑，通过在足够大的数据集中寻找统计模式，还能发现更多“深层”特征。其中许多特征甚至可能没有连贯的英语描述。但它们依然存在，为那些寻找它们的人提供信息位。

所以我们在写作时会泄露关于许多不同事物的信息。但是泄露了多少信息呢？是否有可能说出需要多少个词才能唯一地指纹识别一个人？

不。作为一阶近似，答案是否定的。但作为二阶近似，也许可以？在一个数量级之内？我会尝试，但这将会很困难。

人口统计学信息位

文本通过年龄、性别等人口统计特征能提供多少比特的识别信息？

乍一看，这似乎是一个危险的问题，因为它取决于你认为这些事物有多少个类别。以性别为例。出于去匿名化灾难的目的，你对于性别应该如何定义或存在多少种性别的看法是无关紧要的。更细致的分类总是能提供更多信息，而我们那些试图去伪名化的攻击者朋友们只要有可能就会利用这些信息。然而，将性别分为两个以上的类别并没有太大区别，因为额外的类别很难被猜中，而且即使你能猜中，低流行率的类别也不会贡献太多额外信息。3 因此，对我们来说，两个类别是正确的答案。

那么年龄呢？乍一看，将年龄转换为一组类别似乎毫无意义。如果你按毫秒来编码年龄，那么在过去100年出生的人就有3.156万亿个类别。如果你按十年来编码年龄，就只有10个类别。这里需要注意的是，虽然你可能通过我的写作方式猜出我出生的年代，但你绝对没有可能猜中毫秒。（看出我的用意了吗？出生在某些年代的人更有可能使用像“绝对没有可能”这样的表达？4）如果我们认为年龄有某种疯狂的类别数量，我们之后就必须打折以反映猜测的难度。我的直觉是，很难将年龄猜得比五年左右更精确，所以20个类别似乎是合理的。

遵循这种逻辑，我为每个人口统计变量选择了一定数量的类别，试图达到能从文本中猜测的上限。（我将在下面提供实际的类别。）

如果每个年龄区间的可能性相等，那么知道某人属于哪个区间将提供4.32比特的信息，因为当K = 4.32时，2的K次方约等于20。对每个特征进行相同的计算，就能得出它们所能包含的最大信息量。

但这里有个问题。年龄在30-35岁的人比90-95岁的人多。因此，即使你能完美地猜出这些年龄区间，它们平均提供的信息量也会少于4.32比特。然而，事实证明，类别必须变得非常不均匀，信息量才会大幅下降。完美的50/50平衡分布提供1比特的信息，但如果你切换到60/40的分布，你仍然能得到0.971比特，而且你需要达到几乎90/10的比例，信息量才会下降到0.5比特。5 当类别超过两个时，基本情况也是如此。6

因此，我检查了所有这些特征，根据人们分布的不均匀程度对它们进行了评级，并试图相应地对比特数进行打折。我将原始类别是什么以及我如何打折的完整细节放在了脚注中。7

但还有另一个问题。居住在苏格兰的65至70岁亚洲女性，其{职业、家庭状况、宗教信仰}往往不同于居住在澳大利亚东南部的15至20岁拉丁裔。也就是说，上述特征是相关的。因此，当你观察更多特征时，它们逐渐变得不那么令人意外，从而提供的信息也就更少。

会少多少？要正确回答这个问题，我们需要估算一个人落入 20 × 6 × 6 × 2 × 11 × 3 × 3 × 2 × 23 × 3 × 3 × 23 × 3 × 2 = 8,144,737,920 个联合类别中每一个的可能性。这似乎很难。但一个并非完全荒谬的近似是，如果一组变量在 ρ>0 的水平上都是两两相关的，那么总信息量可能会减少 ρ 的比例。8

那么这些特征的相关性有多高呢？在社会科学中，0.5 的相关性被认为是相当高的。这对于某些变量对来说是合理的，例如年龄与健康，或政治倾向与宗教信仰。但许多相关性可能相当弱，例如年龄与母语，或地区与性别与婚姻状况。9

总体而言，我猜测相关性使总信息量减少了至少 10%，但我怀疑它们减少的幅度不会超过 60%。因此，我认为上述特征中的总信息量（如果你能完美猜出类别的话）在 10.6 到 23.9 bits 之间。我们取平均值，将其称为 17.2 bits。

性格 bits

性格特征呢？让我们使用与人口统计特征相同的方法，但更快一些：首先，为了遵循 dynomight 的性格表示法，我们给 24 个性格特征中的每一个分配五个分箱。这将对应于总共 24 × 2.32 = 55.68 bits，因为当 K = 2.32 时，2ᴷ ≈ 5。

然后我们需要对相关性进行折减。HEXACO 的六个主要性格因素被设计为不相关的，但每个因素内部的不同“侧面”是相关的（通常系数在 0.3 到 0.6 之间）。使用 0.3 的总体折减系数来反映因素内部强相关但因素之间弱相关似乎是合理的。这表明总体为 39.0 bits。

风格 bits

那么写作风格特征呢？它们包含多少信息？

这似乎很难。一些特征，比如字符 n-grams，实际上本身就是长长的特征列表。（输入 aaa 的频率，输入 aab 的频率，等等。）然而，这些特征中许多包含的信息很少，因为几乎每个人输入 zqx 的频率都在 0% 左右。而且，当然，写作风格特征也是相关的，因为把 realize 写成 realise 的人不太可能在破折号周围加空格。

在没有更好主意的情况下，我将为上述风格特征列表中的每个叶节点分配一个 bit。我将其视为给每个特征两个分箱，然后假设特征的不均匀分布和相关性（这会减少信息）被以下事实所抵消：许多特征值得拥有不止一个分箱，并且可能还有更多未列出的“深层”特征（这会增加信息）。这给了我们一个可疑的整数 50.0 bits。

猜测 bits

如果你相信上述数字，那么我们在写作时留下的识别信息线索至少有 17.2 + 39.0 + 50.0 = 106.2 bits。这相当多。如果你能看到所有这些特征，即使在一个拥有 9300 亿亿亿人口的星球上，这也足以识别出个人。

但要论证“伪末日”即将来临，仅仅论证这些 bits 的存在是不够的。我们需要论证它们能够并且将会从相对少量的文本中被猜出来。

显然，我们需要谈谈核武器。在核爆炸中，会产生许多不稳定的原子。这些原子会自发衰变成更稳定的原子，并在这一过程中释放辐射。有些类型的原子非常急于衰变，这意味着它们会释放大量辐射，但在几周内就会消失（iodine-131）。另一些则不情愿衰变，这意味着它们释放的辐射较少，但会存留数十年（strontium-90）。还有一些会存留数百万年，但它们产生的辐射极少，因此不是什么大问题（cesium-135）。因此，核爆炸后产生的残余辐射是许多不同指数曲线的总和，爆炸期间产生的每一种同位素都对应其中一条曲线。

我怀疑文本中的身份识别比特（bits）也有点类似。你的正式程度和平均句子长度几乎会立刻暴露。你对拉丁语源词汇与日耳曼语源词汇的偏好则需要一段时间才能显现。而你的社交胆识以及你住在昆士兰州而非澳大利亚东南部的事实，则会非常缓慢地暴露出来，也许慢到实际上根本无法察觉。

没错。那么，如果你一开始有 106.2 个比特，在写下一定数量的单词后，你会暴露其中多少个呢？

我将通过“编造数据”这一高尚的方法来回答这个问题。但首先，让我们校准一下。你刚刚读了我写的 4500 个单词。你能多准确地猜出我的人口统计特征和性格特征？作为一次合理性检查，我把上述文字交给了 LLM 并让它猜测。它的表现好得令人不安。它并不总是对的，但通常都是对的，而且在评估各项预测的置信度方面做得非常出色。

我不认为这有什么神奇的解释。事实是，如果你观察个体性格和人口统计特征，猜测它们其实并不难。所以我确信你也能做得一样好。如果给予足够的时间，我很确定你在写作风格特征方面会做得更好。

即便如此，你可能并不擅长这个。以 GeoGuessr 为例，人们根据随机照片猜测世界上的某个地点。普通人表现一般，但如果你挑选出那些极具天赋的人并让他们疯狂练习，他们就会变得非常厉害。我也不认为 LLM 在从文本中猜测特征方面特别出色。它们并没有受过这方面的训练。这只是它们通用智能的一种涌现属性。信息论上的极限肯定要高得多。

所以这里有一个非常粗略的估计：在 4500 个单词之后，我认为有可能猜出大约：

如果我们用单独的指数模型对它们进行建模，并分别从 17.2 / 39.0 / 50.0 个比特开始，那么在写下一定数量的单词后，仍然隐藏的身份识别比特总数如图所示：11

瞧，当你泄露 29 个比特时，你的化名身份就被破坏了，这发生在写下 1071 个单词之后。

认真的吗？

当然不是。上述图表建立在一座摇摇欲坠的脆弱假设之塔上。我之所以详细推导那条曲线，并不是因为你应该相信它，而是因为我认为看到这些计算过程会让以下几点难以反驳：

在选择特征、分配类别数量、估计这些类别间的分布、对相关性进行折算以及猜测有多少区间可以被猜出等方面，我做出了许多值得商榷的选择。这些选择单独来看都有些可疑。但上述观点有相当大的误差范围作为支撑。你可以做出不同的选择，但似乎很难避免得出上述三个观点为真的结论。12

这会如何运作？

你可能会想，为什么我要用这么多虚构的数字。毕竟，有一整个领域专门致力于从文本中识别作者，通常被称为“文体学”或“作者归属分析”。他们有研究论文、比赛等等。然而，据我所知，目前最先进的已发表成果大概是这样的：

听起来还不错，但这只是在约 50 名作者的范围内进行识别。要使我的主张成立，就必须在 4.9 亿人中也能达到类似的准确率。这可是七个数量级的差距。

问题在于，那些论文使用的方法非常薄弱。上述所有的数学计算都假设你是在“信息论极限”下运作，完美利用了所有可用信息。如果你想接近这个极限，我们现在大概知道该怎么做：你应用“现代”机器学习的配方，即海量数据集 + 巨型神经网络 + 在 GPU 上花费的巨额资金。我猜测，对我们来说，这可能需要“人类有史以来写过的所有文字” + “数百亿参数” + “数千万美元”的量级。我找不到任何一篇论文哪怕稍微接近这种尝试。

所以我认为这些论文并没有告诉我们太多信息，就像用几本书训练出来的三阶马尔可夫模型并不能告诉我们计算机在写作文本方面能有多好一样。LLMs 已经表明，如果你使用上述配方，计算机就可以在生成文本方面接近信息论极限。13 因此，我怀疑在 LLM 级别的投入下，识别作者也能实现同样的效果。

你可能还会想：为什么我要把这当作某种可能的未来技术来谈论？这项技术不就是 LLMs 吗？

我怀疑这项技术在如何对人类语言进行建模方面会非常像 LLMs。但目前的通用 LLMs 并没有针对这项任务进行训练。它们在这方面擅长纯属“偶然”。因此，就像专门的国际象棋 AI 在下棋时能碾压 LLMs 一样，我怀疑专门的文体学方法在文体学上也能碾压通用 LLMs。只是这些专门的文体学方法似乎还不存在，或者至少没有公开。14 所以，即使你假设通用 LLM 的进展在今天停止，我们也不应该认为当前的 LLMs 已经接近可能达到的极限。15

对策

如果这一切都是真的，我们能做些什么？

最明显的“对策”就是习惯它。我的意思是，想象一下我们确实生活在一个每个人字面意义上都必须用一串唯一且不可变的字符串来为他们写的所有东西签名的世界里。会发生什么？我预计会是以下情况的混合：

这里有很强的历史类比，因为在过去20年里，许多政府和技术公司实际上已经规定，人们必须用真名为自己写的内容署名。

这些影响似乎因周围的文化和政治体制而有很大差异。总的来说，我的印象是，人们已经对“同事可能会看到自己的交友资料，或者知道自己去参加兽迷大会”这类事情感到坦然得多。我乐观地认为，文化将继续适应并尊重我们每个人都具有多面性这一事实。这似乎是健康的。

有些影响显然是积极的。自我审查未必是坏事。例如，在某种程度上，实名制肯定能阻止一些青少年参与网络欺凌。但另一方面，你曾经也是个青少年吗？我很确定，对于任何“与众不同”的人来说，将这些差异向全世界广播会制造出一个大得多的“被欺凌面”。因此，影响是喜忧参半的。而且，成年人与青少年的区别并没有我们希望以为的那么大。

二十年前，我可能会预测实名制会打消人们在网上表达有争议的政治观点的念头。表面上看，这似乎完全错了。至少在西方，很多人非常乐意表达少数派的政治观点，如果你哪怕有一点不同意，那你就下地狱去吧。但我也倾向于认为这掩盖了大量的自我审查，大多数人不想卷入政治上的殊死搏斗，因此被一个充满活力的少数派吓倒。而且，显然，某些国家的人知道批评执政党是不明智的。因此，习惯这种情况充其量只是一个不完美的解决方案。

另一种对策是不开发这项技术，或者不将其广泛普及。在短期内，这似乎是可行的。据我所知，多年来，一个资金适中的团队一直有能力开发出一款手机应用，只需一张照片就能识别出街上的大多数人。然而，阅读本文的读者中几乎没有人能用到这样的应用。如果通用 LLMs 在文体分析方面继续取得进步，AI 公司完全有可能认定这是一个安全问题，并训练他们的 AI 拒绝执行此类操作。16 这可能会奏效一段时间。

但如果这项技术是可行的，那么政府肯定会去开发并使用它。他们可能会试图阻止普通人掌握它。某些政府可能会限制自身的使用。我那些注重隐私的盟友似乎总是很悲观，但如果最高法院宣布 FBI 在对美国公民进行去匿名化之前需要搜查令，我一点也不会感到惊讶。然而，当/如果这项技术变得足够便宜，似乎很难阻止普通人和/或恶意行为者掌握它。我猜测，有可能创建一个几百 GB 大小的程序，并且可以在大多数现代笔记本电脑上（缓慢地）运行。如果那个程序被公开，就很难再把精灵收回瓶子里了。

此外还有技术上的应对措施。最显而易见的是，你可以将你的文章通过一个“过滤器”来尝试去除可识别的比特，例如让 LLM 重写它。很难确定这会有多有效，因为我们无法准确估计你一开始留下了多少比特，或者这会去除多少比特。但我猜想，如果谨慎操作，这会相当有效。原因在于，相对于识别你所需的比特数，你在写作中留下的可识别比特可能并没有那么多。如果你将写作“同质化”，去除所有风格和个性，你应该能够去除大部分比特。理论上，你仍然会泄露一些信息。但我认为这会大幅增加你在保持匿名的同时所能写作的数量。17

但仔细想想，这让我感到难过。实际上，这种应对措施是通过抹除文章中所有人类痕迹来维持匿名性的。这似乎对匿名的“坏”用途很有效，比如网络欺凌或协同暴力，但对“好”的用途根本不起作用，例如，有些人喜欢匿名写作，因为他们觉得这能让他们更诚实、更展露脆弱、更完整地做自己，该死的。

广义匿名末日

也许这不仅仅适用于写作。也许这只是我们宇宙的一个特征：只要你以任何实质性的方式与世界互动，就会留下能够识别你身份的痕迹。

据我所知，总体趋势是，如果不采取反制措施，几乎所有事物都能被识别出来。反制措施会增加识别难度，但成本高昂，而且总体而言，这场军备竞赛似乎更有利于识别者，而不是不想被识别的人。

我要强调的是：这并不完全是坏事。一场广义的“伪末日危机”是好是坏，取决于社会的结构。毕竟，文明的基础是找到让人们达成交易的方法，而且可以说，隐私的减少让这变得更容易。考虑到我们生活在一个脆弱的世界里，很容易创造出毁灭文明的技术，也许我们非常幸运能发现自己身处一个没有隐私的世界。尽管如此，我确实担心隐私长期以来为法律和规范提供了一种“缓冲”。从历史上看，这种缓冲限制了机构执行其规则的权力。如果隐私正在消失，我们需要思考如何保留这种缓冲，尤其是在机构不希望保留的时候。

附录：写给持怀疑态度的信息论爱好者的章节

在上文中，我试图估算写作中包含的识别信息比特数。但什么是“比特”呢？一般来说，如果 x 是一个离散随机变量，那么 x 的香农熵（以比特为单位）就是 H(x) = ∑ₓ p(x) log₂(1/p(x))，其中求和遍历 x 可以取的所有值。该值始终介于零和 x 可取值数量的对数之间。

这没问题，但“写作风格”并不是一个具有离散类别的离散变量。那么我该如何估算写作风格的熵呢？简短的回答是我做不到。我在上文实际估算的，是写作与写作风格之间的互信息。

令 s 为代表写作风格的随机变量。可以把它想象成某种高维连续向量，代表了不同人写作方式的所有独特之处。令 x 为某个长度的写作样本。它是离散的，因为我们可以在数字计算机上表示写作。那么我在上文估算的就是互信息 I(x;s) = H(x) - H(x|s)，其中 H(x|s) 是给定 s 时 x 的条件熵。这可以用比特来衡量，因为 H(x) 和 H(x|s) 都可以用比特来衡量。所以这就是我上文的估算真正表达的意思：I(x;s) ≈ 106.2 比特。

现在，你可能仍然会持怀疑态度。在上文中，我隐含地假设了类似以下的情况是成立的：

当且仅当识别特征与写作之间的互信息至少为 log₂(N) 比特时，才有可能以较低的准确率从 N 种可能性中识别出某个人。

这就是我证明假名在大约 29 比特时就会被破解的依据。但这真的成立吗？严格来说，并非如此。实际上，更严格地说，它“甚至连错误都算不上”，因为它不够精确，无法判定真假。但据我所知，基本上该陈述的任何精确版本都是错误的。然而，如果你添加一些额外且不算太离谱的假设，就有可能找到该陈述的某些正确版本。

首先，让我们考虑一个极其简单的信息泄露模型。

定理。假设世界由你和其他 N 个人组成，并假设每个人都有一个二进制身份串，从 M 位二进制串的分布中均匀抽取。攻击者知道所有这些串。假设你选择某个包含 K 位的子集并将其公开。那么这能识别出你的概率为

(1-2⁻ᴷ)ᴺ.

此外，为了将被识别的概率保持在

(1-1/N)ᴺ ≈ exp(-1) ≈ 36.7% 以下，

必须满足 K ≤ log₂(N)。

证明。所有 K 个观察到的特征与人群中任意随机个人发生碰撞的概率为 2⁻ᴷ。因此，在检查了 N 个人的群体后没有发生碰撞（意味着你是唯一与观察到的特征相匹配的人）的概率为 (1-2⁻ᴷ)ᴺ。 □

这很简单。但这根本不现实，因为它假设人们拥有不可变的二进制串，并将其泄露到他们的写作中。我们能让它更现实一些吗？

嗯，有一个简单的下界。也就是说，我们通常可以说，如果互信息明显小于 log₂(N)，那么就不可能可靠地识别出某人。

定理。假设随机选择 N 个人，并且他们完整的写作风格特征被公开。从该组中选择一个人并生成一个写作样本。然后，攻击者必须猜测是谁生成了它。攻击者的平均成功率（在随机群体、作者的随机选择和随机写作样本上取平均）最多为 (I(x;s)+1)/log₂(N)。

证明。设 S=(s₁, s₂, s₃, …) 为 N 种风格的集合，并设 n 为指示选择了哪个人的随机变量。Fano 不等式表明，最高可能的成功率受限于在写作风格集合条件下，写作样本 x 与身份 n 之间的条件互信息，即成功的概率最多为

(I(x;n|S)+1)/log₂(N)。

然而，我们可以将该条件互信息界定为

I(x;n|S) ≤ I(x;n,S) = I(x;n,sₙ) = I(x;sₙ) = I(x;s)。

第一个不等式是标准的。第二步利用了这样一个事实：在给定 n 的情况下，写作 x 与除所选作者之外的所有风格条件独立。第三步利用了在给定 sₙ 的情况下，n 与 x 条件独立这一事实。最后一步利用了 (x,sₙ) 与 (x,s) 同分布这一事实。代入这个界限即可得到所声称的结果。 □

因此，如果互信息远小于 log₂(N)，即使攻击者完美地知道所有的风格向量，可靠的识别也是不可能的。所以，只要你不泄露那么多位，你肯定是安全的。

但是逆命题成立吗？泄露超过 log₂(N) 位总是会识别出你吗？一般的答案是否定的。基本问题在于 I(x;s) 是普通人在普通写作样本中泄露的平均信息量。在没有进一步假设的情况下，你可以构造这样的场景：一些罕见的人和写作样本包含巨量的信息，但大多数人通常什么都不泄露。这意味着攻击者在某些情况下非常确定，但通常什么也了解不到。

因此，为了确保识别实际上是可能的，你需要做出某种额外的假设，即信息泄露率在不同的作者之间或他们所写的不同内容之间不会有太大的差异。

假设 p(x,s) 是写作风格 s 和写作样本 x 的联合分布。假设攻击者知道某个人的真实风格向量 ŝ。然后，他们会得到一个写作样本 x，该样本要么来自该人，要么来自随机选择的人，并且必须判断是哪种情况。形式上，攻击者的目标是猜测 x 是从该人的写作分布 p(x|ŝ) 中采样的，还是从总体边缘分布 p(x) 中采样的。直觉表明，攻击者的最佳策略是查看比率

p(x|ŝ)/p(x),

如果该比率高于某个阈值，则“接受” x 认为其来自 ŝ，否则拒绝。事实上，Neyman-Pearson 引理在非常强的意义上保证了这是最优策略：该比率包含了做出该决定有用的所有信息。

现在有一件有趣的事情：攻击者可以不看比率，而是看比率的对数。由于它是单调的，所以这没有区别。但是，如果你取该比率的对数，并对人和文本取期望，你会得到什么？嗯：

𝔼 ln (p(x|s)/p(x)) = 𝔼 ln (p(x,s)/(p(x) p(s))) = I(x;s)

这就是互信息！因此，直觉上，互信息是攻击者“平均”了解作者风格的程度，这里的平均是针对作者和文本的。

下面的定理将考察具有特定风格的作者在文本中的平均信息。我将其定义为

D(s) = KL(p(X|s) || p(X))。

直觉上，这表示具有风格 s 的人的写作与总体平均水平的差异程度。这是因为如果你在不同风格上取该值的平均值，你就会得到互信息。即，I(x;s) = 𝔼[D(s)].18

定理（非正式）。假设攻击者将观察一些文本，并希望将其分类为来自具有特定已知风格 ŝ 的作者，或来自具有随机风格的某个人。假设攻击者只愿意容忍较小的假阳性风险 ε。如果 D(ŝ) 明显大于 -ln(ε)，并且随机写作样本中揭示的信息量的方差是有界的，那么攻击者可以实现这一目标，同时将假阴性风险保持在非常低的水平。

定理。令 D(ŝ) = KL(p(X|ŝ) || p(X)) 为目标写作分布与边缘分布之间的散度。同时，定义 qₜ(x) ∝ p(x|ŝ)ᵗ p(x)¹⁻ᵗ 为在这两个分布之间进行插值的分布族。为了将 ŝ 的“信息泄露”变化不大的想法形式化，我们假设存在某个常数 V，使得对于 0 < t < 1，在 qₜ 下 log(p(x|ŝ)/p(x)) 的方差以 V 为界。

那么对于满足 exp(-D) < ε < exp(-D + ½ V) 的任何 ε，攻击者有可能同时实现假阳性率 FPR ≤ ε 和假阴性率 FNR ≤ exp( - ½ (D+ ln ε)² / V)。假阳性率反映了在写作样本 x 来自随机选择的其他人的情况下的错误率，而假阴性率反映了在写作样本 x 实际来自具有风格 ŝ 的人的情况下的错误率。

证明草图。设 f 为 l(x) = log(p(x|ŝ)/p(x)) 关于 p(x|ŝ) 的分布，设 g 为 l(x) 关于 p(x) 的分布。所述方差假设意味着对于 -1 < u < 0，存在二次界 K(u) ≤ D u +½ V u^2，其中 K 是 f 的累积量生成函数。观察到 g 是 f 的指数倾斜。攻击者的策略必须是：如果 l 高于某个阈值 c，则“接受” x 认为其来自 ŝ，否则“拒绝”它。在 f 下对 l 小于 c 的概率使用 K 进行 Chernoff 界限制，可得上界 FNR ≤ exp( - ½ (D-c)²/V)。现在，利用 g(l) = exp(-l) f(l)，在 g 下对 l 超过 c 的概率再次使用 K 进行 Chernoff 界限制，可得上界 FPR ≤ exp( -c - ½ (D-c)²/V)。当 D-V < c < D 时，这两个界同时成立。设定 c 使得假阳性界等于 ε，则得到 FPR ≤ ε 且 FNR ≤ exp( -½ (V - √(V² - 2V(D + ln ε)))²/V)。利用 0 ≤ x ≤ 1 时 √(1-x) ≤1-x/2，后者可以放宽为所述结果。 □

现在，假设攻击者想要找到一个特定的人，且该人的特定风格 s 已知。再假设攻击者有一个包含 N 个人的候选池，并且会看到每个人的一个写作样本，但希望在看到每个人的一个样本后，将总假阳性概率限制在 δ。那么，他们将需要

(1-ε)ᴺ ≈ exp(-εN) = (1-δ),

这可以通过 ε ≈ δ/N 来满足。将其代入前面的结果可知，攻击者可以将总假阳性风险保持在 δ，同时达到的假阴性风险为

FNR ≤ exp( - ½ (D(s) + ln δ - ln N)² / V).

这些结果使用自然对数，因为如果以纳特（nats）为单位衡量信息，数学计算会更容易。如果以比特为单位衡量信息，则会得到 log₂ δ 和 log₂ N。（需对 D 和 V 进行适当的缩放。）

因此，同样地，只要用户 s 的平均信息量显著大于 log₂ N，攻击者就能以极小的假阳性风险识别出该用户。

一些作者可能会泄露更多信息（D(s) 较高），而一些作者可能泄露较少信息（D(s) 较低）。但请记住，I(x;s)=𝔼 D(s)。因此，只要人与人之间的信息泄露差异不大，并且假设 I(x;s) 远大于 log₂ N（并假设满足方差条件），几乎所有人都可以被识别出来。

遗传力难题 · 科学 · 数学 · 努力

请显示大量数字 · 写作 · 数学

善用或恶用坐标轴线 · 写作 · 数据 · 数学

与风险比共存的生活 · 科学 · 健康 · 数学