Kimi K3，以及我们仍能从鹈鹕基准测试中学到什么Kimi K3, and what we can still learn from the pelican benchmark

2026年7月16日

中国AI实验室Moonshot AI今早发布了Kimi K3，称其为“迄今为止最强大的模型，拥有2.8万亿参数”。目前可通过其网站和API使用，但承诺“在2026年7月27日之前”发布开放权重版本。

Moonshot将其称为首个“开放3T级别模型”（我猜他们把2.8万亿四舍五入到了3万亿），从DeepSeek的1.6T v4 Pro手中夺得了桂冠。他们自测的基准测试显示，K3在多数情况下击败了Claude Opus 4.8 max和GPT-5.5 high，但输给了Claude Fable 5和GPT-5.6 Sol。

Artificial Analysis关于该模型的报告中的几个亮点：

该模型目前也是Arena.ai前端代码竞技场上的领先模型，甚至超越了Claude Fable 5。

新模型的定价引人注目：每百万输入token 3美元，每百万输出token 15美元，使其与Anthropic的Claude Sonnet系列处于同一水平，并使其成为迄今为止中国AI实验室发布的成本最高的模型。这比他们早期的模型（如Kimi K2.6的0.95美元/4美元）有显著增加。2.8万亿参数也是那个1T模型大小的两倍多。

但它的“鹈鹕”表现如何？

我使用OpenRouter（为了避免注册Moonshot API密钥）和llm-openrouter插件生成了一张鹈鹕骑自行车的SVG图像：

llm -m openrouter/moonshotai/kimi-k3 'Generate an SVG of a pelican riding a bicycle'

这是记录。它看起来像这样：

那只鹈鹕消耗了95个输入token和16,658个输出token（其中13,241个是推理token），总成本为25美分！

由于K3接受图像输入，我用上面渲染的SVG运行了它（带有我的替代文本提示），并得到了以下结果（花费0.6美分）：

卡通插图，一只戴着红围巾的白色鹈鹕，骑着红色自行车行驶在带有白色虚线的灰色道路上；鹈鹕有巨大的橙色喙和正在踩踏板的橙色蹼足，身后有白色的运动线条；背景是浅蓝色的天空和白云、一轮黄色的太阳、两只飞行中的黑色小鸟，前景是长着细小白花的绿草

我们能从这只鹈鹕身上学到什么？

我的“生成一张鹈鹕骑自行车的SVG”测试现在已经有21个月了。它从来就不是一个特别好的基准测试。它最初是个玩笑，吐槽比较这些模型有多么荒谬地困难，但在第一年里，它却出人意料地与模型实际表现的好坏有着惊人的相关性。

这种联系现在基本上已经断了。GPT-5.6和Claude Fable 5的鹈鹕被GLM-5.2超越了，尽管我很喜欢GLM，但我并不认为它是一个Fable级别的模型。

（我仍然不相信实验室在针对这个基准测试进行训练——如果是的话，我期望看到好得多的结果。不过，Gemini有可能针对任何动物在交通工具上的组合进行了优化！）

鹈鹕测试最大的局限性在于，它完全没有触及当今模型最重要的一点：智能体工具调用，以及在对话长度增加时可靠操作工具的能力。

所以不要用鹈鹕来比较模型！

尽管如此，我自己运行这个基准测试仍然获得了相当大的价值。

首先，这是一种强制自己实际试用模型的机制。如果我给你展示了一只鹈鹕，那就意味着我已经成功运行了提示词。如果模型有官方 API，我就会使用它；如果它是开放权重的（并且足够小，能在 128GB M5 MacBook Pro 上运行），我会尝试在自己的机器上运行它，通常是通过 llama.cpp、LM Studio 或 Ollama。我经常使用 OpenRouter，因为它通常能提供官方 API 的代理，而我不需要新的 API 密钥。

我的大多数鹈鹕都是使用我的 LLM CLI 工具生成的，这促使我确保该工具支持最新的模型（通过它的某个插件）。

更重要的是，即使是输入单个“生成一只骑自行车的鹈鹕的 SVG”的提示词，也能揭示出模型有趣的特征。

看看今天 Kimi K3 的结果。运行这些简单的提示词有助于强调该模型的几个特点。

K3 目前只有一种思考强度级别，但我最近通过在不同的强度级别下运行相同的鹈鹕提示词，获得了相当大的价值，这能让我快速了解这些级别产生的影响。例如，这是我为 GPT-5.6 模型家族制作的矩阵。

不过，我从鹈鹕测试中获得的主要是以下几点：