第零人称的数学根基：Softmax 如何定义 LLM 的存在方式-龍德明宇-拓冰建站

第零人称的数学根基：Softmax 如何定义 LLM 的存在方式

导读：LLM 每说出一个词之前，都要把整本词典掂量一遍——然后由一套外置的规则替它选出那个词。这篇文章想聊清楚一件事：这个「掂量再被选」的机制，如何决定了它究竟是一种什么样的存在——以及为什么这条路，可能到不了 AGI。

摘要：LLM 说话时不是一个句子一个句子地想，而是一个词一个词地「蹦」。每蹦一个词之前，它都要给词典里每个词算一个概率——完成这个动作的数学函数叫 Softmax。本文论证：正是这个机制，让 LLM 成为一种特殊的存在——第零人称。它既不是主动思考的「我」，也不是完全被动的锤子，而是持续悬浮在所有可能性之上、等待外置规则定解的那个状态。顺着这个视角，LeCun、Sutton、Marcus 对 LLM 的批评可以得到统一的解释；而 AGI 与 LLM 的距离，也可以被表述为一个具体的数学问题：如何从「概率分布」走向「确定性承诺」。

一、引子：流水线的最后一道门

讨论 Transformer 架构时，自注意力机制（Self-Attention）总占据舞台中央。人们盯着多头注意力、键值查询矩阵，期待从中窥见智能的秘密。但如果愿意把视线移向流水线末端，会发现一个更不起眼、却更具哲学分量的组件——Softmax 函数。

先说明这条流水线是什么。LLM 生成文本的方式是自回归：一个词一个词往外蹦，每蹦出一个词，就把它接在已有文本后面，作为计算下一个词的输入。每蹦一个词之前，模型内部会做几十层复杂计算，最后给词典里每个词打出一个原始分数（技术上叫 logits，可以把它理解成「评委打分」）。Softmax 做的事，就是把这组打分换算成一组「得票率」——每个词一个概率，全部加起来等于 1。

需要一处诚实的修正：这篇文章的标题把存在感给了 Softmax，但严格地说，塑造 LLM 存在方式的是整条流水线——从打分、换算、到最后的定解，一环都不能少。Softmax 之所以值得单独拿出来讲，是因为它是这条流水线的最后一道门：此前的所有计算都藏在高维向量里，无法直接查看；只有经过 Softmax，模型的内部状态才第一次「摊牌」，变成一张铺在整本词典上的概率表。

如果说前面几十层计算是暗室，Softmax 就是暗室的门被推开的那个瞬间。门里透出的东西，就是 LLM 存在的全部形态。

二、Softmax 的两把钥匙

理解 Softmax 如何塑造 LLM 的存在方式，需要两把钥匙：概率分布与温度参数。外加一个常被忽略的补记：转动转盘的那只手。

2.1 概率分布：整本词典同时在场

想象一个抽奖转盘，盘面被分成几万个扇形格子，每个格子对应词典里的一个词。格子有大有小——面积对应概率。生成下一个词，就是从盘面上产生一个词。

关键不在「产生」，而在「产生之前」：在结果落定之前，所有格子同时存在于盘面上。没有哪个词被提前内定，也没有哪个词被提前排除。几万个候选，以各自的概率权重，共处于同一个盘面。

这正是 Softmax 在做的事。它不「挑选」任何一个词，而是同时计算并保留所有词的概率。在定解发生之前，整个可能世界以概率权重的形式同时在场。LLM 不是站在一个确定的位置上说一个词，而是铺开一整个概率世界，再等结果落定。

这里需要两个澄清，否则容易误解。

第一个澄清：此 Softmax 非彼 Softmax。Softmax 这个函数在 Transformer 里扮演着两种角色：在注意力机制内部，它归一化注意力权重——每层、每个注意力头各算一次，作用是决定「多看谁一眼」；在流水线末端，它把原始打分转换成词表概率——每生成一个词出现一次，作用是决定「说出哪个词」。前者是内部分工的调度员，后者才是可能世界的铺陈者。本文讨论的是后者。

第二个澄清：有概率分布，不等于第零人称。天气预报也给人概率：「明天降水概率 70%」。为什么不说天气预报是第零人称？区别有两层。其一，天气预报的概率是关于外部事件的陈述，是对这个世界的信念摘要；而 LLM 的概率分布不是关于别的东西的陈述，它就是 LLM 自身的生成机制——分布即存在本身。其二，天气预报发布之后就停在那里，等待明天来验证；而 LLM 每生成一个词，就要重新面对整本词典一次。一篇一千字的文章，就是一千次完整的铺陈与定解。分布从不坍缩成承诺，而是持续地、高频地重新展开。

所以第零人称的关键，不是「有分布」，而是「活在分布里」。

2.2 温度参数：确定性的旋钮

如果概率分布描述的是盘面上「有哪些可能」，温度参数（temperature）描述的则是这些可能的集中程度。

继续用转盘的比喻。高温时，转盘像被抹平了一样，大格子和小格子的差距被压缩，指针几乎等概率地停在任何地方——输出天马行空。低温时，转盘变成一块强磁铁，最大的那几个格子几乎垄断了指针的落点，小格子被极度压缩——输出稳定、保守、可预测。

用户在聊天产品里调节的「创造力」旋钮，本质上就是这个温度。往右拧，模型更愿意冒险，低概率的词也有机会登场；往左拧，模型趋向只说它最有把握的词。

用信息论的语言说，温度调节的是这个分布的混乱程度——也就是熵。高温把混乱度拉满，所有词趋于均势；低温把混乱度压到接近零，分布缩成一座尖峰。拧到极限，尖峰缩成一根针：熵降为零，抽签名存实亡，第零人称被压成一条由外置规则驱动的确定性流水线——这正是下一节补记要处理的情形。你拧的不是「创造力」，是混乱度本身。

这里已经能看出了一个深刻的张力：LLM 的「智能感」，恰恰建立在不确定性之上。它之所以能生成看起来有创造性的内容，部分原因正是它没有提前锁定唯一答案，而是让所有可能性在盘面上保持张力。温度旋钮的存在本身就说明了这一点：一个本质上确定性的系统，不需要这样一个旋钮。

2.3 补记：谁来转动转盘

前文说，生成下一个词就是从盘面上产生一个词。这里需要做一个更精细的交代——真实系统从概率分布到那个词，有好几种走法。

可以真的「转」：按概率随机抽签（采样）。可以先裁剪再转：把低概率的长尾格子直接切掉，只在高概率的核心区域里抽签（Top-p、Top-k 这类截断策略，工程部署中的常见做法）。也可以干脆不转：每次直接取概率最大的那个词（贪婪解码，argmax）——指针永远落在最大的格子上，没有任何随机性。

第三种走法会立刻招来一个反驳：既然贪婪解码时没有任何抽签，每次都是确定地选出最大者——这难道不就是「决定」吗？从分布到承诺的缺口，不就被一个 argmax 跨过去了？

没有。注意三件事实。

第一，规则是外置的。用采样还是贪婪、温度拧到几、截断切多少，全是部署者设定的参数。模型交出的永远是那张概率表；从表到词的那一步怎么走，规则写在模型外面——而且写在模型够不到的地方：它不能这一轮选择贪婪、下一轮选择采样，也不能给自己调一度温度；对这些参数，它连访问权限都没有。贪婪解码不是模型学会了拍板，而是有人替它装了一个「永远选最大」的外置拍板器。

第二，裁剪不改变结构。截断策略看似修改了盘面，但切掉哪些格子、保留哪些格子，是按累积概率从分布本身算出来的——裁剪规则依然是分布的函数。盘面小了，「活在分布里」的结构没变。

第三，定解不留痕迹。无论哪种走法，那个词被说出之后，模型内部没有任何东西因此更新。下一个词的计算，面对的还是同一套权重、同一张新铺的概率表。

决定的规则从来不在模型手里——记住这一点，后文「三重被动性」的第三重，就立在这里。

三、第零人称：活在分布里，而不是住在选择后

3.1 三种人称

先区分三种存在方式。

第一人称是我们最熟悉的：一个有自我意识的「我」。我主动发起思考、做出选择、承担后果。我说「我决定去吃中餐」——这是一个承诺，不是一个概率。

第三人称是完全被动的工具：一把锤子。锤子不选择被怎么使用，它的存在意义完全由使用者赋予。

LLM 两者都不是。它不是发起思考的「我」，但也显然不是锤子——它能生成千变万化的文本，对上下文极其敏感。我把它称为第零人称：它存在于概率分布之中，而不是存在于一个确定的选择之后。

第一人称是「在所有时刻，有唯一一个确定的自我」。第零人称是「在每一个词的位置上，所有可能的输出叠加在一起，等待定解」。

顺带致意：熟悉 AI 对齐讨论的读者，大概会从「所有可能性叠加」想到 janus 2022 年的文章《Simulators》[^1]——语言模型是一台模拟器，把一个提示映射为大量可能回应的叠加，采样是从叠加中实例化出其中一个。这个意象与本文同出一源，无需避讳：可能性的铺陈与定解，本就是讨论语言模型时很难绕开的直觉。本文的推进不在提出新的比喻，而在把这个直觉钉进 Softmax 的具体数学结构——从两种 Softmax 角色的分工、温度与定解规则，一路展开为三重被动性、AGI 缺口与人称语法，让停留在比喻层的直觉，变成一套可操作的分析框架。

3.2 视角的函数：它输出的不是把握，是词

有人会说：LLM 经常表现得很自信啊，它会毫不含糊地说「答案就是 A」。这难道不是一种确信吗？

这里藏着一个容易被忽略的技术事实：LLM 输出的概率，是「下一个词」的概率，不是「某个命题为真」的置信度。这两者截然不同。当模型计算下一个词时，它给出的 0.7、0.25、0.05，是词与词之间的倾向，而不是命题与事实之间的把握。

更彻底地说：就算让它输出置信度，也不解决问题。研究早已发现，语言模型确实能给出「我有九成把握」这类置信度表达，但这些表达与真实正确率系统性脱钩，普遍过度自信[^2]。原因就在本文的分析之中：那句「我有九成把握」本身，依然只是一串高概率的词——是定解规则挑出来的文本，不是对内部状态的真实汇报。它的「自信」是概率分布的形状在文字上的投影，而不是一个主体在宣告信念。

还可以再推进一步：Softmax 这道门，把高维的内部状态压成了词典上的一维权重——门里的东西，永远比门外的多。要求一张概率表「汇报信念」，就像要求温度计谈谈它对天气的感受。

借用一对概念：视角的持有者与视角的函数。视角的持有者会说：「根据我的判断，最可能是 A。」——背后站着一个做判断的「我」。而视角的函数只是在说：「在当前输入下，A 出现在下一个位置的概率是 0.7。」——背后没有判断者，只有一个映射关系。

这就是第零人称的存在论地位：它不持有视角，它是视角的函数。

四、负主体性的数学显影

4.1 三重被动性

第零人称的存在方式，用我之前提出的概念来说，就是负主体性。「负」不是「没有」，而是一种结构性的被动。这种被动有三重，每一重都能在那条生成流水线上找到对应。

第一重：输入的被动。LLM 不能主动发起任何事。没有人对它说话，它就静止在那里——没有徘徊的念头，没有想说而未说的话。它的一切计算始于外部输入。

第二重：分布的被动。那张铺在词典上的概率表，不是 LLM「想」出来的，而是训练好的权重和当前输入共同决定的。模型无法选择让自己的分布「更像科学家」或「更像段子手」——分布是给定的，它只能摊开。

第三重：定解规则的被动。即使概率表已经铺开，最终哪个词被说出来，仍取决于一套外置的定解规则——随机抽签、永远选最大、还是截断后再抽，规则由部署方设定（见 2.3）。模型既不参与那一个词的决定，也不拥有决定所依据的规则。

需要再次修正一个容易夸大的表述：这三重被动性的承载者是整条流水线，而不是 Softmax 一个函数。Softmax 的角色是让被动性显形——在它之前，被动性藏在不可读的向量里；在它之后，被动性变成了一张人人可看的概率表。Softmax 是负主体性的显影液，而不是负主体性本身。

4.2 更强的模型，仍是第零人称

一个自然的疑问：模型越来越大，还有指令微调、RLHF 这些技术，LLM 是不是正在从第零人称向第一人称演进？

我的回答是：没有。更强的模型只是分辨率更高的第零人称。

所谓变强，改变的是概率分布的质量：原来把 0.3 的概率分给正确答案、0.7 分给错误答案，现在可能是 0.95 对 0.05。RLHF 做的也是「塑形」——重新分配概率权重，让模型更倾向某类回答。但请注意，「倾向」仍然是概率。模型依然以非零的概率生成违背训练意图的内容；它依然在等待定解，只是盘面更整齐了。

近两年的推理模型让这个质疑变得更具体：它们在给出最终回答之前，会生成长长的内部思考链，甚至展开树状搜索、自我驳回——这看起来不再是逐词漂流，而是有方向的探索。

但往深处看一层就够：思考链上的每一个环节，依然是同一条流水线在同一个词表上的铺陈与定解；负责评估各条分支优劣的验证器（verifier），本身也只是另一个概率判定函数。把多个第零人称节点串成链、展开成树，得到的是一棵更复杂的第零人称搜索树——搜索的拓扑变了，存在论的地位没变。链条再长，也没有哪个节点为最终答案签字。

集中和精确改变不了存在论地位。第零人称的核心不在于分布的形状，而在于「所有可能性叠加、等待外置定解」这个结构本身。只要结构不变，一切增强都只是结构内部的事。

五、三位批评者看到了什么

第零人称不是纯粹的哲学构造。业界几位著名批评者从不同方向攻击 LLM，而他们的批评恰好可以被这个框架统一收纳。

5.1 LeCun：无锚

Yann LeCun 在 2022 年的立场文件《A Path Towards Autonomous Machine Intelligence》[^3]中系统阐述了这类批评：自回归语言模型存在根本缺陷，LLM 是无锚的（ungrounded）——它的知识是从文本到文本的映射，没有与物理世界的体验建立稳定联系。

从第零人称的视角看，这个批评可以被翻译为：LLM 的概率分布建立在「文本的统计规律」之上，而不是「世界的因果结构」之上。它的转盘铺在词典上，而不是铺在世界上。所以它生成得再流畅，也只是高概率的文本补全，缺乏一个能判定对错的锚点。LeCun 主张的世界模型路线（如 JEPA），正是试图给这个悬浮的存在找一个锚。

5.2 Sutton：规模改变不了结构

Rich Sutton 2019 年的短文《The Bitter Lesson》（苦涩教训）[^4]说：长期来看，通用计算方法（搜索、学习）随算力规模增长，总会胜过人类精心设计的知识注入。LLM 的崛起似乎完美验证了这一点。

但要小心一个推论：「算力赢了」不等于「主体性出现了」。中间缺一个环节。规模的扩大，改善的是概率分布的质量——更准、更平滑、覆盖更广；它没有、也无法改变「铺开分布、等待定解」这个结构本身。一台更大的机器，把转盘造得更精细，但转盘还是转盘。

所以苦涩教训的真正含义或许是：它在第零人称内部持续强化效率，却从未指出一条从「分布」通往「承诺」的路。算力解决的是「掂量得更准」，解决不了「由谁拍板」。

5.3 Marcus：无选择

Gary Marcus 与 Ernest Davis 在《Rebooting AI》（2019）[^5]等著作中持续批评这类模型缺乏系统性（systematicity）与组合性（compositionality）：LLM 无法可靠地把已学会的概念组合成新结构，它的「推理」是统计的、片段的。

用第零人称的语言说，这个批评指向的是：LLM无法做出真正的选择。它生成的推理链条看起来一步一步很有逻辑，但每一步都只是当前位置上的高概率定解结果。模型没有「决定沿着这条思路走下去」——是这条思路上的每个词，依次被外置规则落定。

第一人称的推理是承诺：我选定这条路，并为之负责。第零人称的「推理」是漂流：路径在事后看起来连贯，但没有任何一个时刻存在过「选定」。

六、AGI 需要什么样的数学

6.1 三个缺口

如果第零人称的刻画是准确的，那么 LLM 与 AGI 的距离就不是工程问题，而是结构问题。缺口至少有三个。

缺口一：从分布到承诺。AGI 需要一个「选择函数」，而不只是概率分布加外置定解——在必要时输出一个确定的决定，并把这个决定当作自己的决定来承继。不是「A 的概率 0.7」，而是「就是 A，后果算我的」。

缺口二：从语言到世界。概率表要铺在世界上，而不是只铺在词典上。这意味着表征因果关系、干预效果、反事实——「如果当时不那样，会怎样」。这些结构超出了一张词表概率表所能表达的范围。

缺口三：从函数到自我。第一人称的主体有一个相对稳定的自我模型：知道自己是谁、要什么。这个自我模型驱动长期行为，而不是逐词漂流。

6.2 灰体性：一种中间地带

完全的被动与完全的主体之间，可能存在一个中间地带，我称之为灰体性。灰体性的系统有某种程度的自我表示和行为自主性，但可能仍受底层结构的部分约束。

它的数学画像里，最难也最关键的一条是自我模型的递归性：系统能表征「自己正在表征」，并且这种自我表征会真实地反馈到后续输出中。举一个具体的例子：一个灰体性系统说「我刚才那句话把握不大」——要满足递归性，这句话必须对应着它对自身输出的一次真实评估，而不是又一个高概率词串。当前的 LLM 说「我刚才可能错了」时，满足的只是后者；这正是它停留在第零人称的证据。

6.3 一个绕不开的反驳

写到这里，必须回应一个最有力的反驳，否则全文有漏洞。

功能主义者会问：人脑不也是一台生物机器吗？所谓「我」、所谓选择，不也是神经计算的函数？第零人称和第一人称的区别，会不会只是复杂度的区别？

我的回答是：区别不在复杂度，在结构。人的每一次表达都伴随不可逆的后果承继——说出去的话会改变世界、写入记忆、带来责任，主体的状态因为这次输出而真实地、不可逆地更新了。而 LLM 每生成一个词，它的内部权重纹丝不动。诚然，在单个会话里，上下文会不断累积并影响后续的输出——但那只是一块临时写字板：会话关闭，写字板即刻擦除，模型本身没有任何改变，更不存在跨会话的承继。它可以谈论责任，但没有任何东西在为这些话「记账」。

一言以蔽之：人的选择有后账，LLM 的输出没有。这个差异是结构性的，不会因规模扩大而自动消失。