这项由香港科技大学广州与香港科技大学联合开展的研究以预印本形式发布于2026年7月论文编号为arXiv:2607.08393。研究聚焦于大型语言模型在微调过程中一个长期被忽视的核心矛盾模型明明已经记住了新知识为什么在真正需要用到这些知识的时候却屡屡失手每次打开新闻都能看到关于大型语言模型也就是ChatGPT、文心一言这类AI助手背后的技术有多神通广大的报道。但在这些光鲜的能力背后隐藏着一个让研究者头疼多年的奇怪现象当你试图让AI学习全新的知识时它能很快背下来但一旦需要真正用起来它却常常犯错甚至完全不会。这种感觉就像是有个学生在考前死记硬背了所有的地理知识——他能流利地背出悉尼位于澳大利亚也能背出澳大利亚的首都是堪培拉。但当你问他悉尼所在国家的首都是哪里时他却一脸茫然完全无法把两条记忆串联起来使用。香港科技大学的研究团队把这种奇特的困境命名为知用鸿沟Knowing–Using Gap并用严谨的实验和一套全新的诊断工具第一次从AI内部的运作机制角度说清楚了这个问题究竟是怎么发生的。一、那个让所有AI研究者都头疼的问题要理解这项研究的价值首先得明白大型语言模型是如何学新东西的。当AI在出厂之后需要掌握某些特定领域的新知识——比如最新的生物医学发现、最新的学术论文内容——工程师通常会采用一种叫做微调fine-tuning的方式把新知识喂给模型让它反复学习直到能够正确回答相关问题为止。这个过程乍看起来很顺畅模型很快就能在直接提问时给出正确答案比如ABCC11基因转运哪种药物答普罗磺舒。研究人员把这种能力叫做记忆memorization——模型把知识点记住了。然而当问题稍微复杂一点需要把多条知识串起来推理时比如ABCC11基因转运的那种药物的副作用是什么模型就开始频繁出错甚至完全答不上来。研究人员把这种能力叫做泛化generalization——把学到的知识灵活运用到新场景。记忆和泛化之间的差距就是知用鸿沟。这个鸿沟体现在两个维度上。其一是准确度上的落差在训练结束时模型记忆知识的准确率接近100%但在需要推理的任务上准确率可能只有7%到18%。其二是时间上的滞后模型通常在训练早期就能记住知识但要等到更多轮训练之后才可能开始会用——有时候甚至永远都学不会用。在研究团队测试的具体实验里记忆任务平均在第10轮训练时就饱和了而泛化任务平均要到第15轮才出现中间相差约5轮而且最终准确率依然远低于记忆任务。更令人沮丧的是这个问题并不会因为模型变大或者训练数据变多而消失。研究团队对从1.5亿参数到80亿参数的多个模型都做了测试发现不管模型多大知用鸿沟始终存在。向模型注入更多新知识反而还会让这个准确率差距进一步扩大——好像记忆的仓库越塞越满但真正能灵活调用的货物却没有相应增多。二、从两个不同的考卷来量化这道鸿沟为了严谨地研究这个问题研究团队首先需要设计一套合适的测试方案。他们从一个名为STaRK的真实世界知识库中提取了数据分别使用了生物医学领域STaRK-Prime和学术文献领域STaRK-MAG的数据确保研究结论能跨领域成立。在使用这些数据之前团队做了一个关键的验证在没有任何训练的情况下让六款主流大型语言模型去回答这些知识问题。结果显示所有模型的得分都低于6%接近随机猜测的水平。这说明这些知识对于模型来说是真正陌生的排除了模型事先就已经知道答案的可能性。接下来他们设计了两种类型的考卷。第一种叫做记忆任务就是直接考单条知识给出头部实体和关系让模型说出尾部实体。比如IGFBP3蛋白靶向的药物是什么这类问题模型只需要用一条记忆就能回答。第二种叫做泛化任务分为链式推理和交叉推理两种形式。链式推理需要把两条知识接龙比如先知道胚胎中表达哪个蛋白答案是IGFBP3再知道哪种药物靶向IGFBP3答案是美卡舍明然后才能回答靶向在胚胎中表达的蛋白的药物是什么。这就要求模型不仅要分别记住两条知识还要能把它们串起来用。交叉推理则是要在多条知识中寻找共同点比如同时知道与神经胶质瘤相关的暴露因素和与甲状腺功能减退症相关的暴露因素然后找出两者共同关联的那个暴露因素——三氟林同时还有一些无关的噪音知识干扰判断。实验结果相当清晰。在链式推理任务上知用鸿沟最为显著记忆准确率接近完美但泛化准确率只有7%到18%时间差达到约5轮训练。在交叉推理任务上情况好一些因为这类任务的答案有时候和记忆任务的答案重叠推理难度相对较低时间差只有约0.6到1轮最终准确率也高得多。此外全量微调即对整个模型所有参数进行训练和参数高效微调LoRA一种只训练少数额外参数的方法的对比也很有意思全量微调确实让模型记忆得更快但并不能帮助模型更快或更好地泛化。在交叉推理任务上全量微调甚至让泛化出现得更晚鸿沟反而更大。这说明记忆和泛化之间的断裂并不是简单地靠训练力度更强就能弥合的。三、AI的大脑内部到底发生了什么既然知道了问题的存在研究团队接下来要做的是打开这个黑箱看看AI内部到底在哪里卡住了。他们设计了一种叫做自补丁self-patching的全新诊断工具这也是这篇论文最具创意的技术贡献。可以用一个图书馆的比喻来理解自补丁的工作原理。一座大型图书馆也就是AI模型有很多层楼每层楼存放着不同类型的信息处理能力。知识就像书本被放在某些楼层。当有人来查资料也就是AI被问问题时图书馆员工需要先找到存放相关书本的楼层把书取出来然后带到处理阅览的楼层通常是中间某几层供使用。自补丁做的事情就是模拟手动把书从A楼层搬到B楼层这个动作然后观察这本书放在B楼层之后能不能帮助图书馆员工查到正确答案具体来说自补丁的操作是这样的选定一个锚定位置通常是问题中提到的关键实体比如某个基因名称在AI某一层的内部表示把这个内部表示从源层复制到目标层然后让AI继续从目标层往后运算看最终答案是否从错误变成了正确。通过系统地扫描所有可能的源层和目标层组合就能画出一张热力图标示出哪些层包含了有效信息、这些信息被搬到哪些层之后能触发正确推理。与此同时研究团队还把自补丁和两种现有的类似工具做了比较以说明其独特价值。现有的因果追踪causal tracing方法需要先有一个正确答案的运算轨迹作为参照然后通过破坏这个轨迹来找出关键位置——但如果模型本来就答错了这个方法根本无从入手。另一种叫做补丁镜PatchScope的工具则是用来解读AI内部某层的表示代表什么意思侧重于理解信息内容而不是测试信息能否被用于推理。自补丁恰好弥补了这两者的空白它不需要正确轨迹可以直接作用于失败的案例它关注的也不是信息内容而是信息在计算流程中的可用性。这对于研究泛化失败的案例来说正是所需要的工具。四、知识在AI内部的漂移旅程用自补丁工具扫描训练过程中每个检查点研究团队得到了一系列动态热力图直观展示了知识是如何在训练过程中逐渐在AI内部渗透的。这个过程分三个阶段非常有规律。在知识还没有被记住的早期训练阶段热力图几乎全是蓝色——意味着不管把哪一层的表示搬到哪里都无法帮助模型给出正确答案。这说明此时相关知识根本还没有被编码进模型内部。当训练进展到记忆刚刚饱和的时刻情况发生了显著变化热力图上出现了明显的红色区域但这些红色区域是偏离对角线的。对角线代表什么意思呢当某个单元格的行索引源层等于列索引目标层时就说明那一层本来就自然包含正确信息不需要任何搬运就能给出正确答案。偏离对角线的红色单元格则意味着知识已经存在于某些层了但是只有当你把这些层的表示强行搬运到另一些特定层时它才能被有效利用。换句话说知识虽然已经被存储下来了但存错地方了——它在书库里却没有摆到阅览室里。随着训练继续进行红色区域开始向热力图的对角线方向蔓延。在最终成功泛化的案例中红色区域会最终覆盖到对角线意味着那些层已经自然地包含了可以直接使用的知识不再需要强行搬运。而在最终失败的案例中红色区域虽然也在扩展但始终无法触及对角线止步于此。这是因为一旦记忆任务的损失函数loss降到很低模型就几乎不再有梯度信号来驱动进一步的内部重组训练动力就熄火了知识就这样被永久性地困在了错误的层里。五、知识被困在了AI的哪里又该怎么解救它自补丁的热力图不仅揭示了问题的存在还告诉了我们知识具体被困在哪里以及需要被送往哪里。研究团队分析了大量热力图中效果最好的搬运路线发现了一个惊人的规律有效的搬运路线呈现出两个明显的集群。第一个集群是从晚层搬到中层。这个方向不难理解——模型的晚层靠近输出的那些层往往汇聚了更丰富的语义信息把这些信息向前拉到中层让中层的推理计算能看到这些信息是有效的。第二个集群则更加出人意料从早层搬到中层同样有效。这说明知识在刚刚被注入时有一部分编码在了早层靠近输入的那些层而这些早层的知识在自然的前向传播中没能传递到中层被过滤或者忽视了。一旦人工把它送到中层同样能激活正确推理。而向晚层搬运也就是把信息送到更靠后的层则几乎没有任何效果——这与领域里已有研究相吻合在推理的晚期阶段计算注意力已经转移到最后一个词语位置把实体知识塞进去已经来不及影响最终答案了。知道了这个规律研究团队做了一个关键实验在训练完全收敛之后也就是正常微调已经停止的情况下手动对每个失败案例找出最有效的搬运路线然后进行自补丁操作看能恢复多少泛化准确率。结果非常震撼在链式推理任务上所有模型、所有数据集的准确率都提升了1.5到6倍在交叉推理任务上本来就不大的知用鸿沟也几乎被完全消除了。以Qwen-2.5-7B模型在生物医学数据集上的链式推理任务为例不做任何干预时准确率只有12.4%而在神谕补丁oracle patching即找出最优搬运路线的理想情况后准确率跃升到50.4%。这个结果有一个极其重要的含义泛化失败并不是因为模型没有这个知识。知识就在那里只是被存放在了无法自然参与推理计算的地方。这是一个路由问题而不是容量问题。六、控制实验排除其他可能的解释当然严谨的科学研究不能只靠一个实验就下结论。研究团队还设计了一系列对照实验逐一排除其他可能的解释。首先是位置消融实验研究团队测试了在不同词语位置进行自补丁的效果。结果发现在关键实体名称的位置比如基因名称ABCC11进行补丁的效果最好准确率提升达到64%远超在随机位置、句首符号或句尾符号处进行补丁的效果。这证明了自补丁抓住的不是偶然的位置信号而是确实与知识内容绑定的实体表示。其次是提示词控制实验研究团队用思维链Chain-of-Thought简称CoT这种已知有效的提示技术来做对比。思维链的做法是引导模型一步一步地把推理过程写出来而不是直接给出答案。结果显示思维链确实能提高链式推理的准确率但提升幅度远低于自补丁以Qwen-2.5-3B为例思维链把链式准确率从11.4%提到了28.8%而自补丁能达到54.2%。在交叉推理任务上思维链甚至有时候会降低准确率——可能因为强制写出推理过程反而引入了干扰。最后是无关补丁对照实验如果自补丁的效果只是来自对模型表示做了某种扰动而不是传递了真正有用的知识那么用一个完全无关的知识的实体表示来做补丁也应该有类似的提升。实验结果否定了这个替代假说用无关知识的表示做补丁效果远低于用正确知识的表示做补丁。以Qwen-2.5-1.5B为例正确补丁准确率44%无关补丁只有15%。这有力地说明自补丁的提升效果来自知识本身而不是任何形式的扰动噪音。研究团队还做了一个跨语境的一致性验证把从记忆任务的提示中提取的实体表示搬运到泛化任务的提示中去。结果发现有效的源层-目标层组合在两种不同的提示语境中高度一致进一步排除了补丁效果来自某种提示词捷径的可能性。七、从诊断工具到实用策略自补丁作为一种神谕工具oracle tool需要对每个问题逐一搜索最优的搬运路线这在实际使用中代价太高。更重要的问题是能否把热力图规律转化成一个不需要逐案搜索的实用策略研究团队给出了一个简洁而有效的答案。既然有效的搬运路线集中在两类从约80%深度的层搬到约50%深度的层晚层到中层以及从约10%深度的层搬到约50%深度的层早层到中层那就用这两条固定路线不做任何逐案搜索直接应用于所有问题。这个方案被称为固定启发式策略Fixed Heuristic。结果相当令人鼓舞。在六个不同的模型三种Qwen系列、三种LLaMA系列和两类任务上固定启发式策略能恢复神谕补丁效果的58%到75%。以链式推理任务的平均数据来看不做任何干预时准确率为12.1%神谕补丁达到44.4%固定启发式策略达到35.7%——填补了约67%的差距。这个结果证明知用鸿沟不只是一个理论上的问题它在实践层面上至少可以部分地被一个简单的非搜索策略所改善。八、这一切说明了什么一个关于AI内部的新假说把上述所有实验结果拼在一起研究团队提出了一个统一的解释框架称为知识-电路错位假说knowledge-circuit misalignment hypothesis。在AI内部处理不同任务需要用到不同的计算电路circuit——可以把这些电路理解为负责特定功能的神经网络子结构。多跳推理也就是把多条知识链接起来使用所依赖的推理电路主要在模型的中间层发挥作用这一点在之前的独立研究中已经有所记录。微调的过程会让新知识被编码进模型的某些层但这些层不一定是推理电路所在的层。更精确地说微调倾向于把知识存储在容易拟合的位置——通常是早层或晚层因为这些层的参数对损失函数最敏感最容易被训练调整。一旦记忆任务的损失降到足够低梯度就消失了训练停止知识就被冻结在了这些位置而没有进一步向中层推理电路渗透的动力。这个假说预测了两件事第一在记忆饱和之后模型内部应该存在包含正确知识但不产生正确推理的离路表示第二手动把这些表示送到推理计算的有效位置应该能立即改善泛化。这两件事都被自补丁实验明确证实了。从这个视角来看知用鸿沟本质上不是知识匮乏的问题也不是模型容量不够的问题——它是一个路由问题知识存在但没有被送到正确的地方参与计算。这个视角为解决这个问题指出了一个全新的方向不应该只关注如何让模型记住更多而应该关注如何让训练过程能够把知识对齐到推理所需要的位置。归根结底这项研究揭示的是AI学习过程中一个被忽视的裂缝记住和会用是两件截然不同的事情。就像一个学生能背出所有历史年代却无法用这些知识回答为什么某个事件会发生一样大型语言模型在面对需要灵活运用的推理任务时也会在内部的信息路由上卡壳。这不是智能不够的问题而是知识放错了地方。研究团队设计的自补丁工具相当于给AI内部做了一次精确的导航检查——找出知识被困在哪里验证搬到正确位置之后能不能正常运作然后设计了一个简单的固定策略在不需要逐案搜索的情况下就能弥补大部分的泛化差距。当然这项研究还有未完成的部分。固定策略和神谕之间仍有差距说明知识存储位置存在个体差异未来需要更自适应的方法。自补丁目前只在单一位置进行干预而知识可能分散在多个位置当前的工具可能低估了真正可恢复的上限。此外研究至今还不能在训练早期预测哪条知识会失败泛化如果能做到这一点就可以在训练过程中主动干预而不是事后补救。这项研究带来的最大启示也许是对微调这一主流知识注入方法的重新认识提高记忆准确率并不等于提高了知识的可用性。未来或许需要设计对齐感知的训练alignment-aware training——在优化记忆的同时也明确地将知识推送到推理电路所在的位置从根本上消除这道鸿沟。有兴趣深入了解的读者可以通过arXiv:2607.08393查阅完整论文。QAQ1大型语言模型微调之后为什么会出现记住了但不会用的现象A根据这项研究的发现问题出在AI内部的信息路由上。微调训练会让新知识被存储在早层或晚层但推理计算所依赖的电路主要位于中间层。训练一旦结束知识就被冻结在了错误的位置无法自然流入推理所需的计算路径导致模型能直接回忆知识却无法在推理时使用它。Q2自补丁self-patching技术和普通的激活补丁技术有什么区别A传统的激活补丁方法需要先有一条正确运算轨迹作为参照对已经出错的失败案例无能为力。自补丁不需要正确轨迹它直接把AI某一层的实体表示复制到另一层观察这个搬运动作能否让失败的推理变成成功因此可以直接用于诊断泛化失败的案例这是其核心创新点。Q3固定启发式策略在实际场景中可以直接应用吗A目前的固定启发式策略是在推理时手动干预AI的内部表示属于后处理手段还不是可以无缝嵌入普通微调流程的工程化方案。该策略能恢复58%到75%的理论上限说明有实用潜力但距离真正的工程落地还需要进一步研究特别是需要开发能在训练阶段主动对齐知识存储位置的方法。
这项由香港科技大学广州与香港科技大学联合开展的研究以预印本形式发布于2026年7月论文编号为arXiv:2607.08393。研究聚焦于大型语言模型在微调过程中一个长期被忽视的核心矛盾模型明明已经记住了新知识为什么在真正需要用到这些知识的时候却屡屡失手每次打开新闻都能看到关于大型语言模型也就是ChatGPT、文心一言这类AI助手背后的技术有多神通广大的报道。但在这些光鲜的能力背后隐藏着一个让研究者头疼多年的奇怪现象当你试图让AI学习全新的知识时它能很快背下来但一旦需要真正用起来它却常常犯错甚至完全不会。这种感觉就像是有个学生在考前死记硬背了所有的地理知识——他能流利地背出悉尼位于澳大利亚也能背出澳大利亚的首都是堪培拉。但当你问他悉尼所在国家的首都是哪里时他却一脸茫然完全无法把两条记忆串联起来使用。香港科技大学的研究团队把这种奇特的困境命名为知用鸿沟Knowing–Using Gap并用严谨的实验和一套全新的诊断工具第一次从AI内部的运作机制角度说清楚了这个问题究竟是怎么发生的。一、那个让所有AI研究者都头疼的问题要理解这项研究的价值首先得明白大型语言模型是如何学新东西的。当AI在出厂之后需要掌握某些特定领域的新知识——比如最新的生物医学发现、最新的学术论文内容——工程师通常会采用一种叫做微调fine-tuning的方式把新知识喂给模型让它反复学习直到能够正确回答相关问题为止。这个过程乍看起来很顺畅模型很快就能在直接提问时给出正确答案比如ABCC11基因转运哪种药物答普罗磺舒。研究人员把这种能力叫做记忆memorization——模型把知识点记住了。然而当问题稍微复杂一点需要把多条知识串起来推理时比如ABCC11基因转运的那种药物的副作用是什么模型就开始频繁出错甚至完全答不上来。研究人员把这种能力叫做泛化generalization——把学到的知识灵活运用到新场景。记忆和泛化之间的差距就是知用鸿沟。这个鸿沟体现在两个维度上。其一是准确度上的落差在训练结束时模型记忆知识的准确率接近100%但在需要推理的任务上准确率可能只有7%到18%。其二是时间上的滞后模型通常在训练早期就能记住知识但要等到更多轮训练之后才可能开始会用——有时候甚至永远都学不会用。在研究团队测试的具体实验里记忆任务平均在第10轮训练时就饱和了而泛化任务平均要到第15轮才出现中间相差约5轮而且最终准确率依然远低于记忆任务。更令人沮丧的是这个问题并不会因为模型变大或者训练数据变多而消失。研究团队对从1.5亿参数到80亿参数的多个模型都做了测试发现不管模型多大知用鸿沟始终存在。向模型注入更多新知识反而还会让这个准确率差距进一步扩大——好像记忆的仓库越塞越满但真正能灵活调用的货物却没有相应增多。二、从两个不同的考卷来量化这道鸿沟为了严谨地研究这个问题研究团队首先需要设计一套合适的测试方案。他们从一个名为STaRK的真实世界知识库中提取了数据分别使用了生物医学领域STaRK-Prime和学术文献领域STaRK-MAG的数据确保研究结论能跨领域成立。在使用这些数据之前团队做了一个关键的验证在没有任何训练的情况下让六款主流大型语言模型去回答这些知识问题。结果显示所有模型的得分都低于6%接近随机猜测的水平。这说明这些知识对于模型来说是真正陌生的排除了模型事先就已经知道答案的可能性。接下来他们设计了两种类型的考卷。第一种叫做记忆任务就是直接考单条知识给出头部实体和关系让模型说出尾部实体。比如IGFBP3蛋白靶向的药物是什么这类问题模型只需要用一条记忆就能回答。第二种叫做泛化任务分为链式推理和交叉推理两种形式。链式推理需要把两条知识接龙比如先知道胚胎中表达哪个蛋白答案是IGFBP3再知道哪种药物靶向IGFBP3答案是美卡舍明然后才能回答靶向在胚胎中表达的蛋白的药物是什么。这就要求模型不仅要分别记住两条知识还要能把它们串起来用。交叉推理则是要在多条知识中寻找共同点比如同时知道与神经胶质瘤相关的暴露因素和与甲状腺功能减退症相关的暴露因素然后找出两者共同关联的那个暴露因素——三氟林同时还有一些无关的噪音知识干扰判断。实验结果相当清晰。在链式推理任务上知用鸿沟最为显著记忆准确率接近完美但泛化准确率只有7%到18%时间差达到约5轮训练。在交叉推理任务上情况好一些因为这类任务的答案有时候和记忆任务的答案重叠推理难度相对较低时间差只有约0.6到1轮最终准确率也高得多。此外全量微调即对整个模型所有参数进行训练和参数高效微调LoRA一种只训练少数额外参数的方法的对比也很有意思全量微调确实让模型记忆得更快但并不能帮助模型更快或更好地泛化。在交叉推理任务上全量微调甚至让泛化出现得更晚鸿沟反而更大。这说明记忆和泛化之间的断裂并不是简单地靠训练力度更强就能弥合的。三、AI的大脑内部到底发生了什么既然知道了问题的存在研究团队接下来要做的是打开这个黑箱看看AI内部到底在哪里卡住了。他们设计了一种叫做自补丁self-patching的全新诊断工具这也是这篇论文最具创意的技术贡献。可以用一个图书馆的比喻来理解自补丁的工作原理。一座大型图书馆也就是AI模型有很多层楼每层楼存放着不同类型的信息处理能力。知识就像书本被放在某些楼层。当有人来查资料也就是AI被问问题时图书馆员工需要先找到存放相关书本的楼层把书取出来然后带到处理阅览的楼层通常是中间某几层供使用。自补丁做的事情就是模拟手动把书从A楼层搬到B楼层这个动作然后观察这本书放在B楼层之后能不能帮助图书馆员工查到正确答案具体来说自补丁的操作是这样的选定一个锚定位置通常是问题中提到的关键实体比如某个基因名称在AI某一层的内部表示把这个内部表示从源层复制到目标层然后让AI继续从目标层往后运算看最终答案是否从错误变成了正确。通过系统地扫描所有可能的源层和目标层组合就能画出一张热力图标示出哪些层包含了有效信息、这些信息被搬到哪些层之后能触发正确推理。与此同时研究团队还把自补丁和两种现有的类似工具做了比较以说明其独特价值。现有的因果追踪causal tracing方法需要先有一个正确答案的运算轨迹作为参照然后通过破坏这个轨迹来找出关键位置——但如果模型本来就答错了这个方法根本无从入手。另一种叫做补丁镜PatchScope的工具则是用来解读AI内部某层的表示代表什么意思侧重于理解信息内容而不是测试信息能否被用于推理。自补丁恰好弥补了这两者的空白它不需要正确轨迹可以直接作用于失败的案例它关注的也不是信息内容而是信息在计算流程中的可用性。这对于研究泛化失败的案例来说正是所需要的工具。四、知识在AI内部的漂移旅程用自补丁工具扫描训练过程中每个检查点研究团队得到了一系列动态热力图直观展示了知识是如何在训练过程中逐渐在AI内部渗透的。这个过程分三个阶段非常有规律。在知识还没有被记住的早期训练阶段热力图几乎全是蓝色——意味着不管把哪一层的表示搬到哪里都无法帮助模型给出正确答案。这说明此时相关知识根本还没有被编码进模型内部。当训练进展到记忆刚刚饱和的时刻情况发生了显著变化热力图上出现了明显的红色区域但这些红色区域是偏离对角线的。对角线代表什么意思呢当某个单元格的行索引源层等于列索引目标层时就说明那一层本来就自然包含正确信息不需要任何搬运就能给出正确答案。偏离对角线的红色单元格则意味着知识已经存在于某些层了但是只有当你把这些层的表示强行搬运到另一些特定层时它才能被有效利用。换句话说知识虽然已经被存储下来了但存错地方了——它在书库里却没有摆到阅览室里。随着训练继续进行红色区域开始向热力图的对角线方向蔓延。在最终成功泛化的案例中红色区域会最终覆盖到对角线意味着那些层已经自然地包含了可以直接使用的知识不再需要强行搬运。而在最终失败的案例中红色区域虽然也在扩展但始终无法触及对角线止步于此。这是因为一旦记忆任务的损失函数loss降到很低模型就几乎不再有梯度信号来驱动进一步的内部重组训练动力就熄火了知识就这样被永久性地困在了错误的层里。五、知识被困在了AI的哪里又该怎么解救它自补丁的热力图不仅揭示了问题的存在还告诉了我们知识具体被困在哪里以及需要被送往哪里。研究团队分析了大量热力图中效果最好的搬运路线发现了一个惊人的规律有效的搬运路线呈现出两个明显的集群。第一个集群是从晚层搬到中层。这个方向不难理解——模型的晚层靠近输出的那些层往往汇聚了更丰富的语义信息把这些信息向前拉到中层让中层的推理计算能看到这些信息是有效的。第二个集群则更加出人意料从早层搬到中层同样有效。这说明知识在刚刚被注入时有一部分编码在了早层靠近输入的那些层而这些早层的知识在自然的前向传播中没能传递到中层被过滤或者忽视了。一旦人工把它送到中层同样能激活正确推理。而向晚层搬运也就是把信息送到更靠后的层则几乎没有任何效果——这与领域里已有研究相吻合在推理的晚期阶段计算注意力已经转移到最后一个词语位置把实体知识塞进去已经来不及影响最终答案了。知道了这个规律研究团队做了一个关键实验在训练完全收敛之后也就是正常微调已经停止的情况下手动对每个失败案例找出最有效的搬运路线然后进行自补丁操作看能恢复多少泛化准确率。结果非常震撼在链式推理任务上所有模型、所有数据集的准确率都提升了1.5到6倍在交叉推理任务上本来就不大的知用鸿沟也几乎被完全消除了。以Qwen-2.5-7B模型在生物医学数据集上的链式推理任务为例不做任何干预时准确率只有12.4%而在神谕补丁oracle patching即找出最优搬运路线的理想情况后准确率跃升到50.4%。这个结果有一个极其重要的含义泛化失败并不是因为模型没有这个知识。知识就在那里只是被存放在了无法自然参与推理计算的地方。这是一个路由问题而不是容量问题。六、控制实验排除其他可能的解释当然严谨的科学研究不能只靠一个实验就下结论。研究团队还设计了一系列对照实验逐一排除其他可能的解释。首先是位置消融实验研究团队测试了在不同词语位置进行自补丁的效果。结果发现在关键实体名称的位置比如基因名称ABCC11进行补丁的效果最好准确率提升达到64%远超在随机位置、句首符号或句尾符号处进行补丁的效果。这证明了自补丁抓住的不是偶然的位置信号而是确实与知识内容绑定的实体表示。其次是提示词控制实验研究团队用思维链Chain-of-Thought简称CoT这种已知有效的提示技术来做对比。思维链的做法是引导模型一步一步地把推理过程写出来而不是直接给出答案。结果显示思维链确实能提高链式推理的准确率但提升幅度远低于自补丁以Qwen-2.5-3B为例思维链把链式准确率从11.4%提到了28.8%而自补丁能达到54.2%。在交叉推理任务上思维链甚至有时候会降低准确率——可能因为强制写出推理过程反而引入了干扰。最后是无关补丁对照实验如果自补丁的效果只是来自对模型表示做了某种扰动而不是传递了真正有用的知识那么用一个完全无关的知识的实体表示来做补丁也应该有类似的提升。实验结果否定了这个替代假说用无关知识的表示做补丁效果远低于用正确知识的表示做补丁。以Qwen-2.5-1.5B为例正确补丁准确率44%无关补丁只有15%。这有力地说明自补丁的提升效果来自知识本身而不是任何形式的扰动噪音。研究团队还做了一个跨语境的一致性验证把从记忆任务的提示中提取的实体表示搬运到泛化任务的提示中去。结果发现有效的源层-目标层组合在两种不同的提示语境中高度一致进一步排除了补丁效果来自某种提示词捷径的可能性。七、从诊断工具到实用策略自补丁作为一种神谕工具oracle tool需要对每个问题逐一搜索最优的搬运路线这在实际使用中代价太高。更重要的问题是能否把热力图规律转化成一个不需要逐案搜索的实用策略研究团队给出了一个简洁而有效的答案。既然有效的搬运路线集中在两类从约80%深度的层搬到约50%深度的层晚层到中层以及从约10%深度的层搬到约50%深度的层早层到中层那就用这两条固定路线不做任何逐案搜索直接应用于所有问题。这个方案被称为固定启发式策略Fixed Heuristic。结果相当令人鼓舞。在六个不同的模型三种Qwen系列、三种LLaMA系列和两类任务上固定启发式策略能恢复神谕补丁效果的58%到75%。以链式推理任务的平均数据来看不做任何干预时准确率为12.1%神谕补丁达到44.4%固定启发式策略达到35.7%——填补了约67%的差距。这个结果证明知用鸿沟不只是一个理论上的问题它在实践层面上至少可以部分地被一个简单的非搜索策略所改善。八、这一切说明了什么一个关于AI内部的新假说把上述所有实验结果拼在一起研究团队提出了一个统一的解释框架称为知识-电路错位假说knowledge-circuit misalignment hypothesis。在AI内部处理不同任务需要用到不同的计算电路circuit——可以把这些电路理解为负责特定功能的神经网络子结构。多跳推理也就是把多条知识链接起来使用所依赖的推理电路主要在模型的中间层发挥作用这一点在之前的独立研究中已经有所记录。微调的过程会让新知识被编码进模型的某些层但这些层不一定是推理电路所在的层。更精确地说微调倾向于把知识存储在容易拟合的位置——通常是早层或晚层因为这些层的参数对损失函数最敏感最容易被训练调整。一旦记忆任务的损失降到足够低梯度就消失了训练停止知识就被冻结在了这些位置而没有进一步向中层推理电路渗透的动力。这个假说预测了两件事第一在记忆饱和之后模型内部应该存在包含正确知识但不产生正确推理的离路表示第二手动把这些表示送到推理计算的有效位置应该能立即改善泛化。这两件事都被自补丁实验明确证实了。从这个视角来看知用鸿沟本质上不是知识匮乏的问题也不是模型容量不够的问题——它是一个路由问题知识存在但没有被送到正确的地方参与计算。这个视角为解决这个问题指出了一个全新的方向不应该只关注如何让模型记住更多而应该关注如何让训练过程能够把知识对齐到推理所需要的位置。归根结底这项研究揭示的是AI学习过程中一个被忽视的裂缝记住和会用是两件截然不同的事情。就像一个学生能背出所有历史年代却无法用这些知识回答为什么某个事件会发生一样大型语言模型在面对需要灵活运用的推理任务时也会在内部的信息路由上卡壳。这不是智能不够的问题而是知识放错了地方。研究团队设计的自补丁工具相当于给AI内部做了一次精确的导航检查——找出知识被困在哪里验证搬到正确位置之后能不能正常运作然后设计了一个简单的固定策略在不需要逐案搜索的情况下就能弥补大部分的泛化差距。当然这项研究还有未完成的部分。固定策略和神谕之间仍有差距说明知识存储位置存在个体差异未来需要更自适应的方法。自补丁目前只在单一位置进行干预而知识可能分散在多个位置当前的工具可能低估了真正可恢复的上限。此外研究至今还不能在训练早期预测哪条知识会失败泛化如果能做到这一点就可以在训练过程中主动干预而不是事后补救。这项研究带来的最大启示也许是对微调这一主流知识注入方法的重新认识提高记忆准确率并不等于提高了知识的可用性。未来或许需要设计对齐感知的训练alignment-aware training——在优化记忆的同时也明确地将知识推送到推理电路所在的位置从根本上消除这道鸿沟。有兴趣深入了解的读者可以通过arXiv:2607.08393查阅完整论文。QAQ1大型语言模型微调之后为什么会出现记住了但不会用的现象A根据这项研究的发现问题出在AI内部的信息路由上。微调训练会让新知识被存储在早层或晚层但推理计算所依赖的电路主要位于中间层。训练一旦结束知识就被冻结在了错误的位置无法自然流入推理所需的计算路径导致模型能直接回忆知识却无法在推理时使用它。Q2自补丁self-patching技术和普通的激活补丁技术有什么区别A传统的激活补丁方法需要先有一条正确运算轨迹作为参照对已经出错的失败案例无能为力。自补丁不需要正确轨迹它直接把AI某一层的实体表示复制到另一层观察这个搬运动作能否让失败的推理变成成功因此可以直接用于诊断泛化失败的案例这是其核心创新点。Q3固定启发式策略在实际场景中可以直接应用吗A目前的固定启发式策略是在推理时手动干预AI的内部表示属于后处理手段还不是可以无缝嵌入普通微调流程的工程化方案。该策略能恢复58%到75%的理论上限说明有实用潜力但距离真正的工程落地还需要进一步研究特别是需要开发能在训练阶段主动对齐知识存储位置的方法。
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
