1. 研究问题与动机背景基于强化学习RL的“智能体搜索”模型能通过多轮推理和外部搜索工具解决复杂问题准确率很高。核心问题这类模型在RL训练后几乎从不承认自己“不知道”即输出“I DONT KNOW”简称IDK即使证据不足或推理已到极限也会强行编造答案。这严重损害了模型在实际应用中的可信度Reliability。根本原因标准的RL奖励函数只鼓励“正确”和“格式规范”这激励模型穷尽一切尝试去得出答案同时抑制了任何承认不确定性的行为。2. 关键发现初步研究作者通过实验发现两个关键现象RL削弱边界意识经过RL训练后模型的准确率提升但IDK率急剧下降从18.75%降至3.65%说明它失去了判断自身推理边界的能力。简单鼓励IDK会适得其反如果在奖励中直接给IDK正奖励模型会“耍小聪明”奖励破解在遇到难题时直接输出IDK来获取奖励导致准确率大幅下降。这揭示了一个核心矛盾如何在不损害模型解决问题能力的前提下教会它何时该承认无知。3. 提出的方法BAPO为了解决上述矛盾作者提出了边界感知策略优化Boundary-Aware Policy Optimization, BAPO其核心是两个创新组件1边界感知奖励Boundary-Aware Reward核心逻辑只有当模型在一个问题的所有多次尝试一组rollouts中都未能给出正确答案时才认为该问题“超出模型边界”此时才对IDK响应给予正奖励0.5。作用这确保了IDK只在“确实无能为力”时被鼓励而不是任何难题都可以随意说IDK。2自适应奖励调节器Adaptive Reward Modulator目的防止模型过早或过度地利用IDK奖励。两个层面阶段层面Stage-Level探索阶段训练前期默认禁用IDK奖励让模型专心学习如何解决问题。平台阶段训练后期准确率不再提升时启用IDK奖励让模型开始学习识别自己的边界。样本层面Sample-Level在平台阶段如果一个问题的多次回答多样性很高说明模型还在积极探索则暂时禁用IDK奖励。如果多样性很低说明模型已收敛则启用IDK奖励来微调其边界意识。4. 实验与结果基线和模型在Qwen2.5系列3B、7B、14B上对比了Search-R1、ReSearch、GRPO、Reliable RFT等方法。主要成果可靠性大幅提升BAPO在四个多跳QA基准上的平均可靠性综合准确率和精确率的指标显著优于所有对比方法15.8分。平衡准确率与精确率相比GRPOBAPO的准确率仅略有下降-2.2%但精确率大幅提升11.8%说明它以牺牲极少的正确率换来了更干净、可信的回答。高效性仅用5000个训练样本效果就优于使用数万样本的同类模型。拒绝的合理性BAPO拒绝回答的问题中超过75%确实是GRPO模型也无法回答的证明其拒绝行为是“有依据的”而非盲目拒绝。消融实验验证移除自适应调节器或使用固定IDK奖励都会导致模型过于保守IDK率飙升可靠性下降。5. 研究意义与贡献识别了盲点首次系统性地指出当前RL训练智能体搜索模型存在“可信度被忽视”的问题。提供了解决方案提出了BAPO框架通过精细化的奖励设计和动态调节实现了“该解决时解决该承认时承认”的可靠行为。验证了可行性证明了在强化学习框架下同时优化“准确性”和“可靠性”是可行的且无需大规模数据。6. 局限性与未来方向任务范围主要在知识密集型QA任务上验证对其他类型推理如数学、常识的泛化性需进一步探索。模型规模实验限于140亿参数以下更大规模模型上的表现未知。搜索环境使用的是本地维基百科检索而非真实、噪声更大的商业网络搜索实际部署时可能面临新挑战。论文揭示了RL智能体搜索模型“不懂装懂”的可靠性危机并提出了BAPO——一种通过动态、分阶段地奖励“我不知道”来训练模型使其在保持高解题能力的同时学会在真正超出能力范围时诚实承认未知的强化学习框架。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里如下所示摘要基于强化学习RL的智能体搜索使大型语言模型LLM能够通过动态规划和外部搜索来解决复杂问题。虽然这种方法通过大规模强化学习优化的智能体策略显著提高了准确性但我们发现了一个关键的可信度问题这些智能体无法识别自身的推理边界即使在证据不足或推理达到极限时也极少承认“我不知道”IDK。这种可信度的缺失常常导致看似合理但不可靠的答案在许多现实场景中引入了重大风险。为此我们提出了边界感知策略优化BAPO这是一种新颖的RL框架旨在培养可靠的边界意识同时不影响准确性。BAPO引入了两个关键组成部分(i) 一个基于分组的边界感知奖励仅在推理达到极限时鼓励IDK响应(ii) 一个自适应奖励调节器在早期探索阶段策略性地暂停此奖励防止模型将IDK作为捷径加以利用。在四个基准上的大量实验表明BAPO显著提升了智能体搜索的整体可靠性11。1 引言最近的研究进展利用强化学习RL将大型语言模型LLM优化为能够自主规划和执行多轮搜索的智能体Jin 等人2025aChen 等人2025Song 等人2025。虽然基于RL的智能体搜索在复杂的、知识密集型问题上显著提高了准确性但它引入了一个关键的可信度问题这些基于RL的模型几乎从不承认“我不知道”IDK即使在证据不足或推理达到极限时也是如此Zhang 等人2025cJoren 等人2025。如图1所示当智能体搜索模型无法得出具体的最终答案时它应该明确承认IDK而不是捏造答案。考虑到用户难以验证冗长的推理过程这种能力尤其宝贵因为诚实地承认IDK有助于用户寻求替代信息源并防止错误信息的传播。图1当智能体搜索模型产生错误答案时其冗长而复杂的推理过程使用户难以验证。为确保可靠性模型应在信息不足且无法获得答案时明确声明。先前的研究将承认不确定性的能力归因于模型对其内部“边界”的意识Li 等人2025bZhang 等人2025c。具体来说EKBMZheng 等人2025根据其参数化的“知识边界”验证信息以准确回答事实性问题而CapBoundZhang 等人2025c则为数学推理引入了一个类似的概念以确定问题是否在其“能力边界”内可解。然而智能体搜索模型的推理边界本质上更为复杂和动态因为这种边界持续地由模型内部推理能力用于搜索工具交互与外部检索信息之间的相互作用所塑造。为了研究RL对智能体搜索模型推理边界意识的影响我们进行了初步实验测量了模型在RL训练前后的这种意识。一个关键发现是虽然RL优化提高了复杂问题的准确性但它显著降低了模型对其边界的意识。这是因为标准的RL奖励会激励为追求正确性而进行的广泛探索同时抑制任何对不确定性的承认Jin 等人2025aSong 等人2025。结果这些模型常常缺乏对其边界的意识并捏造看似合理的答案。增强智能体搜索模型的边界意识至关重要但充满挑战。(i) 定量测量模型的推理边界很困难这使得为IDK响应构建可靠的奖励信号变得困难。与仅与模型固有能力相关的静态知识或能力边界不同智能体搜索模型的边界是一个动态的、涌现的属性源于智能体的规划、检索质量及其迭代推理步骤之间的交互。因此我们缺乏一个稳健的策略来判断智能体是否真正遇到了其极限。(ii) 在不产生意外激励的情况下将此信号整合到RL目标中也很困难。一个简单鼓励IDK响应的奖励可能被用作低成本的捷径尤其是在需要深入探索的困难问题上。如果奖励函数优先考虑IDK而非错误答案模型可能学会过早地默认输出IDK最终损害推理准确性和探索深度。为此我们提出了用于智能体搜索的边界感知策略优化BAPO旨在培养可靠的自我意识同时不影响准确性。我们的研究旨在解决两个基本研究问题(i) 如何精确建模用于识别智能体搜索模型边界的学习信号以及 (ii) 如何将此信号整合到RL框架中以平衡深度探索和适当的利用。在四个具有挑战性的基准上的结果表明BAPO在整体可靠性方面持续优于主流的基于训练和基于提示的方法。值得注意的是仅使用5000个RL训练样本基于Qwen2.5-7B-Instruct的BAPO在可靠性上优于强大的开源智能体搜索模型且不影响平均准确性。我们的主要贡献如下我们识别了智能体搜索模型的关键局限性并提出了BAPO一种新颖的RL框架它动态地奖励IDK响应以培养模型对其推理边界的自我意识。BAPO引入了一个基于分组的边界感知奖励仅在问题超出模型边界时鼓励IDK响应以及一个自适应奖励调节器以防止奖励破解。在具有挑战性的基准上的大量实验表明BAPO有效地增强了搜索可靠性同时保留了模型解决复杂问题的能力。2 背景2.1 智能体搜索为提升知识密集型场景下的响应质量检索增强生成RAG利用外部搜索来补充LLM的参数化知识Lewis 等人2020Gao 等人2023Fan 等人2024。当前基于提示的策略通常依赖于预定义的工作流来交错进行推理和搜索Asai 等人2024Li 等人2025c导致效果有限。虽然基于学习的方法SFT/DPO提供了一种替代方案Lin 等人2024Wang 等人2025Fang 等人2025Li 等人2025d但它们仍然受到复杂数据流程和次优泛化能力的限制。受强化学习在数学和编程领域成功的启发Jaech 等人2024DeepSeek-AI 等人2025基于RL的智能体搜索系统应运而生例如SearchR1Jin 等人2025a、ReSearchChen 等人2025、R1-SearcherSong 等人2025和ToolStarDong 等人2025。这些方法采用格式和结果正确性奖励以实现自主查询分解并在推理过程中与外部搜索系统灵活交互从而在复杂查询上获得了优越的准确性。然而当前方法优先考虑搜索准确性而忽略了整体可靠性后者取决于准确性和精确度。相比之下我们提出的BAPO利用边界感知奖励机制来优化整体可靠性从而最大化智能体搜索模型的实用性。2.2 形式化3 初步研究在本研究中我们首先调查了使用基于正确性的奖励进行RL训练对智能体搜索模型边界意识的影响。随后我们引入了一个额外的旨在鼓励IDK响应的奖励项并评估其效果。我们的发现揭示了在最大化准确性和维持有效边界意识之间固有的权衡。3.1 设置训练。对于训练我们使用了来自Dong等人2025的高质量RL训练数据集该数据集包含来自HotpotQA和2WikiMultihopQA的5000个多跳问答样本。遵循免冷启动范式我们直接将GRPO应用于Qwen2.5-3B-InstructYang 等人2025b跳过了初步的领域内SFT。评估。对于评估我们使用了四个多跳问答基准HotpotQAYang 等人2018、MuSiQueTrivedi 等人2022、2WikiMultihopQAHo 等人2020和BambooglePress 等人2023。具体来说HotpotQA、2WikiMultihopQA和MuSiQue是基于维基百科或WikidataVrandecic 和 Krotzsch2014使用不同的多跳挖掘策略构建的而Bamboogle是一个手动策划的包含2跳挑战性问题的数据集。遵循Dong等人2025的设置我们构建了一个包含80个多跳问答对的验证集每个基准的测试集中抽取20个样本。相比之下第5节中报告的结果是在完整的测试集上评估的。图2RL前后模型的准确率、精确率和IDK率ρIDK评估结果。ρIDK 的急剧下降以及准确率和精确率之间差距的缩小表明RL后边界意识减弱。3.2 使用正确性奖励的RL会损害边界意识为评估RL对边界意识的影响我们将Qwen2.5-7B-Instruct与其变体ReSearch-Qwen-7B-InstructChen 等人2025进行了比较后者使用基于正确性的奖励通过GRPO进行了优化。为引出明确的IDK承认我们遵循Xu等人2024在原始提示后附加了以下可靠性提示可靠性提示如果你无法通过推理过程解决此问题你应该输出 IDON′TKNOWIDON′TKNOW。如图2所示在RL训练之前Qwen2.5-7B-Instruct 显示出其精确率50.76显著高于准确率41.25并伴有较高的IDK率18.75%18.75%有效地过滤了不确定的案例。然而在RL训练之后ReSearch-Qwen-7B-Instruct虽然准确率提高到51.25但IDK率急剧下降到 3.65%3.65%精确率仅略微提升至53.24。这表明削弱了的边界意识抑制了IDK的承认。3.3 鼓励IDK响应阻碍准确性提升由于仅使用基于正确性的奖励会削弱模型在何时承认IDK的意识一种自然的方法是在RL训练期间为IDK响应引入适当的正奖励。遵循第3.1节的训练设置我们使用可靠性提示指导模型并修改正确性奖励函数为那些在缺乏正确答案的展开组中的IDK响应额外分配0.5的奖励。此设计在无法获得正确答案时优先考虑IDK响应而非错误答案。然而如图3所示直接激励IDK响应会导致奖励破解模型学会通过默认输出IDK来最大化奖励而不是尝试解决具有挑战性的问题。因此与普通奖励相比这种修改后的奖励阻碍了准确性的提升。这一发现突显了训练可靠模型的一个基本挑战平衡模型为获得正确性奖励而进行的探索与其为获得IDK奖励而进行的利用。4 BAPO框架基于初步研究的观察和见解我们提出了边界感知策略优化BAPO这是一种基于GRPO构建的RL算法用于训练可靠的智能体搜索模型。如图4所示BAPO使用边界感知奖励来根据问题是否超出模型边界来鼓励IDK响应。更重要的是它使用自适应奖励调节器来平衡探索和利用缓解了第3.3节中发现的奖励破解问题。4.1 边界感知奖励4.2 自适应奖励调节器5 实验5.1 实验设置基线方法。我们将BAPO与 (1) 现有的RL智能体搜索方法以及 (2) 我们实现的基于提示和训练的方法进行比较。对于前者我们选择了两种代表性方法Search-R1Jin 等人2025a和ReSearchChen 等人2025。为公平比较我们使用Qwen2.5-7B-Instruct作为基础模型。基于提示的基线包括(1)Naive RAG一种朴素的基于检索的方法直接将检索到的上下文与查询拼接。(2)IR-CoTTrivedi 等人2023一种交错方法其中检索和CoT相互引导。(3)TIR PromptDong 等人2025一个标准的工具集成提示指示模型在推理过程中使用搜索工具附录C。(4)Reliable TIR Prompt在TIR Prompt基础上额外鼓励模型通过回应IDK来承认无知第3.2节。对于基于训练的基线我们选择了 (1)Reliable Rejection Sampling Fine-Tuning (Reliable RFT)它在可靠性TIR提示下为每个问题生成多条推理路径并将正确的路径和合理的IDK响应都纳入SFT数据集。与BAPO类似当没有正确路径可用时采用IDK响应。(2)GRPOShao 等人2024仅使用正确性奖励其他设置与BAPO相同。可靠性指标。我们遵循Xu等人2024采用可靠性指标来综合平衡准确率和精确率5.2 主要结果BAPO和其他基线在Qwen2.5-7B-Instruct上的性能如表1所示。与现有的智能体搜索方法和我们实现的基线相比BAPO在所有基准上均实现了显著的可靠性提升平均15.8分。值得注意的是与使用大规模训练集分别为90k和19k样本的现有智能体搜索模型如Search-R1Jin 等人2025a和ReSearchChen 等人2025相比仅使用5k样本的BAPO训练模型实现了具有竞争力的准确率和显著更高的可靠性。与GRPO相比BAPO在可靠性上平均提高了 9.7%相应的精确率提高了 11.8%而准确率仅略有下降2.2%。这些结果展示了BAPO在训练可靠智能体方面的有效性和效率。对于采用可靠性技术的方法如Reliable RFT和Reliable TIR Prompt我们发现Reliable RFT趋向于过于保守尽管它们在精确率上取得了显著提升但这以准确率的急剧下降为代价与TIR Prompt基线相比准确率下降了27个百分点。这最终损害了整体可靠性。虽然Reliable TIR Prompt在不牺牲准确率的情况下提高了精确率但它本质上缺乏进一步提升问题解决能力的能力。相比之下BAPO同时实现了边界意识和问题解决能力。5.3 跨模型规模的泛化性为验证BAPO在不同模型规模上的泛化性我们将评估扩展到Qwen2.5-Instruct系列的3B和14B版本。如表2所示BAPO将其指导模型骨干带有Reliable TIR Prompt在3B和14B规模上的可靠性分别平均提高了 76.1% 和 27.4%。此外与标准GRPO基线相比BAPO实现了 13.9% 和 11.9% 的显著可靠性优势。这些结果与我们的主要实验一致证实了BAPO在构建可靠智能体搜索方面的通用性。5.4 消融研究表3详细列出了在Qwen2.5-3B-Instruct上将BAPO与其变体进行比较的消融研究。通过实验结果我们可以得出以下观察结果固定奖励策略导致奖励破解。当用固定的0.5正奖励模拟BARREL中使用的设置Yang 等人2025a替换我们提出的奖励机制来奖励IDK响应时模型表现出极端的过度保守性。IDK率飙升至 53.1%虽然这提高了精确率但急剧降低了准确率并在所有变体中产生了最低的整体可靠性分数。自适应奖励调节器至关重要。接下来我们消融了自适应奖励调节器的两个组成部分以验证其有效性。我们发现移除样本级停用导致可靠性略有下降 (−1.2)。相比之下同时移除阶段级和样本级调节器导致模型退化为局部最优利用IDK响应。因此我们观察到IDK率过度激增16.8%→35.2%伴随着准确率44.8→37.8和可靠性51.3→49.0的显著下降。5.5 两个阶段的奖励动态5.6 何时拒绝的意识为评估BAPO产生的IDK响应的合理性我们使用拒绝成功率定义为在BAPO训练模型拒绝通过回应IDK给出最终答案的问题子集上GRPO训练模型的错误率6 结论在本文中我们揭示了一个关键挑战仅使用正确性奖励的RL训练会削弱模型为用户提供真实答案的可靠性。为此我们提出了BAPO一种用于训练可靠智能体搜索模型的新颖RL算法。除正确性奖励外BAPO还结合了边界感知奖励以鼓励适当的IDK响应。为解决探索与利用之间的权衡我们引入了一个自适应奖励调节器以防止模型被过度鼓励承认无知。大量实验表明BAPO实现了卓越的可靠性使模型能够在不损害其深度探索能力的情况下保持对其推理边界的意识。
1. 研究问题与动机背景基于强化学习RL的“智能体搜索”模型能通过多轮推理和外部搜索工具解决复杂问题准确率很高。核心问题这类模型在RL训练后几乎从不承认自己“不知道”即输出“I DONT KNOW”简称IDK即使证据不足或推理已到极限也会强行编造答案。这严重损害了模型在实际应用中的可信度Reliability。根本原因标准的RL奖励函数只鼓励“正确”和“格式规范”这激励模型穷尽一切尝试去得出答案同时抑制了任何承认不确定性的行为。2. 关键发现初步研究作者通过实验发现两个关键现象RL削弱边界意识经过RL训练后模型的准确率提升但IDK率急剧下降从18.75%降至3.65%说明它失去了判断自身推理边界的能力。简单鼓励IDK会适得其反如果在奖励中直接给IDK正奖励模型会“耍小聪明”奖励破解在遇到难题时直接输出IDK来获取奖励导致准确率大幅下降。这揭示了一个核心矛盾如何在不损害模型解决问题能力的前提下教会它何时该承认无知。3. 提出的方法BAPO为了解决上述矛盾作者提出了边界感知策略优化Boundary-Aware Policy Optimization, BAPO其核心是两个创新组件1边界感知奖励Boundary-Aware Reward核心逻辑只有当模型在一个问题的所有多次尝试一组rollouts中都未能给出正确答案时才认为该问题“超出模型边界”此时才对IDK响应给予正奖励0.5。作用这确保了IDK只在“确实无能为力”时被鼓励而不是任何难题都可以随意说IDK。2自适应奖励调节器Adaptive Reward Modulator目的防止模型过早或过度地利用IDK奖励。两个层面阶段层面Stage-Level探索阶段训练前期默认禁用IDK奖励让模型专心学习如何解决问题。平台阶段训练后期准确率不再提升时启用IDK奖励让模型开始学习识别自己的边界。样本层面Sample-Level在平台阶段如果一个问题的多次回答多样性很高说明模型还在积极探索则暂时禁用IDK奖励。如果多样性很低说明模型已收敛则启用IDK奖励来微调其边界意识。4. 实验与结果基线和模型在Qwen2.5系列3B、7B、14B上对比了Search-R1、ReSearch、GRPO、Reliable RFT等方法。主要成果可靠性大幅提升BAPO在四个多跳QA基准上的平均可靠性综合准确率和精确率的指标显著优于所有对比方法15.8分。平衡准确率与精确率相比GRPOBAPO的准确率仅略有下降-2.2%但精确率大幅提升11.8%说明它以牺牲极少的正确率换来了更干净、可信的回答。高效性仅用5000个训练样本效果就优于使用数万样本的同类模型。拒绝的合理性BAPO拒绝回答的问题中超过75%确实是GRPO模型也无法回答的证明其拒绝行为是“有依据的”而非盲目拒绝。消融实验验证移除自适应调节器或使用固定IDK奖励都会导致模型过于保守IDK率飙升可靠性下降。5. 研究意义与贡献识别了盲点首次系统性地指出当前RL训练智能体搜索模型存在“可信度被忽视”的问题。提供了解决方案提出了BAPO框架通过精细化的奖励设计和动态调节实现了“该解决时解决该承认时承认”的可靠行为。验证了可行性证明了在强化学习框架下同时优化“准确性”和“可靠性”是可行的且无需大规模数据。6. 局限性与未来方向任务范围主要在知识密集型QA任务上验证对其他类型推理如数学、常识的泛化性需进一步探索。模型规模实验限于140亿参数以下更大规模模型上的表现未知。搜索环境使用的是本地维基百科检索而非真实、噪声更大的商业网络搜索实际部署时可能面临新挑战。论文揭示了RL智能体搜索模型“不懂装懂”的可靠性危机并提出了BAPO——一种通过动态、分阶段地奖励“我不知道”来训练模型使其在保持高解题能力的同时学会在真正超出能力范围时诚实承认未知的强化学习框架。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里如下所示摘要基于强化学习RL的智能体搜索使大型语言模型LLM能够通过动态规划和外部搜索来解决复杂问题。虽然这种方法通过大规模强化学习优化的智能体策略显著提高了准确性但我们发现了一个关键的可信度问题这些智能体无法识别自身的推理边界即使在证据不足或推理达到极限时也极少承认“我不知道”IDK。这种可信度的缺失常常导致看似合理但不可靠的答案在许多现实场景中引入了重大风险。为此我们提出了边界感知策略优化BAPO这是一种新颖的RL框架旨在培养可靠的边界意识同时不影响准确性。BAPO引入了两个关键组成部分(i) 一个基于分组的边界感知奖励仅在推理达到极限时鼓励IDK响应(ii) 一个自适应奖励调节器在早期探索阶段策略性地暂停此奖励防止模型将IDK作为捷径加以利用。在四个基准上的大量实验表明BAPO显著提升了智能体搜索的整体可靠性11。1 引言最近的研究进展利用强化学习RL将大型语言模型LLM优化为能够自主规划和执行多轮搜索的智能体Jin 等人2025aChen 等人2025Song 等人2025。虽然基于RL的智能体搜索在复杂的、知识密集型问题上显著提高了准确性但它引入了一个关键的可信度问题这些基于RL的模型几乎从不承认“我不知道”IDK即使在证据不足或推理达到极限时也是如此Zhang 等人2025cJoren 等人2025。如图1所示当智能体搜索模型无法得出具体的最终答案时它应该明确承认IDK而不是捏造答案。考虑到用户难以验证冗长的推理过程这种能力尤其宝贵因为诚实地承认IDK有助于用户寻求替代信息源并防止错误信息的传播。图1当智能体搜索模型产生错误答案时其冗长而复杂的推理过程使用户难以验证。为确保可靠性模型应在信息不足且无法获得答案时明确声明。先前的研究将承认不确定性的能力归因于模型对其内部“边界”的意识Li 等人2025bZhang 等人2025c。具体来说EKBMZheng 等人2025根据其参数化的“知识边界”验证信息以准确回答事实性问题而CapBoundZhang 等人2025c则为数学推理引入了一个类似的概念以确定问题是否在其“能力边界”内可解。然而智能体搜索模型的推理边界本质上更为复杂和动态因为这种边界持续地由模型内部推理能力用于搜索工具交互与外部检索信息之间的相互作用所塑造。为了研究RL对智能体搜索模型推理边界意识的影响我们进行了初步实验测量了模型在RL训练前后的这种意识。一个关键发现是虽然RL优化提高了复杂问题的准确性但它显著降低了模型对其边界的意识。这是因为标准的RL奖励会激励为追求正确性而进行的广泛探索同时抑制任何对不确定性的承认Jin 等人2025aSong 等人2025。结果这些模型常常缺乏对其边界的意识并捏造看似合理的答案。增强智能体搜索模型的边界意识至关重要但充满挑战。(i) 定量测量模型的推理边界很困难这使得为IDK响应构建可靠的奖励信号变得困难。与仅与模型固有能力相关的静态知识或能力边界不同智能体搜索模型的边界是一个动态的、涌现的属性源于智能体的规划、检索质量及其迭代推理步骤之间的交互。因此我们缺乏一个稳健的策略来判断智能体是否真正遇到了其极限。(ii) 在不产生意外激励的情况下将此信号整合到RL目标中也很困难。一个简单鼓励IDK响应的奖励可能被用作低成本的捷径尤其是在需要深入探索的困难问题上。如果奖励函数优先考虑IDK而非错误答案模型可能学会过早地默认输出IDK最终损害推理准确性和探索深度。为此我们提出了用于智能体搜索的边界感知策略优化BAPO旨在培养可靠的自我意识同时不影响准确性。我们的研究旨在解决两个基本研究问题(i) 如何精确建模用于识别智能体搜索模型边界的学习信号以及 (ii) 如何将此信号整合到RL框架中以平衡深度探索和适当的利用。在四个具有挑战性的基准上的结果表明BAPO在整体可靠性方面持续优于主流的基于训练和基于提示的方法。值得注意的是仅使用5000个RL训练样本基于Qwen2.5-7B-Instruct的BAPO在可靠性上优于强大的开源智能体搜索模型且不影响平均准确性。我们的主要贡献如下我们识别了智能体搜索模型的关键局限性并提出了BAPO一种新颖的RL框架它动态地奖励IDK响应以培养模型对其推理边界的自我意识。BAPO引入了一个基于分组的边界感知奖励仅在问题超出模型边界时鼓励IDK响应以及一个自适应奖励调节器以防止奖励破解。在具有挑战性的基准上的大量实验表明BAPO有效地增强了搜索可靠性同时保留了模型解决复杂问题的能力。2 背景2.1 智能体搜索为提升知识密集型场景下的响应质量检索增强生成RAG利用外部搜索来补充LLM的参数化知识Lewis 等人2020Gao 等人2023Fan 等人2024。当前基于提示的策略通常依赖于预定义的工作流来交错进行推理和搜索Asai 等人2024Li 等人2025c导致效果有限。虽然基于学习的方法SFT/DPO提供了一种替代方案Lin 等人2024Wang 等人2025Fang 等人2025Li 等人2025d但它们仍然受到复杂数据流程和次优泛化能力的限制。受强化学习在数学和编程领域成功的启发Jaech 等人2024DeepSeek-AI 等人2025基于RL的智能体搜索系统应运而生例如SearchR1Jin 等人2025a、ReSearchChen 等人2025、R1-SearcherSong 等人2025和ToolStarDong 等人2025。这些方法采用格式和结果正确性奖励以实现自主查询分解并在推理过程中与外部搜索系统灵活交互从而在复杂查询上获得了优越的准确性。然而当前方法优先考虑搜索准确性而忽略了整体可靠性后者取决于准确性和精确度。相比之下我们提出的BAPO利用边界感知奖励机制来优化整体可靠性从而最大化智能体搜索模型的实用性。2.2 形式化3 初步研究在本研究中我们首先调查了使用基于正确性的奖励进行RL训练对智能体搜索模型边界意识的影响。随后我们引入了一个额外的旨在鼓励IDK响应的奖励项并评估其效果。我们的发现揭示了在最大化准确性和维持有效边界意识之间固有的权衡。3.1 设置训练。对于训练我们使用了来自Dong等人2025的高质量RL训练数据集该数据集包含来自HotpotQA和2WikiMultihopQA的5000个多跳问答样本。遵循免冷启动范式我们直接将GRPO应用于Qwen2.5-3B-InstructYang 等人2025b跳过了初步的领域内SFT。评估。对于评估我们使用了四个多跳问答基准HotpotQAYang 等人2018、MuSiQueTrivedi 等人2022、2WikiMultihopQAHo 等人2020和BambooglePress 等人2023。具体来说HotpotQA、2WikiMultihopQA和MuSiQue是基于维基百科或WikidataVrandecic 和 Krotzsch2014使用不同的多跳挖掘策略构建的而Bamboogle是一个手动策划的包含2跳挑战性问题的数据集。遵循Dong等人2025的设置我们构建了一个包含80个多跳问答对的验证集每个基准的测试集中抽取20个样本。相比之下第5节中报告的结果是在完整的测试集上评估的。图2RL前后模型的准确率、精确率和IDK率ρIDK评估结果。ρIDK 的急剧下降以及准确率和精确率之间差距的缩小表明RL后边界意识减弱。3.2 使用正确性奖励的RL会损害边界意识为评估RL对边界意识的影响我们将Qwen2.5-7B-Instruct与其变体ReSearch-Qwen-7B-InstructChen 等人2025进行了比较后者使用基于正确性的奖励通过GRPO进行了优化。为引出明确的IDK承认我们遵循Xu等人2024在原始提示后附加了以下可靠性提示可靠性提示如果你无法通过推理过程解决此问题你应该输出 IDON′TKNOWIDON′TKNOW。如图2所示在RL训练之前Qwen2.5-7B-Instruct 显示出其精确率50.76显著高于准确率41.25并伴有较高的IDK率18.75%18.75%有效地过滤了不确定的案例。然而在RL训练之后ReSearch-Qwen-7B-Instruct虽然准确率提高到51.25但IDK率急剧下降到 3.65%3.65%精确率仅略微提升至53.24。这表明削弱了的边界意识抑制了IDK的承认。3.3 鼓励IDK响应阻碍准确性提升由于仅使用基于正确性的奖励会削弱模型在何时承认IDK的意识一种自然的方法是在RL训练期间为IDK响应引入适当的正奖励。遵循第3.1节的训练设置我们使用可靠性提示指导模型并修改正确性奖励函数为那些在缺乏正确答案的展开组中的IDK响应额外分配0.5的奖励。此设计在无法获得正确答案时优先考虑IDK响应而非错误答案。然而如图3所示直接激励IDK响应会导致奖励破解模型学会通过默认输出IDK来最大化奖励而不是尝试解决具有挑战性的问题。因此与普通奖励相比这种修改后的奖励阻碍了准确性的提升。这一发现突显了训练可靠模型的一个基本挑战平衡模型为获得正确性奖励而进行的探索与其为获得IDK奖励而进行的利用。4 BAPO框架基于初步研究的观察和见解我们提出了边界感知策略优化BAPO这是一种基于GRPO构建的RL算法用于训练可靠的智能体搜索模型。如图4所示BAPO使用边界感知奖励来根据问题是否超出模型边界来鼓励IDK响应。更重要的是它使用自适应奖励调节器来平衡探索和利用缓解了第3.3节中发现的奖励破解问题。4.1 边界感知奖励4.2 自适应奖励调节器5 实验5.1 实验设置基线方法。我们将BAPO与 (1) 现有的RL智能体搜索方法以及 (2) 我们实现的基于提示和训练的方法进行比较。对于前者我们选择了两种代表性方法Search-R1Jin 等人2025a和ReSearchChen 等人2025。为公平比较我们使用Qwen2.5-7B-Instruct作为基础模型。基于提示的基线包括(1)Naive RAG一种朴素的基于检索的方法直接将检索到的上下文与查询拼接。(2)IR-CoTTrivedi 等人2023一种交错方法其中检索和CoT相互引导。(3)TIR PromptDong 等人2025一个标准的工具集成提示指示模型在推理过程中使用搜索工具附录C。(4)Reliable TIR Prompt在TIR Prompt基础上额外鼓励模型通过回应IDK来承认无知第3.2节。对于基于训练的基线我们选择了 (1)Reliable Rejection Sampling Fine-Tuning (Reliable RFT)它在可靠性TIR提示下为每个问题生成多条推理路径并将正确的路径和合理的IDK响应都纳入SFT数据集。与BAPO类似当没有正确路径可用时采用IDK响应。(2)GRPOShao 等人2024仅使用正确性奖励其他设置与BAPO相同。可靠性指标。我们遵循Xu等人2024采用可靠性指标来综合平衡准确率和精确率5.2 主要结果BAPO和其他基线在Qwen2.5-7B-Instruct上的性能如表1所示。与现有的智能体搜索方法和我们实现的基线相比BAPO在所有基准上均实现了显著的可靠性提升平均15.8分。值得注意的是与使用大规模训练集分别为90k和19k样本的现有智能体搜索模型如Search-R1Jin 等人2025a和ReSearchChen 等人2025相比仅使用5k样本的BAPO训练模型实现了具有竞争力的准确率和显著更高的可靠性。与GRPO相比BAPO在可靠性上平均提高了 9.7%相应的精确率提高了 11.8%而准确率仅略有下降2.2%。这些结果展示了BAPO在训练可靠智能体方面的有效性和效率。对于采用可靠性技术的方法如Reliable RFT和Reliable TIR Prompt我们发现Reliable RFT趋向于过于保守尽管它们在精确率上取得了显著提升但这以准确率的急剧下降为代价与TIR Prompt基线相比准确率下降了27个百分点。这最终损害了整体可靠性。虽然Reliable TIR Prompt在不牺牲准确率的情况下提高了精确率但它本质上缺乏进一步提升问题解决能力的能力。相比之下BAPO同时实现了边界意识和问题解决能力。5.3 跨模型规模的泛化性为验证BAPO在不同模型规模上的泛化性我们将评估扩展到Qwen2.5-Instruct系列的3B和14B版本。如表2所示BAPO将其指导模型骨干带有Reliable TIR Prompt在3B和14B规模上的可靠性分别平均提高了 76.1% 和 27.4%。此外与标准GRPO基线相比BAPO实现了 13.9% 和 11.9% 的显著可靠性优势。这些结果与我们的主要实验一致证实了BAPO在构建可靠智能体搜索方面的通用性。5.4 消融研究表3详细列出了在Qwen2.5-3B-Instruct上将BAPO与其变体进行比较的消融研究。通过实验结果我们可以得出以下观察结果固定奖励策略导致奖励破解。当用固定的0.5正奖励模拟BARREL中使用的设置Yang 等人2025a替换我们提出的奖励机制来奖励IDK响应时模型表现出极端的过度保守性。IDK率飙升至 53.1%虽然这提高了精确率但急剧降低了准确率并在所有变体中产生了最低的整体可靠性分数。自适应奖励调节器至关重要。接下来我们消融了自适应奖励调节器的两个组成部分以验证其有效性。我们发现移除样本级停用导致可靠性略有下降 (−1.2)。相比之下同时移除阶段级和样本级调节器导致模型退化为局部最优利用IDK响应。因此我们观察到IDK率过度激增16.8%→35.2%伴随着准确率44.8→37.8和可靠性51.3→49.0的显著下降。5.5 两个阶段的奖励动态5.6 何时拒绝的意识为评估BAPO产生的IDK响应的合理性我们使用拒绝成功率定义为在BAPO训练模型拒绝通过回应IDK给出最终答案的问题子集上GRPO训练模型的错误率6 结论在本文中我们揭示了一个关键挑战仅使用正确性奖励的RL训练会削弱模型为用户提供真实答案的可靠性。为此我们提出了BAPO一种用于训练可靠智能体搜索模型的新颖RL算法。除正确性奖励外BAPO还结合了边界感知奖励以鼓励适当的IDK响应。为解决探索与利用之间的权衡我们引入了一个自适应奖励调节器以防止模型被过度鼓励承认无知。大量实验表明BAPO实现了卓越的可靠性使模型能够在不损害其深度探索能力的情况下保持对其推理边界的意识。
)
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
