前段时间我在整理一批技术资料让 AI 帮忙做摘要又拿它和一位有经验的同事写的摘要放在一起对比。结果很有意思AI 的摘要语句通顺、结构工整但同事的摘要里多了一句“当前的结论只在样本量较小时成立不能直接外推”。这种对边界条件的敏感AI 没有给出来。后来看到 EBR-bench 这类评测把“人类基线”作为对照直接告诉外界AI 在特定任务上难以企及人类。说真的我反而觉得踏实。因为它不再回避一个事实很多评测的高分并不能代表真实场景中的好用。这篇博客就围绕 EBR-bench 这个话题展开。我会先聊聊为什么“AI难以企及”这类结论值得认真读然后推测它可能评测的能力再解释人类基线为什么难被超越最后给你一份可以在自己项目里落地的人类基线评测方法。如果你正在做 AI 应用开发、模型选型或 Prompt 优化这篇文章应该能帮你在各种榜单数据面前保持清醒。1. 为什么要关注一个“AI难以企及”的评测结论1.1 榜单上的乐观和真实体验之间的落差过去一年多大模型评测榜单非常多。MMLU、GSM8K、HumanEval新模型一发布分数就往上刷。很多人已经形成习惯分数涨了就觉得模型变强了。这种习惯在真实项目里往往被打破。我用过多个大模型跑知识问答、代码解释、资料整理发现一个共性单条问题看起来答得不错但一旦把问题组合成一个需要依赖经验的复杂任务模型就会暴露出很多问题。比如它不会主动追问澄清问题它很少说“这个结论有前提”它倾向于把不确定的事情说得非常肯定它在需要检索证据时经常用训练记忆代替现场信息。这些恰恰是真实工作中最要命的地方。榜单分数没有反映这些问题因为绝大多数 benchmark 只评测模型在正确答案上的匹配度不评测它在边界条件下的判断能力。所以当 EBR-bench 这类评测加入“人类基线”并得出“AI难以企及”的结论时它实际上是在提醒行业我们一直在测的可能只是语言能力的外壳而不是使用能力的内核。1.2 EBR-bench 给行业提了一个醒EBR-bench 这个名称里最重要的不是“bench”而是它把“人类基线”放在标题里。这说明什么说明评测方没有采用“模型对比模型”的常规叙事而是把人类作为参照物。这种做法看起来简单实际影响很大。过去评测的默认叙事是“新模型比旧模型好”。这种叙事会让开发者产生一种错觉只要模型版本升级产品能力就一定会提升。但加入人类基线后叙事就变成模型距离“一个合格执行者”还差多少。这个差值才是产品落地真正要关心的问题。EBR-bench 具体是怎么定义的目前公开信息还不够完整。但根据标题和同类评测的习惯它至少指向一种能力让模型在复杂信息环境中找到依据、形成推理并给出可靠回答。这类能力很难靠“背答案”获得也很难靠“生成流畅文本”伪造。所以“AI难以企及”这个结论并不是消极信号反而是一个更清晰的能力坐标。2. EBR-bench 可能会评测什么从名字推断任务画像2.1 “EBR”的几种可能指向EBR-bench 这几个字母不同领域有不同解释。比如Evidence-Based Reasoning基于证据的推理要求模型在给定证据材料中找线索、判断可信度、形成结论。Embedding-Based Retrieval基于向量嵌入的检索重点评测模型从大规模语料中准确召回和排序的能力。Experience-Based Reasoning基于经验库的推理要求模型结合历史经验样例来解决新问题。单靠标题无法确定到底采用哪一种。但这几种方向有一个共同点都不允许模型只凭“语言惯性”作答。它们需要模型走完一段完整链路理解任务、检索或回忆信息、判断相关性和可信度、组织回答。这正是当前很多大模型最薄弱的环节。所以我们不需要纠结 EBR 的精确全称。把它当成一个“评测复杂信息任务”的样例来读价值甚至更大。它背后的任务画像比某一个特定榜单更能说明 AI 当前发展到哪一步。2.2 为什么这类任务会拉开AI和人类的差距要理解为什么 AI 难以企及人类基线得先理解这类任务和普通问答的区别。普通问答是“问题—答案”的窄通道检索增强生成虽然加入外部资料但在很多实现里模型只是把检索片段拼进对话上下文并不会主动质疑检索结果。人类不一样。人类在处理类似任务时会做三件事判断问题本身是否成立。区分事实、观点、推论。在回答中保留不确定性并给出反例。这三件事不是额外的语言技巧而是认知习惯。EBR-bench 这类评测如果真的在测“推理检索证据判断”那么人类基线天然会高于 AI因为 AI 很难自主学会“质疑前提”。它不是知道得少而是缺少对“信息来源”和“结论边界”的主动管理能力。这里的“AI”也不只是聊天机器人。现在的 AI Agent 应用、AI 编程助手本质上都在做类似的事从大量上下文里找到关键信息然后形成可执行方案。如果模型在证据选择上出错Agent 后续的每一步都会被带偏。所以 EBR-bench 这类评测实际上把很多新场景最容易出问题的环节集中测了一遍。这类差距不是换一个更大的模型就能补上的。它涉及训练目标、推理机制和评测方式可能需要新的架构或新的对齐策略。也正因为如此EBR-bench 的结果更像一面镜子照出的是当前技术路线的短板而不是某个模型的偶然失误。3. 人类基线为什么难以企及三层原因3.1 任务理解人类把任务当成“解决新问题”AI更像“重新组织旧表达”一个经常被忽略的事实是人类专家在面对任务时会先建立“问题模型”。举个例子如果任务是“帮我看一下这份技术方案有哪些风险”人类专家不会立刻给出一堆通用风险点而是会先问这个方案用在什么环境有没有预算和时间约束哪个环节最不可控然后基于这些前提给出针对性判断。现在的生成式模型缺少这种“先建问题模型”的机制。它更擅长把用户的问题映射到训练时见过的模式然后生成一个最像样的回答。如果训练数据里这类问题多回答质量就高如果问题稍微偏一点回答就会变成“一般性知识的花式排列”。EBR-bench 如果强调“经验行为检索”或“证据推理”那它恰恰会检验模型能不能处理偏离常规模式的新问题。人类专家可以靠经验迁移来处理新问题AI 则很容易在表面相似但前提不同的问题上犯错。3.2 边界判断人类知道什么情况下答案不成立第二层差距在边界判断。人类专家通常会知道自己的知识边界哪些结论是已验证的哪些只是猜想哪些依赖于外部条件。这种“知道自己不知道”的能力直接影响回答的可信度。AI 在这方面的表现恰恰相反。它很少说“这个问题我不确定”更多时候会给出一段自信但经不起深挖的解释。即使模型做了校准回答里的“信心”也主要来自文本概率而不是真实世界中的证据强度。所以在 EBR-bench 这类评测里人类基线容易在“边界类样本”上大幅甩开 AI。比如评测人可以设计一些需要明确回答“条件不足不能判断”的题目AI 往往会硬猜人类则会直接拒绝作答。刷分模型可以靠更多参数掩盖这种倾向但无法根治。3.3 结果表达人类更容易给出可执行的反例第三个差距在表达层面。人类专家在给出建议时通常会附带反例。比如“这个方案在高并发下可能不会像预期那样稳定因为……”而 AI 更倾向于只给正面建议把反例放在不起眼的备注里甚至完全不提。这看起来像表达习惯差异实际上影响很大。对使用者来说一个包含反例的答案比一个概括性答案更有用因为它告诉你失败模式和规避方法。EBR-bench 在做人类基线时如果评分维度包含“有用性”和“严谨性”这个差距会被明显放大。为了避免把这种差异说成玄学我列一个简单的对比表能力维度人类专家常见表现大模型常见表现问题澄清会先问清楚前提再给结论经常直接作答缺少追问证据核查会验证来源和时效容易把训练记忆当成事实边界表达会主动说“条件不足”倾向给确定性表述反例提供会附带失败模式正面建议为主不确定性会明确区分猜想和事实语言流畅时容易显得过于肯定这张表不是对所有模型都成立但它是评测人类基线时很容易观察到的差异模式。3.4 为什么人类基线分数高不意味着“人类无敌”这里需要强调一下边界。人类基线高不等于人类永远正确。人类也会疲劳、偏见、遗忘也会被问题误导。评测中的人类基线通常是在受控条件下、由一定数量的专家或合格执行者完成的它代表“一个合格的成年人/领域专家在正常状态下可以达到的水平”而不是“全人类所有个体的平均水平”。所以“AI难以企及”应被理解为在特定任务上AI 目前无法稳定达到合格执行者的表现。这个“合格执行者”门槛才是产品真正需要的门槛。这也是为什么 EBR-bench 的人类基线有价值它把“理想可用状态”具象化了。4. 看到“AI分数超过旧模型”先别高兴先排查五个问题4.1 数据泄漏模型有没有在训练时见过测试题第一个要排查的是数据泄漏。大模型的训练数据来自互联网很多 benchmark 的题目如果已经公开发布过可能早就被训练语料收集进去了。模型不一定“背诵”了答案但它会对题目里的表达模式非常熟悉导致评测分数虚高。怎么排查一个简单的做法是随机抽取若干测试题把题目里的关键实体名换掉再看看模型表现是否大幅下降。如果下降明显说明模型很大程度上依赖题目表面模式而不是真正掌握推理能力。4.2 任务难度分布简单题太多会淹没难题第二个问题是难度分布。很多评测报告只看平均分但平均分掩盖了“大多数简单题都做对了少数难题全错”的情况。如果一个评测集里简单题占比高分数自然好看但它并不能说明模型在真实场景里的复杂任务能力。所以在解读 EBR-bench 这类评测时要关注它有没有按难度分层报告。如果没有分层就需要自己抽样看错误样本尤其要关注那些需要边界判断和证据核查的题目。4.3 人类基线质量是不是用了可靠的人类表现第三个问题更微妙人类基线本身可能不可靠。如果人类标注者不够专业或者没有经过统一培训基线会偏低如果标注者提前知道模型答案也可能产生偏差。高质量的人类基线建立起来很费成本但它是评测可信度的基石。建议在看评测结果时关注三点标注者人数、标注一致性、是否采用盲评。如果这些信息没有披露那“人类基线”更多只是一个参考刻度不能当成绝对真理。4.4 指标选取准确率提升不等于有用性提升第四个问题是指标。准确率或 F1 分数提升了不代表输出更有用。很多基准用“答案是否匹配”作为标准但真实场景里用户更需要的是“回答是否准确、完整、可执行”。这两个方向经常不一致。如果 EBR-bench 采用了更细粒度的评分比如对推理步骤、证据引用、反例标注分别打分那它的参考价值会更高。如果仍然是“一句话对错”式评分那么即使模型分数接近人类基线也不能说明它真的能像人一样完成任务。4.5 评测集过拟合刷榜不等于能力提升第五个问题是评测集过拟合。当一个榜单火了会有很多团队针对它做优化。轻则调 prompt 和采样参数重则用测试集反馈做额外训练。这样的分数提升本质上是在“适应考试”而不是“提升能力”。刷榜不是全无价值它说明团队有能力在给定方向上优化模型。但如果只为了跑高分而忽视了真实世界任务那这个高分对产品落地没有意义。EBR-bench 的价值恰恰在于引入人类基线让过拟合的增长变得不那么耀眼你刷过了旧模型可你要超过合格人类还差得远。这些问题可以整理成一个检查表现象可能原因先验证什么分数高但换词后大跌数据泄漏、依赖表面模式实体替换测试总评分数高但难题全错难度分布失衡分层分析错误样本人类基线太低标注者不专业、一致性差看标注者人数和盲评指标高但实际体验差指标与真实需求错配人工抽评输出质量多次提交后分数持续上涨评测集过拟合检查训练数据和提交记录这张表不只是给 EBR-bench 用的任何你想引入项目里的模型评测都适用。5. 怎么给你的AI应用建立一套“人类基线”评测流程5.1 第一步定义可观察的任务输出如果你想为自己的 AI 应用做类似的评测不要一开始就找模型也不要先选 benchmark。先定义“什么是一次合格的输出”。可以准备一个评分表包含关键维度比如准确率、完整性、边界说明、证据支撑、可执行性。每个维度都可以用 0 到 3 分。只有先定义合格才能建立人类基线。这里有一个容易犯的错把“输出流畅”当成“输出正确”。对内容生成类应用来说流畅是底线不是得分项。评测时应该更关注事实准确性、逻辑一致性和边界条件。5.2 第二步找“合适的人类”做盲评所谓合适的人类不是随便几个人而是目标用户或领域相关者。如果你的产品面向普通用户可以找普通用户如果面向专业场景至少需要 2 到 3 位领域从业者。要保证他们不知道给定答案是来自 AI 还是来自人否则会有先入为主的偏差。盲评的另一个重点是控制数量。人类基线不需要几千条样本每个任务类型 50 到 100 条比较合理。样本太多会导致标注者疲劳反而影响质量。5.3 第三步设计分层抽样控制难度建立测试集时建议按难度分层简单、中等、困难比例可以是 3:5:2 或按实际场景调整。每一层都要包括容易踩坑的边界题比如信息不足的题、包含反常识结论的题、需要明确说“不能确定”的题。这一步看起来简单但它决定了评测结果能不能反映真实问题。如果你只挑简单题模型分很容易超过人类如果你只挑难题又可能低估模型的日常可用性。5.4 第四步用差值和置信区间做结论拿到分数后不要只算平均值还要看分布。一个模型如果 80% 的题超过人类基线但在 20% 的难题上完全跑偏它的平均分可能仍然不错但真实风险极高。建议看两个数AI 与人类基线的平均差值以及在最差 10% 样本上的差值。后者更容易暴露边界问题。如果模型在最难样本上大幅落后说明它还不适合进入高风险场景。5.5 第五步把评测转化为回归测试和监控一次性评测只能告诉你当前版本的状态。要把这套流程固化成一个 mini-benchmark每迭代一次跑一遍。不需要做得很重选 50 到 100 条核心样本纳入 CI/CD模型更新时自动跑分。长期维护时还要保留人类基线的版本记录。因为人类基线会受到标注者能力、任务理解、评分标准的影响。如果人类基线变了历史对比就会失真。所以一个负责的评测流程会同时维护“任务版本”“模型版本”“人类基线版本”。这个流程不复杂但很反经验。很多人拿到模型第一反应是改 prompt、调参数、看榜单很少先从“合格输出”和“人类基线”开始。可实际项目里最影响决策的并不是模型分数而是这个差值清楚不清楚。6. 这类评测的边界和长期价值6.1 能说明什么不能说明什么EBR-bench 或类似的“人类基线对比”评测能说明的是在特定数据集、特定评分规则下AI 距离一组人类执行者有多远。它不能说明的是在所有任务上 AI 都不如人也不能说明某个模型在真实产品里一定不可用。真正理解评测边界比记住一个分数更重要。如果一个评测样本来自公开互联网模型很可能已经在训练时接触过类似内容如果评分维度偏重文本匹配那它测的更多是“输出对齐”而不是“问题解决能力”。所以每次看到“AI难以企及”或“AI超越人类”这类标题先问一句它测的到底是什么。6.2 长期来看改变了什么从行业角度这类评测长期会带来两个变化。第一它会推动“人类基线”成为标准配置。以后评测模型可能不再只写“比之前提升了 5 个点”而是同时写出人类基线和差距。这样产品经理、研发、运营都能看到同一个事实模型离可用状态还差多少。第二它会倒逼模型训练从“文本流畅性”转向“任务完成度”。如果评测里大量引入边界判断、证据核查、反例生成那么团队就会投入更多精力做推理增强、记忆管理和不确定性表达。这些方向比单纯堆参数更接近真正的智能应用。对我来说可能更有价值的是它让我重新理解了“AI难以企及”这句话。以前看到类似结论会觉得是打击现在我会把它当成一个工程信号模型在哪些任务上还没达到合格线哪些能力还需要补哪些场景暂时不适合上 AI。这种信号比任何营销口径都值得参考。所以无论 EBR-bench 最终公布的具体数据和任务定义是什么它提出的问题已经很有价值我们如何用一套可信的参照系来判断 AI 到底是变强了还是只是变得更会说话了。