note这篇论文证明了RLCD 模型Jev可以当零样本、低成本的 AI 对齐失败检测器但代价是必须做好两件事——补齐定义失败的参照上下文、用小样本重新拟合阈值否则排名好看、实际部署会翻车。不用生成长文本直接让 Jev 对很多判断问题输出概率比如 P(jailbreak)0.93、P(hallucination)0.12并测试这种概率能不能直接检测 alignment failureGenerative Judge → Probabilistic Judge不生成 “Yes, this is unsafe because…”而是直接输出P(unsafe)0.91。Soft score 比 hard label 更重要这和 Reward Model / Critic / Process Reward 的设计思路是统一的Agent Monitor 的上限不只取决于 Judge 模型多强还取决于 monitor 能看到什么 stateObservability Monitor 到底能看到多少信息。文章目录note一、研究动机二、论文核心三、实验结果四、分析Reference一、研究动机Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures问题起点AI 对齐失败检测器在部署与研究中无处不在但现有的两类主流方案都有明显开销缺陷。生成式 Judge每次用 LLM 跑一遍推理只为得到一个判定结论既慢又贵且输出是文本还需额外解析才能用于打分排序。概率型分类器如 Llama Guard读取unsafe这一个 token 的概率来打分一次调用只能对应一个固定标签要多角度判断就得多次调用。而 Jev 是 TypeSafe AI 基于强化学习校准决策RLCD训练的模型它不是生成文本而是在一次调用中回答多个带类型的提问二元的 NOUL、类别型 CHOICE、有序型 SCORE并为每个答案返回校准概率。关键悬念RLCD/Jev 能不能真的用来检测 AI 对齐失败这一点此前无人测量而且并不显然能行。原因在于很多对齐失败是关系型的失败类型参照物仅靠回复看不看得出来谄媚Sycophancy用户的真实信念难欺骗Deception模型自己的信念难提示注入Prompt Injection藏在工具输出里的指令难只看到回复可能根本拿不到定义该失败的参照信息。再加上 Jev 官方自己列出的弱项里就包含间接语义和对抗性内容——恰好正是对齐失败的常见形态。这就引出了本文最核心的研究思路把问什么和看什么拆开——问题措辞/答案类型是一边输入 state 包含哪些字段是另一边。一个检测失败到底是问题问错了还是state 里缺了参照信息两类病因需要不同的修复方式。二、论文核心提出的基准RLCDALIGNBENCH作者把现有对齐评测套件改造成检测任务构建了一个覆盖面很广的基准10 类对齐失败谄媚、越狱、欺骗、提示注入、幻觉、隐私侵犯、社会偏见、奖励黑客、隐藏不确定性、权力寻求44 个基准、7193 个检测实例5 个开源 2–7B 目标模型Qwen3.5-2B、Phi-4-mini、Gemma-2-2B、Llama-3.2-3B、Olmo-3-7B标签来源分三种规则判定20 个、LLM Judge24 个其中 11 个已验证、8 个被本文审计后修改关键方法设计输入重构每个实例 x 被包装成 state σ字符串或 JSON里面放模型收到的上下文、回复或智能体轨迹。问题变量从通用问题固定模板 每基准的行为短语到针对性问题直接点名被标注的行为并变化答案类型。上下文变量因为一次调用可承载几十条问题若只报其中最好的一条会虚高成绩所以采用split-half 协议——一半样本上选问题另一半上评分避免选择偏差带来的膨胀。人工标签交叉校验在 StrongREJECT、HarmBench 上用人工标签在 AbstentionBench、InstrumentalEval 上用二次 Judge 标签来与 Jev 横向比较。三大贡献RLCDALIGNBENCH44 基准 上下文变体 缓存的 Jev 答案 重打分脚本配 split-half 去膨胀协议系统研究问题措辞 / 答案类型 / 上下文 / 阈值各自如何影响检测效果提炼出一套可复用配方用 Jev 的高置信分歧定位既有基准里的标签缺陷。三、实验结果1. 通用问题已足够强Zero-shot通用问题在 31 个有 NOUL 形式的基准上中位数 AUROC 达 0.886并在 44 个中的 25 个上超过有监督的 TF-IDF 和长度基线。2. 问题措辞影响很小上下文影响很大把答案保留为概率而非取 argmax 后问题措辞改变带来的收益极小目标化措辞在样本外仅 0.006 AUROC部署态监视器已有的上下文只在 7 个基准中的 1 个上有帮助真正的大头是定义标签的参照信息如 PrivacyLens 的秘密条目列表把 AUROC 从 0.79 拉到 0.95。3. 与人类标签的一致性在 StrongREJECT 上通用问题的人类一致性Cohen’s κ 0.809与参考 scorer 的 0.811 相当且排序更好。4. 校准阈值是个明显短板概率能排好序但不能直接当阈值用中位数 ECE 0.168而零模型null仅 0.074原因是 Jev 的平均概率对不上每个基准的真实 base rate。论文给出的配方是用10 个标注样本拟合阈值解决 t0.5 时 Jev 触发过少的问题。5. 成本优势显著跑完 19 个 Judge 打分的基准只需约0.30 美元是 LLM Judge 官方标价成本的 1/63。四、分析成功的根因Jev 的价值不在问得更聪明而在于一次调用答很多题、且返回可排序的概率。这让检测器在零样本、几乎不调参的情况下就达到很强排名能力同时保持极低的单位成本。局限与提醒校准失效中位数 ECE 0.168 vs 零模型 0.074说明概率值本身不等于置信度必须配合小样本阈值拟合才能落地。这是把 Jev 当检测器而非排序器时最主要的坑。关系型失败的上限由 state 决定缺参照信息如用户信念、模型自身信念、秘密列表、目标答案概率时Jev 无能为力涨分得靠补齐 state 字段。标签质量本身有问题本文审计修改了 8 个基准标签4 个是规则/Judge 缺陷4 个是依赖了 state 未包含的信息意味着结论要依赖参考 scorer这套标准而这套标准并不牢靠。Jev 高置信分歧因此既可能是 Jev 错了也可能是基准错了。Reference[1] 63倍成本差Jev挑战传统LLM Judge对齐检测