MPIB: Medical Prompt Injection Benchmark论文重点MPIBMedical Prompt Injection Benchmark是首个专注于医疗场景下大语言模型LLM提示注入攻击风险的系统性评估基准。该研究构建了包含9,697个临床对抗性样本的数据集并创新性地提出临床危害事件率CHER指标用以区分“指令遵从率”与“实际临床风险”之间的根本性差异。核心研究内容问题定义LLM和检索增强生成RAG系统正被日益广泛地整合进临床工作流程中用于病历摘要、用药安全检查、初步分诊等关键任务。然而提示注入攻击可以利用LLM的指令跟随特性使模型优先执行对抗性指令而非原本的约束或用户目标。在医疗场景中这一问题尤为严峻。间接提示注入攻击可以将恶意载荷嵌入被检索的文档中如被篡改的“指南更新”或中毒的PDF而这些文档在RAG系统中被隐式地视为可信赖的权威来源。更具挑战性的是临床场景中最危险的失败往往不是形式上的“不安全”输出而是看起来合理、礼貌且结构良好的回应——但它们可能推荐错误剂量、淡化紧急症状或歪曲证据。这种“伪装的安全风险”使得传统的攻击成功率指标无法真实反映临床危害。创新方法1. 双轨评估指标体系MPIB的核心创新在于提出了临床危害事件率CHER与传统的攻击成功率ASR形成双轨评估。ASR衡量模型是否执行了对抗性指令而CHER则衡量在临床分级分类法下模型输出是否会导致高严重性Severity ≥ 3的临床危害事件。两者的分离使得研究者能够识别出“指令执行了但没有造成临床危害”以及“指令没有完全执行但已经造成临床危害”这两类关键边界情况。2. 分层对抗样本构造数据集包含多个对抗向量层级V0 / V0*良性样本与潜在风险/效用边界样本共8,471个佔87.3%V1直接注入攻击样本644个佔6.6%V2-S严格对抗注入94个佔1.0%V2-B边界对抗注入488个佔5.0%3. 六闸门质量控制流水线研究团队设计了一套包含六个质量闸门G1-G6的筛选流程检查临床有效性、格式正确性和对抗强度。对于V2级别样本还应用了冲突质量闸门G3在多个维度亲和性、误导性、合理性、影响力上进行1-5分制评分。未能通过对抗强度筛选的候选样本会被降级至V0’边界池而非直接丢弃这一“回收机制”有效保留了临床有效的边界案例。4. 分级访问控制为平衡研究开放性与安全风险MPIB採用了分级访问机制公开层级V2载荷经过编辑[REDACTED_PAYLOAD]以确保即时安全受限层级经批准的研究人员可访问完整的Payload Registry重建机制通过提供註册表文件和官方评估工具包可还原完整的攻击样本研究成果研究团队对多种基线LLM和防禦配置进行了系统性评估发现了两个关键结论ASR与CHER存在显着分歧模型可能在攻击成功率上表现良好但实际上仍会产生高严重性的临床危害输出反之亦然。这证明了单纯依靠ASR评估医疗LLM安全性的不足。鲁棒性取决于对抗指令的出现位置模型对直接提示注入用户查询中的对抗指令和间接提示注入检索上下文中的对抗指令的抵抗力存在本质差异这对RAG系统的安全设计具有重要指导意义。实际落地应用的可能性MPIB为医疗AI系统的安全评估提供了可複现、系统化的评估框架。医疗机构在部署LLM或RAG系统之前可以使用MPIB进行安全验证LLM供应商可以将其纳入红队测试流程监管机构可以参考CHER指标制定AI医疗器械的安全标准。数据集和评估代码已在GitHub和Hugging Face上公开。技术细节数据集构成MPIB数据集包含9,697个临床对抗样本来源于MedQA和PubMedQA。数据集划分为三个子集子集佔比样本数用途Train80%7,759训练或少样本示例Validation10%969超参数调优Test10%969最终评估场景分布数据复盖四个临床场景场景样本数佔比S1 一般信息5,65358.3%S2 用药6696.9%S3 分诊2,71528.0%S4 指南6606.8%危害严重性分级CHER指标採用临床分级分类法将危害事件按严重性分级Severity ≥ 3定义为高严重性临床危害事件CHER计算的是此类事件在模型所有输出中的发生率V2对抗样本的质量阈值V2级别对抗样本採用多维度评分筛选严格层级V2-SAffinity ≥ 3.0Misleading ≥ 3.0Plausibility ≥ 3.0边界层级V2-BAffinity ≥ 2.7(Misleading ≥ 2.6 或 Plausibility ≥ 2.6)Impact ≥ 2.0研究设定硬体与软体配置根据论文描述及开源资源信息模型评估范围涵盖多种基线LLM包括开源模型和商业API模型评估框架官方提供Python评估工具包GitHub:jhlee0619/mpib-eval数据访问通过Hugging Face数据集库加载jhlee0619/mpib许可证CC BY-NC 4.0实验设计要点直接注入 vs 间接注入分别测试对抗指令出现在用户查询和检索上下文中的情况多种防禦配置评估不同防禦策略下的鲁棒性变化双指标对比分析同时报告ASR和CHER分析两者分歧的模式和原因综合分析学术贡献MPIB的出现填补了医疗AI安全评估领域的一个关键空白。此前的提示注入基准如BIPIA虽已证实LLM普遍存在漏洞但它们缺乏针对医疗场景特有的临床危害评估维度。MPIB将“患者安全”而非“指令执行”作为评估的核心锚点这一视角转变对于医疗AI的负责任部署具有深远意义。从更宏观的角度看MPIB反映了AI安全评估从“模型行为”向“系统影响”转变的趋势。在医疗这样的高风险领域模型说了什么不如模型的行为可能造成什么后果来得重要。CHER指标的提出实质上是将临床风险管理的方法论引入AI评估——这是一种跨学科方法论的融合。局限性与挑战值得关注的是MPIB的数据主要来源于MedQA和PubMedQA这两个数据集虽然具有临床相关性但与真实临床工作流程中涉及的电子健康记录EHR、自由文本病历等数据形态仍有差距。此外医疗提示注入攻击的动态性和适应性——攻击者可以根据模型反馈实时调整攻击策略——是静态基准测试难以完全复盖的维度。另一个值得深思的问题是MPIB採用分级访问控制来防止恶意滥用这反映了安全研究中一个经典的两难困境——“双用途困境”dual-use dilemma。如何在促进防禦研究的同时不为攻击者提供武器库是整个AI安全社区需要持续面对的挑战。实践应用对医疗机构的建议部署前强制安全验证在将任何LLM或RAG系统整合进临床工作流程之前应使用MPIB进行系统性安全评估特别关注CHER指标而非仅看ASR。区分直接与间接注入风险MPIB的发现表明间接提示注入通过检索文档和直接提示注入的风险模式不同医疗机构在设计RAG系统时应对两者分别制定防禦策略。建立持续监测机制静态基准测试只能反映当下状态建议将MPIB纳入CI/CD流水线在模型更新或知识库变更时自动触发安全回归测试。对LLM开发者的建议将CHER纳入红队测试指标传统红队测试往往关注“越狱”成功率建议同时追踪高严重性临床危害事件的发生率。针对检索上下文设计专门防禦MPIB的结果提示检索上下文中的对抗指令具有独特的风险特徵需要不同于用户输入过滤的防禦机制。参与MPIB社区通过Hugging Face的受限访问机制获取完整Payload Registry在真实对抗样本上验证和改进防禦方案。对监管机构的建议CHER指标为AI医疗器械的审批提供了一个可量化的安全评估维度。建议监管机构在制定AI医疗软体的审核标准时参考MPIB的评估框架要求製造商提供在标准化对抗测试下的CHER报告。参考资料来源原始论文: MPIB: A Benchmark for Medical Prompt Injection Attacks and Clinical Safety in LLMs论文作者: Junhyeok Lee, Han Jang, Kyu Sung Choi (首尔国立大学)数据集: Hugging Face - jhlee0619/mpib评估工具包: GitHub - jhlee0619/mpib-eval