Exploring Membership Inference Vulnerabilities in Clinical Large Language Models

一、文章主要内容总结本文聚焦临床大型语言模型（LLMs）的成员推理漏洞问题，旨在探究攻击者能否推断特定患者记录是否用于模型训练，为医疗AI的隐私保护提供实证依据。研究背景：临床LLM通过电子健康记录（EHR）微调实现领域适配，在临床决策支持、病历文档等场景中应用广泛，但敏感数据微调易引发隐私泄露风险，成员推理攻击（MIAs）是直接威胁之一——攻击者可通过模型对训练样本（成员）与非训练样本（非成员）的行为差异推断数据归属。实验设计：以先进临床问答模型Llemr为研究对象，基于MIMIC-IV去标识化数据集构建包含2万条问答对（1万成员+1万非成员）的基准测试集，采用AUC和低假阳性率下的真阳性率（TPR@FPR）作为评估指标。攻击方法：基准方法：基于序列级负对数似然（NLL）的损失攻击；领域适配方法：基于释义的扰动攻击（模拟真实临床场景中语义相似但非完全一致的查询）；细粒度方法：Min-K%和Min-K%++攻击（聚焦模型置信度最低的token子集，探测局部记忆泄露）。核心发现：临床LLM存在有限但可测量的隐私泄露，损失攻击与释义攻击的AUC均约为0.54，略高于随机猜测；释义攻击验证了语义相似查询仍能泄露成员信息，且释义文本保持高语义保真度（余弦相似度0.93-0.95）；泄露主要源于全局置信度