Paper Reading《SoK: Explainable Machine Learning in Adversarial Environments》

论文链接：https://oaklandsok.github.io/papers/noppel2024.pdf

1 Introduction

（背景意义）
现代深度学习模型因复杂性被视为“黑盒”，而后处理解释方法（如特征归因）虽能解析模型决策过程，但面临对抗环境下的鲁棒性挑战。例如，对抗性输入或模型操纵可伪造解释，导致解释方法无法可靠揭露攻击（如对抗样本、神经后门）。

（为什么做这个事情）
尽管对抗机器学习领域对模型预测攻击的研究较多，但针对解释方法的攻击（Explanation-Aware Attacks）缺乏系统化分析，且现有解释技术对操纵的抵抗能力薄弱，难以在实际场景中发挥防御作用。

（本文工作和创新点）

1. 系统化攻击分析
   从攻击者能力、约束和目标出发，将攻击分为输入操纵（M1）、模型操纵（M2）和系统操纵（M3）三类。例如，M1通过微小扰动伪造解释，M2通过修改模型参数误导解释，M3则操纵整个XAI系统的输入-输出流程（如掩盖算法偏见）。

2. 鲁棒性概念形式化
   定义解释方法的鲁棒性层级，如 Lipschitz 连续性（LIP）、解释相似性（EXPLSIM）和解释等价性（EXPLEQ），并结合分类等价（CLSEQ）、局部邻域（Loc）等限制条件，构建不同严格程度的鲁棒性概念。

3. 防御措施分类
   基于机器学习流水线，将防御分为训练阶段（如数据验证、鲁棒架构设计）和运行阶段（如输入 sanitization、模型监控），并关联传统预测攻击防御，挖掘跨领域防御的协同潜力。

（总结贡献）

1. 攻击系统化
   首次从攻击者视角梳理解释攻击的威胁模型，覆盖传统输入/模型攻击及新兴的系统级威胁（如“公平性洗白”），揭示不同攻击目标（如保留预测但篡改解释）的技术路径。

2. 鲁棒性理论框架
   提出层次化鲁棒性概念，发现不同鲁棒性定义的冲突与关联（如某些概念对多目标攻击存在矛盾），为量化解释可靠性提供理论基础。

3. 防御 taxonomy 与未来方向
   分类现有防御措施，指出防御空白（如针对解释攻击的专用技术稀缺），并提出开放问题（如如何证明解释方法的鲁棒性保证），引导领域研究方向。

该论文的研究动机（Motivation）围绕可解释机器学习（XAI）在对抗环境中的核心矛盾与现有研究空白展开，具体如下：

2 Motivation

通过系统化分析解释攻击、形式化鲁棒性概念、构建防御 taxonomy，填补以下空白：

• 建立解释攻击的统一威胁模型，覆盖输入、模型、系统级操纵。
• 定义层次化鲁棒性概念（如LIP、EXPLSIM），解决不同研究间的比较难题。
• 关联传统预测防御与解释防御，推动跨领域技术融合。

3 Background on Explainable ML

该部分主要介绍了可解释机器学习（XAI）的背景知识，明确了后处理解释方法的范围、分类、生成与表示方式及相关数学基础。

3.1 后处理解释方法的范畴

1. 核心定义：针对已训练的复杂模型（如深度神经网络），对单个输入的决策过程进行解释，具有通用性，与模型学习任务解耦。
2. 排除对象：不包括线性支持向量机、决策树等“内在可解释”模型，仅关注需额外解释的模型。

3.2 解释方法的分类与形式化表示

1. 白盒解释（$h_{\theta }^w$）：依赖模型参数 $\theta$ （如权重、架构），函数定义为 $h_{\theta }^w:\mathcal{X}\times \Theta \to \mathcal{E}$，适用于模型结构已知场景。
2. 黑盒解释$h_{\theta }^b$：仅通过输入-输出行为生成解释，函数定义为 h θ b : X × { f θ } θ ∈ Θ → E h_{\theta}^{b}: \mathcal{X} \times \{f_{\theta}\}_{\theta \in \Theta} \to \mathcal{E} hθb​:X×{fθ​}θ∈Θ​→E，适用于模型不可见场景。

3.3 解释生成与表示策略

1. 生成方法：包括基于扰动（如SmoothGrad）、梯度（如GradCAM）、概念（如TCAV）、示例（如影响函数）等技术，部分方法结合多种策略（如SmoothGrad兼具扰动与梯度特性）。
2. 表示形式：常见热图（如像素级归因）、反事实解释、规则集、多模态解释（如文本描述图像），解释空间通常为输入特征空间的子空间（如通过平均或最大化压缩通道维度）-。

3.4 数学基础与假设

1. 空间假设：输入空间 $\mathcal{X}$)和解释空间 $\mathcal{E}$为度量空间（如支持 ($L_p$) 范数），部分结论依赖凸性（如浮点向量场景，离散特征不适用）-。
2. 符号框架：模型决策函数为$F_{\theta }(x)=\arg \max f_{\theta }(x)$，解释方法通过 $h_{\theta }$映射输入到解释空间，形成统一分析框架-。

4 Threat Models

该部分系统阐述了对抗者针对可解释机器学习（XAI）系统的三类威胁模型，涵盖攻击能力、约束条件及典型场景。

4.1 输入操纵（M1）

• 核心定义：对抗者通过扰动输入 $x$生成恶意输入 $\tilde{x}$，目标是误导解释方法，常见约束包括：
  • 不可感知性：通过 $L_p$范数（如 $L_{\infty }$限制扰动幅度，确保 $\Vert x-\tilde{x}{\Vert }_p\le ϵ$，或使用结构相似性指数（SSIM）衡量视觉不可见性。
  • 普遍性：对所有输入应用统一扰动（如添加常数偏移或替换补丁），需满足跨样本的攻击效果一致性。
  • 特征子空间限制：通过掩码向量 $m$ 限定扰动区域（如固定大小的方形区域），或限制非零扰动特征数量 $\Vert m{\Vert }_0\le {ϵ}_0$。

4.2 模型操纵（M2）

• 核心定义：修改模型参数$\theta$或架构，生成操纵模型 $\tilde{\theta }$，约束条件包括：
  • ε-准确性：操纵后模型的测试准确率与原模型差异不超过 $ϵ$，即 $acc(F_{\theta })-acc(F_{\tilde{\theta }})\le ϵ$。
  • ε-一致性：模型预测与原模型的一致性概率需满足 $1-fi{d}_{\mathcal{X}}(F_{\theta },F_{\tilde{\theta }})\le ϵ$，其中 $fid$为预测一致率。
  • 其他约束：如权重扰动幅度限制$\Vert {\delta }_w{\Vert }_{\infty }\le ϵ$，或针对压缩/量化模型的特定攻击。
• 间接攻击：通过数据投毒间接操纵模型，如围绕目标样本注入毒数据以改变其解释。

4.3 系统操纵（M3）

• 核心定义：操纵整个XAI系统 $S$的输入-输出流程，典型场景如“公平性洗白”：通过学习无偏代理模型生成解释，掩盖原模型的偏见。
• 形式化约束：要求操纵后系统 $\tilde{S}$的预测准确性或与原系统的一致性满足$ϵ$-标准，即 ${\tilde{S}}_F$需为ε-准确或与 ${\S }_F$ ε-一致。

5 Attack Objectives

该部分系统定义了对抗者针对可解释机器学习XAI系统的攻击目标，从预测与解释的操纵维度进行分类。

5.1 核心目标分类

对抗者可针对“预测”与“解释”两大目标进行保留或改变操作，形成三类攻击：

1. 解释保留攻击（EP）：

   • 目标：改变预测但保留解释，优化问题为 $\min at{t}_F({\tilde{S}}_F(\tilde{x}))+d_{\mathcal{E}}(S_h(x),{\tilde{S}}_h(\tilde{x}))$。
   • 例：通过输入扰动使模型误分类，但解释仍指向原特征。

2. 预测保留攻击（PP）：

   • 目标：保留预测但改变解释，优化问题为$\min L_{CE}({\tilde{S}}_F(\tilde{x}))+at{t}_h({\tilde{S}}_h(\tilde{x}))$。
   • 例：操纵模型参数使解释指向无关特征，而预测结果不变。

3. 双重攻击（D）：

   • 目标：同时改变预测与解释，优化问题为 $\min at{t}_F({\tilde{S}}_F(\tilde{x}))+at{t}_h({\tilde{S}}_h(\tilde{x}))$。

5.2 解释改变的攻击范围

1. 无目标攻击（Untargeted）：

   • 目标：使解释与良性解释最大化差异，形式化为 $at{t}_h^{untar}=\frac{1}{d_{\mathcal{E}}({\tilde{S}}_h(\tilde{x}),S_h(x))}$。
   • 例：Top-k Fooling攻击通过最小化新旧解释的特征重叠度误导分析。

2. 有目标攻击（Targeted）：

   • 目标：使解释接近固定目标解释 $r_t$，形式化为 $at{t}_h^{tar}=d_{\mathcal{E}}({\tilde{S}}_h(\tilde{x}),r_t)$。
   • 例：使用良性样本解释作为目标，伪造合理但错误的归因。

3. 半目标攻击（Semi-Targeted）：

   • 目标：根据输入动态确定目标解释（如反转原解释、交换类别解释），形式化为 $at{t}_h^{semi}=d_{\mathcal{E}}({\tilde{S}}_h(\tilde{x}),\mu (S_h(x),x))$。
   • 例：通过输入扰动使解释中特定区域的相关性被抑制，同时保留其他部分。

关键关联

• 攻击目标与威胁模型（M1-M3）结合：如输入操纵（M1）可实现PP攻击，模型操纵（M2）可实施D攻击。
• 数学形式化：通过距离度量（如 ( d_{\mathcal{E}} )）和优化函数严格定义各类攻击目标，为后续鲁棒性分析提供基础。

6 Explanation-Aware Robustness Notions

该部分系统构建了对抗解释攻击的鲁棒性概念框架，定义了不同严格程度的鲁棒性概念及其层次关系，为量化解释方法的抗操纵能力提供了理论基础。

6.1 定义与核心组件

1. 鲁棒性概念模板

   • 采用$\mathbb{R}|C$形式化表示，其中 $\mathbb{R}$ 为限制条件，$C$ 为约束条件，需满足$\forall x,\tilde{x}\in \mathcal{X},R(x,\tilde{x})\to C(x,\tilde{x})$ 。
   • 限制条件 $\mathbb{R}$：
     • CLSEQ（分类等价）：要求$F_{\theta }(x)=F_{\theta }(\tilde{x})$，即仅考虑预测相同的输入对 。
     • ${\text{Loc}}^{d_{\mathcal{X}},\delta }$（局部邻域）：限制输入扰动范围 $d_{\mathcal{X}}(x,\tilde{x})\le \delta$ 。
   • 约束条件($C$)：
     • ${\text{LIP}}^{d_{\mathcal{E}},d_{\mathcal{X}},K}$（Lipschitz 连续性）：解释差异不超过输入距离的 (K) 倍，即$d_{\mathcal{E}}(h_{\theta }(x),\gamma h_{\theta }(\tilde{x}))\le K{d}_{\mathcal{X}}(x,\tilde{x})$。
     • ${\text{EXPLSIM}}^{d_{\mathcal{E}},ϵ}$（解释相似性）：解释差异有界 $d_{\mathcal{E}}(h_{\theta }(x),\gamma h_{\theta }(\tilde{x}))\le ϵ$ 。
     • $EXPLEQ$（解释等价性）：解释成比例 $h_{\theta }(x)=\gamma h_{\theta }(\tilde{x})$，为 $EXPLSIM$ 的特例（$ϵ=0$） 。

2. 空间假设

   • 假设输入空间 $\mathcal{X}$和解释空间 $\mathcal{E}$为度量空间，部分结论依赖凸性（如浮点向量场景） 。

6.2 鲁棒性概念层次结构

1. 蕴含关系

   • 严格到宽松的层级：
     • $EXPLEQ$ 最严格，要求解释完全等价，实际应用中难以满足 。
     • $LIP$ 蕴含$EXPLSIM$ 当 $ϵ\ge K\delta$，即 Lipschitz 连续的解释在局部邻域内必然满足解释相似性 。
     • $CLSEQ|LIP$ 蕴含 $LOC+CLSEQ|LIP$，但反之不成立（因分类等价子空间可能非凸） 。
   • 关键条件：
     • 当 $\mathcal{X}$ 为凸空间时，$Loc|LIP$ 蕴含全局$LIP$（通过中间点传递性证明） 。
     • $EXPLSIM$ 无法反向推导出 $LIP$，因缺乏对微小扰动的约束 。

2. 文献中的概念映射

   • Wang 等提出的“归因鲁棒性”对应 $LOC|LIP$ 。
   • Ivankay 等研究的鲁棒性对应 $LOC+CLSEQ|EXPLSIM$ 。

6.3 鲁棒性保证与开放问题

1. 实证方法

   • 线性区域分析：ReLU 网络的线性区域内，梯度恒定可保证 $LOC|EXPLEQ$ 鲁棒性 。
   • 随机平滑：通过噪声输入采样，概率性保证 top-k 特征重叠度（对应 $LOC|EXPLSIM$） 。

2. 未解决问题

   • 如何为非梯度类解释方法（如基于扰动的方法）提供鲁棒性保证 。
   • 如何将随机平滑扩展至其他距离度量和解释方法 。

核心结论

解释感知鲁棒性需结合限制条件与约束条件构建多层级概念，现有研究已初步建立理论框架，但在非梯度解释方法的鲁棒性证明、跨度量扩展等方面仍存在空白。

7 Robust Models for XAI-Systems

该部分主要从训练数据、模型处理、架构设计及训练方法等方面阐述了构建鲁棒XAI系统的策略。

7.1 训练数据验证与净化（T1）

1. 数据问题：训练数据中的错误、虚假相关性及投毒会导致模型行为异常，现有数据净化技术多针对预测攻击，缺乏针对解释感知攻击的专用方法。
2. 示例方法：通过生成每个训练样本的解释并聚类，识别导致虚假相关性的区域，进行类工件补偿，但该方法依赖解释正确性，存在被攻击绕过的风险。
3. 开放问题：解释在数据操纵场景下的可欺骗程度，即如何防止通过操纵解释绕过数据净化。

7.2 模型净化与验证（T2）

1. 必要性：对第三方训练或下载的模型需进行净化验证，确保其未被植入解释后门。
2. 净化技术：
   • 借鉴预测攻击防御中的“精修剪枝”（fine-pruning），通过在干净数据上微调与剪枝，强制模型遗忘后门触发模式。
   • 检测方法：分析权重分布异常、神经元激活模式，或测量与目标类的距离，但对解释保留攻击的有效性未知。
3. 开放问题：现有模型净化技术对解释保留、双重攻击及预测保留攻击的防御效果。

7.3 鲁棒架构（T3）

1. 平滑激活函数：
   • 用Softplus等平滑函数替代ReLU，减少决策表面突变，使相似输入的解释过渡更平滑，参数β控制近似ReLU的程度（β→∞时等价于ReLU）。
2. 贝叶斯网络：
   • 引入不确定性估计，通过贝叶斯推理生成解释，结合LRP方法，用不确定性分数增强解释鲁棒性，例如Carbone等证明其对梯度攻击的抗性。

7.4 鲁棒训练（T4）

1. 双反向传播：
   • 向损失函数添加λ加权的二阶导数惩罚项：$\lambda \Vert \frac{{\partial }^2{\hat{f}}_{\theta }}{\partial x^2}\Vert$，提高模型泛化能力，但计算成本高。
2. Hessian矩阵正则化：
   • 通过积分Hessian矩阵的Frobenius范数约束解释差异：$d_{\mathcal{E}}\left(h_{\theta }(x),h_{\theta }(\tilde{x})\right)\le {\int }_{-\infty }^{+\infty }{\Vert H_{\mathcal{F}}\left({\tau }_x(t)\right)\Vert }_{F}dt$，适用于简化的Simple Gradients解释。
3. 权重正则化与衰减：
   • 添加λ加权的权重范数惩罚项：$\lambda \Vert w\Vert$，平滑决策表面，提高梯度类解释的抗攻击性，例如Frobenius范数正则化可约束Hessian矩阵。
4. 最大特征值正则化：
   • 通过惩罚Hessian矩阵的最大特征值，最小化邻近点解释差异，例如SSR方法：$\lambda {\max }_i\left|{\xi }_i\right|$，Singla等提出ReLU网络特征值的闭式解。
5. 解释对抗训练（ATEX）：
   • 利用预测与解释变化的正交性，高效近似对抗扰动，优化解释鲁棒性。
6. 基于解释的优化（ExpO）：
   • ExpO-Fidelity：测量局部邻域线性近似能力，$R\left(x,{\mathcal{N}}_x\right):={\mathbb{E}}_{x^{\prime }\sim {\mathcal{N}}_x}\left[{\left({\mathcal{F}}_{\theta }\left(x^{\prime }\right)-w^T{x}^{\prime }+b\right)}^2\right]$。
   • ExpO-Stability：测量解释稳定性，$R\left(x,{\mathcal{N}}_x\right):={\mathbb{E}}_{x^{\prime }\sim {\mathcal{N}}_x}\left[{\Vert h_{\theta }(x),h_{\theta }\left(x^{\prime }\right)\Vert }_2^2\right]$。

关键结论

鲁棒XAI系统需从数据预处理到训练优化的全流程防御，但现有技术在计算效率和跨解释方法通用性上仍存在挑战，例如非梯度解释方法的鲁棒训练技术亟待发展。

8 Robust Operation of XAI-Systems

该部分主要从输入净化、模型监控及行为验证三方面阐述了XAI系统在运行阶段的鲁棒性保障策略。

8.1 输入净化与验证（O1）

1. 恶意输入净化

   • 技术路径：利用生成模型（如变分自编码器VAE、生成对抗网络GAN、扩散模型）进行去噪或修复，通过训练模型重构对抗扰动输入，提升对解释攻击的抗性。
   • 局限性：依赖解释正确性的方法（如Februus通过GradCAM定位后门）易被解释感知攻击绕过。

2. 对抗输入检测

   • 检测维度：
     • 输入特征中的已知攻击模式（如固定扰动区域）；
     • 提取组件对干净数据的影响（如异常激活的中间层神经元）；
     • 处理过程中的副作用（如非典型神经元激活）。
   • 挑战：基于解释的检测技术可能被攻击者针对性规避，需结合鲁棒解释增强检测可靠性。

8.2 持续模型监控（O2）

1. 监控目标：在部署期间持续收集潜在恶意输入，定期重新验证模型，防范训练阶段植入的后门或硬件侧信道攻击。
2. 与O1的差异：O1针对单个输入实时决策，O2关注长期收集的输入集合对模型的整体影响，例如通过聚类异常输入模式识别模型退化。

8.3 输入-输出行为验证（O3）

1. 审计价值：XAI系统的解释输出（如热图、反事实解释）为外部审计提供高维信息，支持公平性验证（如检测算法对敏感特征的依赖）。
2. 潜在风险：解释可能泄露模型架构（如通过查询解释推断神经网络层数），需平衡透明度与隐私保护。
3. 开放问题：公共机构如何高效审计解释系统的决策逻辑，确保其符合公平性与合规要求。

核心结论

运行阶段的鲁棒性需结合输入净化、动态监控及行为验证形成闭环防御，但现有技术在解释依赖型检测的抗攻击性、大规模部署的计算效率等方面仍存在优化空间。

9 Robust Explanation Methods

该部分主要从解释方法自身的角度阐述了提升其鲁棒性的多种技术方向，结合具体方法和理论基础，为构建抗攻击的解释方法提供了思路。

9.1 平滑适配（Smooth Adaptations）

• 核心思路：通过引入噪声或平滑处理，降低解释对输入扰动的敏感性。
  • SmoothGrad：对输入添加高斯噪声并聚合梯度，如通过多次采样计算平均梯度，减少单一样本的扰动影响 。
  • UniGrad：使用均匀噪声替代高斯噪声，进一步增强解释的稳定性 。
  • NoiseGrad：随机扰动模型权重而非输入，通过权重的随机性抑制解释操纵，适用于各类解释方法 。
• 局限性：需权衡计算成本（如采样次数）与解释质量，相比平滑激活函数（如Softplus）的单次计算，效率较低 。

9.2 对抗训练代理模型（Adversarially Trained Surrogate Models）

• 技术路径：对代理模型进行对抗训练，使其在分布外样本上更接近原黑盒模型的行为，提升解释的鲁棒性 。
• 典型案例：Lakkaraju等提出的方法通过对抗训练增强代理模型的泛化能力，减少解释被操纵的风险 。

9.3 归因方法集成（Ensembles of Attribution Methods）

• 核心策略：结合多种解释方法的结果（如梯度类、扰动类方法），通过集成降低单一方法的脆弱性 。
• 理论依据：攻击通常针对特定解释方法，集成不同方法可减少攻击的跨方法迁移性 。
• 挑战：需解决不同方法间的解释一致性问题，避免集成结果产生矛盾 。

9.4 切空间投影（Tangent Space Projections, TSP）

• 技术原理：基于流形学习理论，将解释投影到数据流形的切空间方向，过滤与流形无关的扰动 。
• 优势：仅依赖数据集本身，不依赖模型参数，对模型操纵攻击（如后门）具有防御能力 。

9.5 可证明鲁棒性（Certifiable Robustness）

• 核心框架：通过数学公理（如敏感性、完整性、实现不变性）约束解释方法，构建可证明的鲁棒性保证 。
  • 完整性公理：要求解释满足线积分基本定理，即${\int }_{-\infty }^{+\infty }\nabla h_{\theta }(\tau (t))dt=h_{\theta }(x)-h_{\theta }(\tilde{x})$，确保解释变化与输入路径一致 。
  • 梯度类方法局限：现有鲁棒性证明多针对梯度类解释（如Simple Gradients），但实际解释方法（如聚合梯度绝对值）可能不满足公理，需重新验证 。
• 开放问题：需将更多解释方法映射到公理体系，明确其鲁棒性边界（如非梯度类方法的鲁棒性证明） 。

关键结论

鲁棒解释方法需结合算法优化（如平滑、集成）与理论建模（如公理约束），但当前研究仍局限于梯度类方法，非梯度解释的鲁棒性技术及跨方法通用性是未来重点方向。

10 Conclusion

该部分总结了研究核心内容，阐述了系统化攻击、形式化鲁棒性概念等方面的贡献，指出了防御研究现状与未来方向。

10.1 研究系统化成果

• 攻击分类体系：从攻击者能力、约束和目标出发，系统梳理了输入操纵（M1）、模型操纵（M2）和系统操纵（M3）三类威胁模型，并按攻击目标划分为解释保留（EP）、预测保留（PP）和双重攻击（D），覆盖传统输入/模型攻击及新兴系统级威胁（如公平性洗白） 。
• 鲁棒性理论框架：形式化定义了Lipschitz连续性（LIP）、解释相似性（EXPLSIM）等鲁棒性概念，构建层次化关系（如LIP蕴含EXPLSIM当$ϵ$ $\ge K\delta$，发现不同鲁棒性定义在对抗多目标攻击时存在冲突 。

10.2 防御研究现状与空白

• 现有防御局限：预测攻击防御技术（如对抗训练）已较为成熟，但针对解释感知攻击的专用方法稀缺，且防御跨领域迁移性未知（如预测防御是否适用于解释攻击） 。
• 关键挑战：解释方法的鲁棒性证明依赖梯度类技术（如Simple Gradients），非梯度方法（如基于扰动的解释）的可证明鲁棒性仍是空白 。

10.3 未来研究方向

• 技术优化：
  • 开发针对非梯度解释方法的鲁棒性技术（如基于公理约束的可证明鲁棒性）。
  • 探索随机平滑等技术在跨距离度量和解释方法中的泛化（如Top-k特征重叠度的概率保证） 。
• 社区实践：推动XAI系统评估标准规范化，例如将artifact evaluation纳入顶会投稿要求，提升领域研究的可重复性 。

核心价值

本研究通过系统化分析解释攻击与鲁棒性概念，为构建抗操纵的XAI系统提供了理论基础，强调未来需在鲁棒性证明、防御技术融合及跨场景验证中持续探索，推动领域向科学规范化发展。