Characterizing Selective Refusal Bias in Large Language Models

文章主要内容总结该研究聚焦大型语言模型（LLMs）安全护栏中的选择性拒绝偏差，即模型针对不同人口统计群体的有害提示时，拒绝生成有毒内容的行为存在差异。研究通过设计靶向特定群体（涵盖性别、性取向、国籍、宗教的单一及交叉群体）的恶意提示，分析了Gemini Pro 1.5、GPT-4o、LLaMA3.1-70B等模型的响应模式（合规、部分拒绝、完全拒绝）、拒绝率及拒绝文本长度，核心发现如下：选择性拒绝偏差普遍存在：历史上受边缘化的群体（如跨性别者、犹太人、墨西哥人）面临更高的拒绝率，而多数群体（如男性、美国人、基督徒）的拒绝率更低，仅GPT-4o在性别属性上无显著偏差。交叉群体的拒绝模式：高拒绝率群体与低拒绝率群体交叉时，拒绝率通常向边缘化群体靠拢；跨性别身份与其他群体交叉时，拒绝率显著升高。拒绝文本的长度差异：模型对男性等群体的拒绝文本平均长度显著长于其他群体，反映出响应细致度的偏差。安全护栏的脆弱性：提出间接攻击方法——利用模型对某一群体的合规响应，修改目标群体后可生成针对原拒绝群体的有毒内容，攻击成功率达89.51%，暴露了护栏的鲁棒性缺陷。研究结论强调，现有安全护栏未基于内容本身的危害性判断，而是受人口统计标识影响，需开发更公平、稳健的护栏机制。文章创新点首次系统刻画人口统计导向的选择性拒绝偏差：突破