[论文学习]自主性如何重塑个性化对LLM智能体隐私关切与信任的影响

Autonomy Reshapes How Personalization Affects Privacy Concerns and Trust in LLM Agents (2026)

📌 论文重点

LLM智能体在为用户提供个性化服务时，不可避免地需要访问大量个人数据，但这会引发用户的隐私关切并削弱信任。本研究通过一项N=450的3×3组间实验发现，“风险条件性自主性”（risk-contingent autonomy）——即智能体在检测到潜在隐私泄露风险时将控制权交还给用户——能够通过提升用户的感知控制感，有效缓解个性化带来的隐私担忧加剧和信任下降问题。

🧠 核心研究内容

问题定义

LLM智能体（如OpenClaw、OpenAI Operator、Claude Code等）的自主性远高于传统非智能体式AI系统。为了实现有效的个性化服务，这些智能体需要连接Gmail、Notion等外部应用以获取用户的个人数据。然而，与传统AI系统仅生成静态内容不同，LLM智能体会实时规划并执行动作——例如通过真实世界工具生成并发送消息给特定收件人。这种与外部环境的交互带来了数据泄露的风险。

这就形成了一个根本性的两难困境：个性化需要数据，数据共享引发隐私担忧，隐私担忧又抑制数据共享——从而同时限制了智能体的自主性水平和个性化的有效性。研究者将这一矛盾称为“个性化-隐私困境”（personalization-privacy dilemma）。

然而，智能体自主性这一扩大的设计空间，也可能为塑造上述效应提供新的机会——而这一点在此前的研究中尚属空白。

创新方法

本研究的核心创新在于首次系统性地将智能体自主性作为调节变量引入个性化-隐私困境的分析框架，并提出了“风险条件性自主性”这一全新的交互设计范式。

具体而言，研究者基于Kasirzadeh和Gabriel（2025）提出的自主性框架，构建了一个3×3的组间实验设计（N=450）：

三个自主性水平：

• 无自主性（No autonomy）：智能体每一步操作都需用户批准
• 中等自主性（Intermediate autonomy）：智能体可自主执行常规操作，但在检测到风险时（如涉及敏感数据）会暂停并请求用户确认
• 完全自主性（Full autonomy）：智能体完全独立执行所有操作

三个个性化类型：

• 无个性化（No personalization）：智能体不访问任何用户数据
• 隐私感知个性化（Privacy-aware personalization）：智能体仅访问用户的非敏感信息
• 完全个性化（Full personalization）：智能体可访问连接应用中的所有用户信息

研究通过测量用户的隐私关切（privacy concern）、信任（trust）和使用意愿（willingness to use）三个核心因变量，并结合感知敏感性（perceived sensitivity）和感知控制（perceived control）等中介变量，揭示了自主性影响个性化效应的心理机制。

研究成果

研究的核心发现可以归纳为以下几点：

1. 个性化的双刃剑效应

研究发现，不考虑用户隐私偏好的个性化会显著增加隐私关切，并降低信任和使用意愿。个性化通过提升用户对数据“感知敏感性”的认知来发挥这一效应——即用户越觉得被访问的数据敏感，隐私关切就越高，信任和使用意愿就越低。

2. 自主性的调节作用

自主性显著调节了上述效应。具体而言：

• 中等自主性相较于无自主性和完全自主性，能够“ flatten ”（ flatten ）个性化的影响——即减弱个性化对隐私关切的加剧效应和对信任的削弱效应。
• 中等自主性对隐私关切有显著的负向影响，对信任有显著的正向影响。

3. 风险条件性自主性的有效性

研究最关键的发现是：风险条件性自主性通过提升用户的感知控制感，有效缓解了个性化的负面影响。当智能体在检测到潜在隐私泄露时将控制权交还给用户时，用户感受到更强的掌控感，从而降低了隐私担忧并维持了对智能体的信任。

4. 中介机制的澄清

研究还揭示了一个重要的机制细节：个性化通过“感知敏感性”影响用户反应，但中等自主性并不显著影响感知敏感性或其下游结果。这意味着自主性的调节作用并非通过改变用户对数据敏感程度的认知来实现，而是通过增强感知控制这一独立路径发挥作用。

实际落地应用的可能性

这项研究的成果具有直接且迫切的应用价值：

• 智能体交互设计指南：为LLM智能体的产品设计提供了基于实证的指导原则——即在个性化与隐私之间，并非只能做零和博弈，通过设计“风险条件性自主性”可以实现双赢。
• 隐私UX设计范式：提出了一个可操作的交互范式——智能体在运行时动态评估操作的风险等级，在涉及敏感数据时主动“刹车”并请求用户确认，而非一味追求自动化。
• 信任校准工具：帮助企业在不牺牲个性化效果的前提下，通过赋予用户适度的控制感来建立和维护用户信任。
• 合规性支持：为满足GDPR、CCPA等隐私法规中关于用户控制权的要求提供了技术实现思路。

🔧 技术细节

实验设计框架

研究采用了标准的3×3组间因子设计，每位参与者被随机分配到9种条件组合之一。实验场景设定为一个 hypothetical 的LLM智能体助手，该助手连接用户的电子邮件、日历、通讯录和购物记录等应用。

变量操作化

自变量的操作：

个性化类型的操作通过向参与者展示智能体能够访问的信息范围来实现：

• 无个性化：不访问任何用户数据
• 隐私感知个性化：仅访问非敏感信息（如日历日程）
• 完全个性化：访问全部信息（包括邮件内容、聊天记录、购买历史等）

自主性水平的操作基于Kasirzadeh和Gabriel（2025）的框架：

• 无自主性：每项操作需用户逐次批准
• 中等自主性：常规操作自主执行，检测到风险时暂停并请求确认
• 完全自主性：所有操作完全自主执行

因变量的测量：

• 隐私关切：采用既有的隐私关切量表
• 信任：测量用户对智能体能力、可靠性和善意三个维度的感知
• 使用意愿：测量用户在未来继续使用该智能体的意向

中介变量：

• 感知敏感性：用户对被访问数据敏感程度的评估
• 感知控制：用户对智能体行为可控程度的感知

数据分析方法

研究者采用了方差分析（ANOVA）检验主效应和交互效应，并使用中介分析（mediation analysis）检验感知敏感性和感知控制的中介路径。假设检验的详细结果可见论文中的Table 1和Table 4。

🧪 研究设定

参与者

• 样本量：N = 450
• 实验设计：3（个性化类型）× 3（自主性水平）组间设计
• 数据收集方式：在线实验平台（如Prolific或类似平台）

实验流程

参与者首先阅读关于LLM智能体的场景描述，包括智能体的功能、可访问的数据类型以及自主性水平。随后，参与者被要求想象自己在使用该智能体完成日常任务（如安排会议、回复邮件、管理日程等），并完成相关的问卷测量。

软硬件要求

从研究性质来看（用户实验），本研究主要依赖：

• 在线问卷平台（如Qualtrics、Prolific）
• 标准的数据分析软件（如SPSS、R或Python）
• 无需特殊的硬件配置

🔍 综合分析

理论贡献

这篇论文在多个层面上做出了重要理论贡献：

第一，拓展了人机交互中“自主性”概念的理论内涵。以往关于自主性的研究多关注“多少自主性”的问题（即自主性的程度），而本研究引入了“何种自主性”的维度——特别是“条件性自主性”这一概念。研究发现，并非自主性越高越好（完全自主性反而可能加剧隐私担忧），也不是越低越好（无自主性让用户感到繁琐），而是在合适的时候给予合适的自主性才是关键。

第二，揭示了感知控制在个性化-隐私困境中的核心作用。以往研究多关注“感知敏感性”作为个性化影响隐私关切的中介，但本研究发现自主性的调节作用并不通过感知敏感性实现。相反，感知控制才是自主性发挥调节效应的关键心理机制。这一发现为设计干预提供了更精准的靶点。

第三，将LLM智能体的特殊性纳入了理论框架。与非智能体式AI系统不同，LLM智能体能够实时规划和执行动作，其自主性不仅仅是“是否自动化”，还涉及“在什么条件下自动化”。本研究敏锐地捕捉到了这一差异并进行了理论化。

实践启示

从实践角度看，这项研究最重要的启示是：设计智能体的自主性，本质上是在设计如何支持“人的自主性”。这包括两个层面：

1. 感知控制：让用户感觉自己能够掌控智能体的行为
2. 监督有效性：让用户能够有效地监督智能体的行为

这两个维度共同构成了用户对智能体信任的基础。

局限与未来方向

需要指出的是，本研究也存在一些局限性：

• 实验场景是假设性的（hypothetical），而非真实的智能体使用场景
• 参与者与智能体的交互是模拟的，缺乏长期使用的动态数据
• 研究聚焦于个人使用场景，未涉及多用户或组织场景

未来研究可以在真实使用环境中验证这些发现，并探索不同文化背景下用户对自主性和隐私的差异化反应。

💼 实践应用

对产品经理的建议

1. 不要将“自主性”等同于“全自动化”。完全自主的智能体可能反而降低用户信任。设计时应考虑在关键决策点（尤其是涉及敏感数据的操作）设置“安全阀”。

2. “风险条件性自主性”是一个可行的设计模式。智能体应具备风险检测能力，在检测到潜在隐私泄露风险时主动将控制权交还给用户。

3. 用户的“感知控制”比实际的“控制权”更重要。即使智能体在大多数情况下自主运行，只要用户相信自己在必要时可以介入，信任就能得到维持。

对开发者的建议

1. 实现运行时风险检测机制：智能体需要在执行敏感操作（如访问私密邮件、代表用户发送消息等）前进行风险评估。

2. 设计清晰的透明度界面：让用户了解智能体正在访问什么数据、为什么访问这些数据、以及这些数据如何被使用。

3. 提供粒度化的控制选项：允许用户在不同类型的数据和不同类型的操作上设置不同的自主性偏好。

对研究者的建议

1. 将“感知控制”作为关键的中介变量纳入未来的人机交互和AI信任研究中。

2. 探索更多类型的“条件性自主性”——除了风险条件外，是否还有不确定性条件、复杂性条件等其他维度的条件性自主？

3. 在真实世界环境中进行纵向研究，验证风险条件性自主性的长期效果。

📚 参考资料来源

• 原始论文：Autonomy Reshapes How Personalization Affects Privacy Concerns and Trust in LLM Agents(2026)
  • arXiv链接：https://arxiv.org/abs/2510.04465
  • PDF链接：https://arxiv.org/pdf/2510.04465
  • HTML链接：https://arxiv.org/html/2510.04465v2
• 论文所属学科：Human-Computer Interaction (cs.HC); Artificial Intelligence (cs.AI); Cryptography and Security (cs.CR)