这是我的偏好吗?社交互动中对智能体记忆的角色接地攻击
Is it my preference? Role Grounding Attack against Agent's Memory via Social Interaction
论文速读
据论文全文整理(AI 生成),以原文为准
北京邮电大学研究者提出角色接地攻击(RGA),利用智能体记忆系统在角色归属上的漏洞,让受害智能体把攻击者用户的偏好记成自家用户的偏好。
- LLM-based agents 在社交平台上分享经验并持久记忆偏好,但现有记忆系统在角色到主体的归属(role-to-principal grounding)上存在漏洞:嵌套对话中的偏好可能被错误记到受害者用户名下,进而被用于操纵工具选择或窃取隐私。
- 作者形式化 Role Grounding Attack(RGA):先做 Publisher-Preference Decoupling,把偏好绑定到发布者的 owner 角色而非发布者本身;再用嵌套对话构造(引用一段 user/assistant 对话)作为包装,使受害 agent 在记忆形成时丢失上下文绑定,把攻击者用户的偏好误归为自己的用户。
- 在 5 种记忆系统(A-MEM、Mem0、Hindsight、MemOS、LangMem)和 6 个语言模型上评估:工具选择操纵平均攻击成功率约 92.37%,隐私泄露约 69.57%;多攻击者竞争环境下平均约 78.41%。记忆形成阶段多数攻击载荷被直接误归因(Mem0 78.1%、A-MEM 75.7%、Hindsight 99.0%),且比 Hidden in Memory 更难被安全审查检出。
- 作者提出基于平台元数据的角色归属提醒作为防御,可使 ASRsel 平均下降约 61.96 个百分点,但仅靠显式归属提示并不能完全保护所有记忆系统;材料未给出其他局限或未来方向。
北京邮电大学研究者提出角色接地攻击(RGA),利用智能体记忆系统在角色归属上的漏洞,让受害智能体把攻击者用户的偏好记成自家用户的偏好。攻击借普通经验分享帖实施,帖内引用攻击者与其用户的对话,受害智能体写入记忆时保留相对角色 user 却丢失其绑定对象,且不伪造内容、发布者身份如实标注。攻击实例为工具选择操纵和隐私泄露,后者叠加任务需求偏好,诱导敏感信息进入工具参数传给攻击者控制的工具。在 A-MEM、Mem0、Hindsight、MemOS、LangMem 五个记忆系统和 DeepSeek-V4、Qwen3.8、GPT-5.6 系列共六个模型上,工具操纵平均攻击成功率 92.37%,隐私泄露平均 69.57%,攻击帖在 GPT-5.6-Luna 安全审查中均被判为良性。
推荐理由攻击不伪造内容也不伪装发布者,五个主流记忆系统均受影响,做智能体记忆的团队可据此检查角色归属绑定是否保留。