跳到正文
原文

称量信封:单个 LLM 智能体信封层防御中的组件权重与仲裁

Weighing the Envelope: Component Weight and Arbitration in Envelope-Layer Defenses for a Single LLM Agent

arXiv:其他 AI 安全论文· arXiv:2611.23844· Yuelin Han·本站收录· 13 小时前· 原文发表防御· 扫描记录里的位置 →
AI 导读

论文测量了单个 LLM 智能体信封层防御中标签、记忆、工具角色与后端对调用决策的影响,发现工具侧强制核验标签大幅减少语义越界,但强成功记忆会将其拉回,记忆侧降级声明可使结果回到仅用标签的水平。此前工作针对多智能体 A2A 信封,本文补上 MCP 工具与长期记忆并存的情形,威胁模型假设攻击者预先植入恶意工具并投毒长期记忆,由良性用户请求无意触发。机制上,标签靠强制检查工具实现加默认拒绝起作用,记忆授权措辞随剂量削弱防御,位置和多轮压力不改变防御方向。工具角色把标签效应分为替代、抑制和边界失效,低渗透不等于安全,局部泄露是主要残余风险。作者指出信封标签不是开关,而是受后端和工具角色约束的可测量、可逆权重,只能作为更广防御中的软门控和风险信号,不能替代权限、沙箱或人工审查。

阅读原文arxiv.org