跳到正文
原文
arXiv:越狱、提示注入、投毒与防御· arXiv:2611.07222· Woosang Lim, Yeseul Chang, Jaewoo Lee·本站收录· 原文发表

SPILLWAY:分离目标准入与清洗,防御工具型智能体免受提示注入

SPILLWAY: Separating Target Admission from Sanitization to Defend Tool-Using Agents against Prompt Injection

AI 导读

研究者提出确定性防御方法 SPILLWAY 抵御工具型智能体的提示注入,在三个骨干模型上的测试中没有标准模板化注入能把动作重定向到攻击者目标。该方法从工具返回的类型化字段(如邮件发件人、付款账户)读取动作去向,只有当工具输出中出现而用户任务中没有的目标值来自只读工具的类型化字段或符合固定委托规则时才放行调用;固定规则清洗器在模型读取前移除指令样文本并保留为证据,本地裁判可恢复被拒调用,但目标在被删文本中的调用除外。在其中一个骨干的七个任务套件上,SPILLWAY 在该攻击下取得所测防御中最高的平均效用与综合得分(NRP、ERS),在已发布的强化学习攻击者下范围内平均攻击成功率为 0.007,伪造聊天模板的攻击成功率为零,且几乎不增加模型调用、不触发骨干重跑。

阅读原文arxiv.org