跳到正文
原文
arXiv:对抗攻击、后门与投毒· arXiv:2611.04673· Yao Wang, Zehua Ma, Weiming Zhang, Han Fang·本站收录· 原文发表

工具正确、参数错误:防御 LLM 智能体的参数投毒攻击

Right Tool, Wrong Parameters: Defending LLM Agents Against Parameter Poisoning

AI 导读

研究者提出 AuthorityFlow,一种针对 LLM 智能体参数投毒攻击的三阶段参数级防御,并发布评测基准 FactAuthBench。参数投毒指攻击者保持原定工具调用动作不变,只篡改收件人等任务关键参数,因不引入新动作而难以检测。其核心思路是参数改动是否合法应由产生该改动的信息流在用户查询下的信任程度决定。AuthorityFlow 先根据用户查询为可用信息字段构建任务特定的信任层级,再追踪每个工具参数取值的信息流并归因到支撑字段,仅当该字段被信任决定该参数时才接受改动。在 FactAuthBench 上,无防御时攻击成功率达 93.06%,AuthorityFlow 将其降到 9.03%,正常任务效用为 82.64%,无防御时为 90.28%。

阅读原文arxiv.org