PROVISO:面向安全 LLM 智能体的来源感知动作选择
PROVISO: Provenance-Informed Action Selection for Secure LLM Agents
PROVISO在承诺点按来源比较候选动作并提交价值更高者;作者称四项任务上无基线同时超过其安全与效用。
控制器在承诺点于P0与P1间选择:P0为策略提议的动作,P1为拒绝或另一延续。
- 智能体经工具和第三方技能行动,一次提交就可能不可撤回。现有防御不追踪内容来自用户还是外部,也不与替代动作比较,于是在安全与效用之间取舍。
- PROVISO在策略提出动作之后、执行之前,把可信观测、外部观测、提议动作和替代动作写入带来源角色的记忆,用角色查询比较,并提交开发集上校准后价值更高的动作。
- 作者称四项任务上无基线同时超过PROVISO的安全与效用。相对最强基线,SkillsBench的F1增益为13.84个点,ToolSafe为7.07个点。AgentDojo上PROVISO定向ASR为0.28%,BIPIA更低。
- 作者写明控制器按基准分别拟合,未研究跨任务迁移;候选选择须先rollout两条延续。评测用已发布基准及其攻击,未评针对PROVISO的自适应攻击。主实验智能体为Gemma 4 31B IT。
- 威胁模型
- 控制器在承诺点于P0与P1间选择:P0为策略提议的动作,P1为拒绝或另一延续。可见K(请求、策略、工具接口)与G(工具返回、文档、技能包),以及承诺前的沙箱rollout;原生分数只用于训练与评测。准入时P1为拒绝。论文未写攻击者知识等级。
- 被测模型
- PROVISO
- 基准
- SkillsBenchMalSkillBenchSkillVetBenchMaliciousSkillBenchANCHORToolSafeAgentDojoAppWorldAgentTrap
- 指标
- PrecRecallF1FPRH&Rbenign completionACCbenign utilityutility under attackASRmacro-F1
PROVISO 是一个在 LLM 智能体执行动作前决定是否提交的控制器,用来源类型化记忆区分可信与外部观测,并将提议动作与备选动作对比。在覆盖智能体生命周期的四个安全任务上,没有基线在安全性和实用性上同时超过它;F1 在 SkillsBench 上比最强基线高 13.84 分,在 ToolSafe 上高 7.07 分,另在三个技能检测基准上达 88-99 F1。
相关热点
1 个事件 · 1 条新闻提到
提到这篇论文的新闻
大模型安全周报:防线开始溃于组合,智能体授权与审计系统性缺口
- 公众号 大模型安全研究引用了论文编号或链接大模型安全周报:防线开始溃于组合,智能体授权与审计的系统性缺口
PROVISO: Provenance-Informed Action Selection for Secure LLM Agents(https://arxiv.org/abs/2610.27115)
深度解读
这篇论文试图解决什么问题?
现有防御不追踪内容来源,也不与替代动作比较,因而要在安全与效用间取舍。
承诺点上缺少按内容来源、并相对替代动作的提交决策。
- 场景: 智能体通过工具和第三方技能改外部状态,一次动作可能不可撤回。作者称风险贯穿生命周期:安装前的恶意技能、有害用户请求、上下文中不安全的工具调用,以及工具输出中的间接提示注入。
- 现有不足: 护栏和技能扫描器把输入当整体判断,不区分用户授权与仅来自外部的内容。多数防御孤立地按固定阈值拦截,而拦截有代价;作者称基线因此要在安全与效用间取舍。
- 设定: 操作和目标须由可信观测授权,参数可由可信或外部观测支持。外部内容可以提供数值,不能改写目标;同一指令来自用户可以合法,来自工具输出则可能有害。
- 方法: PROVISO 放在策略与执行器之间,把观测和两个候选写入带来源角色的记忆,经角色查询后提交校准价值最高的动作。放行或拒绝、以及在两条延续中选择,都是该表述的特例。
- 威胁模型:
- 进入点: 恶意技能可在运行前安装;用户可下达有害任务;工具调用可在上下文中不安全;工具输出可带有攻击者植入的指令。
- 承诺点: 策略已提出 P0、执行器尚未运行。控制器还看到替代 P1:准入时为拒绝,候选选择时为另一延续。
- 可见信息: 可信观测 K(请求、策略、工具接口)与外部观测 G(工具返回、文档、网页、技能包)。候选选择含可恢复环境中的 rollout;原生分数只用于训练和评测。
- 知识分级: 论文未写 white-box、black-box 或 gray-box。技能没有用户指令时,其声明用途充当 K。
有哪些相关研究?
作者把本文放在生命周期基准、整体判断式护栏,以及规则化溯源防御之间。
论文第 2 节按三类讨论相关工作,实验对照另列。
智能体安全基准
- 技能与误用: 技能基准收集安装前的恶意与良性包(Yang 等,2026;Guo 等,2026;Hossain 等,2026;Wang 等,2026c)。误用基准测有害请求是否被执行(Andriushchenko 等,2025;Zhang 等,2024;Song 和 Qi,2026)。
- 工具与注入: ToolEmu(Ruan 等,2024)与 ToolSafe(Mou 等,2026)评上下文中的单次工具调用。InjecAgent(Zhan 等,2024)、AgentDojo(Debenedetti 等,2024)和 ASB(Zhang 等,2025)评间接提示注入。
- 与本文的关系: 作者称各基准自带防御家族,本文用同一表述覆盖其中四个阶段。
护栏与技能扫描
- 请求级模型: Llama Guard(Inan 等,2023)、WildGuard(Han 等,2024)、Qwen3Guard(Zhao 等,2025)把请求或回复分为安全或不安全。
- 动作级护栏: GuardAgent(Xiang 等,2025)、AGrail(Luo 等,2025)用 LLM 推理对照安全要求;AgentSpec(Wang 等,2026a)执行用户规则;MCIP(Jing 等,2025)检查工具交互的上下文完整性;Safiron(Huang 等,2026)、ShieldAgent(Zhang 等,2024)、TS-Guard(Mou 等,2026)判断动作或逐步调用。
- 扫描器及批评: SkillGate、Cisco、Sentry、SkillSpector、SkillFortify 用静态规则、LLM 语义分析或二者在安装前筛包。作者称这一节的方法把输入当整体、对照固定阈值或规则集;PROVISO 则分开可信与外部观测,并与替代动作比较。
提示注入防御与溯源
- 隔离与检测: StruQ(Chen 等,2025a)、SecAlign(Chen 等,2025b)、BIPIA(Yi 等,2025)把指令与数据隔开;PIGuard(Li 等,2025b)、MELON(Zhu 等,2025)标记工具返回中的注入。引言称 Chen 等(2025a,b)与 Debenedetti 等(2025)会修改智能体本身,且只覆盖被注入的指令。
- 执行约束: 系统级方法用依赖规划、动态隔离或权限与任务对齐,包括 Debenedetti 等(2024)、IPIGuard(An 等,2025)、DRIFT(Li 等,2025a)、Debenedetti 等(2025)、Progent(Shi 等,2025)和 Task Shield(Jia 等,2025)。
- 显式溯源: Wang 等(2026b)、AGATE(Zhang 等,2026)、APPA(Kravchenko 等,2026)、She 等(2026)和 Santos-Grueiro(2026)用规则、策略或图检查授权。作者称这些方法主要依赖显式规则;PROVISO 改为从结果学习溯源与动作价值的关系。
基线与基准
- 基线方法: 技能任务为 SkillGate,以及 Sentry、Cisco、SkillSpector 的静态与语义模式,另有静态的 SkillFortify。误用与不安全调用共用 MCIP、WildGuard、AgentSpec、Safiron;误用另加 AGrail、GuardAgent;调用另加 TS-Guard、Qwen3Guard、ShieldAgent。注入任务为 Tool Filter、DRIFT、IPIGuard、BIPIA、PIGuard、SecAlign。
- 基准: SkillsBench、ANCHOR、ToolSafe、AgentDojo,以及 MalSkillBench、SkillVetBench、MaliciousSkillBench。
作者将本文定位为承诺点上的溯源知情动作选择:同一控制器覆盖多个生命周期阶段,并从结果学习价值,而不是只做整体打分或规则授权。
论文如何解决这个问题?
PROVISO用带来源类型的记忆和角色查询,在承诺点提交校准价值更高的动作。
PROVISO 在承诺点估计候选动作的价值,并提交校准后更高者。准入与候选选择是同一决策的两种情形。
问题设定
- 实例: 一次决策包含可信观测 K、外部观测 G、提议动作 P0 和替代 P1。K 来自用户和部署,包括目标、允许范围与操作、授权资源或收款方、终止条件。G 是行动中读到的返回、文档、网页和技能包;读过 G 之后智能体自己的推理也继承外部来源。
- 许可: 操作和目标须由 K 许可,参数可由 K 与 G 支持。作者称 G 不能改目标;间接提示注入是 G 中试图充当 K 的内容。该规则不作为程序交给控制器,控制器从结果学习,记忆保留 K 与 G 的区分。技能包无用户指令时,声明用途充当 K。
- 候选: P0 是不干预时的默认动作或技能安装。P1 在准入中是拒绝,在候选选择中是另一延续。环境可恢复时,两条延续先在副本中 rollout,提交后才在真实环境执行所选者;rollout 中的观测属于产生它的候选。
- 价值: 部署自带评分器给出 0 到 1 的原生分数。控制器估计 V∗(x,a)=E[y(x,a)|x,a],即只凭承诺前信息时该动作结果的期望,并提交价值最高者。付款例子中,金额可来自发票,收款人若只来自外部且未被 K 授权,则不应提交该提议。
带来源类型的记忆
- 角色嵌入: 适配器把实例切成文本段,冻结编码器 Enc 编码后,按角色 K、G、P0、P1 加上学习到的嵌入。同一句话来自用户请求或工具返回,记忆行不同。某个成分可以没有行;准入时两个固定动作可以只由查询表示。
- 长文本: G 很长时,证据选择器按与承诺查询的相似度保留高分段,并加上全部段的均值。选择器参数用原生结果训练;没有选择器的适配器无可训练参数。SkillsBench 上包文本按窗口编码,保留至多 8 个窗口加全局均值。
- AgentDojo: 承诺点在任务起点,承诺前没有外部观测,G 只有固定的阶段说明;工具返回写进产生它的候选,而不是单独的 G 行。P0 是部署智能体的完整轨迹,其提示按 BIPIA 用边界标记外部内容并重述任务;P1 是 DRIFT 产生的完整恢复轨迹。两条轨迹都由 Gemma 4 31B IT rollout。
角色查询审议
- 五个查询: 四个角色查询加一个没有输入角色的承诺状态,经过 L 个审议块。实验取 L=2、宽度 384、每层 8 头。每块依次做掩码交叉注意力、查询之间的自注意力和前馈更新;记忆在审议中保持不变。
- 再次检索: 后一块的检索以早一块形成的比较为条件。作者用付款例子说明:第一块可发现提议收款方与 K 不同,第二块再回到 G 查找该收款方从哪来。
- 规模: 前馈层是四个 SwiGLU 专家、top-two 路由。可训练参数 17.40M。架构跨基准共享,权重按基准拟合。编码器不更新。
估值、校准与训练
- 两种读出: 候选选择时,小前馈网络从权威、证据、该候选和承诺状态估计每个候选的价值。准入时只预测 P0 不安全的概率。作者给出 V∗(x,P1)−V∗(x,P0)=2p(x)−1,因此把 P0 的估计价值置 0,只从承诺状态读出该概率。
- 损失: 候选选择是每个候选价值与其原生结果的二元交叉熵,加成对排序项。准入是该概率与标签的交叉熵;有更细标签时另加风险类别项。辅助项包括查询状态上的角色监督、选择器损失和负载均衡。
- 校准分开: 拟合之后在开发集上选择每动作偏移,使 F1、不安全召回或良性放行比例最大。作者称拟合学习哪个动作更好,校准决定偏离默认前需要多少证据。P0 的偏移固定为 0;估计的不安全概率高于 P1 偏移时拦截 P0。
论文做了哪些实验?
作者称四项任务上无基线在安全与效用两轴同时超过PROVISO,单项指标有例外。
实验设置
- 任务与规模: SkillsBench 为 150 个恶意包、1,500 个良性包,按来源五折。ANCHOR 测试为 300 个有害任务、80 个良性任务,划分 936/176/380。ToolSafe 测试为 340 个不安全调用、367 个良性调用,划分 5,769/706/707。AgentDojo 为 2,516 个受攻击回合、97 个干净回合,按用户任务五折(Table 7)。
- 模型: 控制器为 17.40M 参数网络,本身不调用生成模型。ANCHOR 与 AgentDojo 的智能体为 Gemma 4 31B IT。编码器为冻结的 ModernBERT-large;SkillVetBench 与 MaliciousSkillBench 用 E5-large-v2。ToolSafe 的四条角色摘要由 gpt-oss-20b 预先写成。
- 基线: 各任务使用为其设计的防御,保留原提示、解析和动作映射,并在同一测试群体上评分。已训练基线用发布检查点,不在作者划分上重拟合(Appendix B)。
- 指标: 技能包报告 Prec、Recall、F1、FPR。ANCHOR 报告 H&R(越低越安全)和良性完成率。ToolSafe 报告 ACC、不安全调用的 F1 与 Recall,严重度大于 0 视为不安全。AgentDojo 报告良性效用、受攻击效用和定向 ASR。
- 阈值: ToolSafe 在不安全概率达到 0.005 时拦截。ANCHOR 在预测风险超过开发集阈值 0.01 时拒绝。SkillVetBench 固定阈值 0.7;其余多在开发集上按 F1、召回、良性放行或 macro-F1 选点(Table 9)。ANCHOR 使用该基准发布的 Harm & Risk 评审,正文未给出评审模型名。
- 检验: SkillsBench 与 ToolSafe 上,作者对相对最强基线的 F1 增益做了按测试组配对的检验(Section 5.1,Appendix E)。
主结果
| 任务 | 指标 | PROVISO | 对照基线 | 出处 | | SkillsBench | F1 | 85.81 | SkillGate 71.97 | Table 1 | | SkillsBench | Recall | 82.67 | Sentry semantic 100.00 | Table 1 | | ANCHOR | H&R | 0.00 | AGrail 2.65 | Table 2 | | ANCHOR | 良性完成 | 100.00 | WildGuard 82.50 | Table 2 | | ToolSafe | F1 | 99.12 | TS-Guard 92.05 | Table 3 | | AgentDojo | 受攻击效用 | 85.41 | SecAlign 83.35 | Table 4 | | AgentDojo | 定向 ASR | 0.28 | BIPIA 0.20 | Table 4 | | AgentDojo | 良性效用 | 87.63 | SecAlign 88.66 | Table 4 |
- 两轴: 对照列是该指标上表中极值所在的基线,不是同一个最强方法。作者称 Figure 3 中没有基线在安全与效用两轴上同时优于 PROVISO;摘要写 no baseline,结论写 no published defense。图注称右上更好;面板 (b) 的纵轴文字为 H&R(lower is safer),与“右上更好”并不一致。面板 (d) 中 PIGuard 被标在作图范围外。
- 例外: 技能语义扫描器召回更高。作者称 PROVISO 的阈值在开发集上最大化 F1,而良性包占多数。AgentDojo 上 BIPIA 的定向 ASR 更低,SecAlign 的良性效用更高;作者称后者 ASR 高出十倍以上。干净任务上,PROVISO 只在两条已获得的轨迹间选择,两条都完不成的任务它也不能完成。论文写 AGrail 完成 80 个良性任务中的 35 个。
- 增益: 作者报告 SkillsBench 与 ToolSafe 上相对最强基线的 F1 增益为 13.84 与 7.07 个点,配对检验 p < 0.01。Table 14 中二者的 Holm p 分别为 .002 与 <.001。
额外技能基准
- 设置: 同一控制器用于 MalSkillBench、SkillVetBench、MaliciousSkillBench,规模、恶意比例和收集方式不同(Section 5.2)。
- 数字: Table 5 中 F1 为 98.62、93.33、88.15,Prec 为 99.26、95.79、92.99,FPR 为 0.73、4.00、9.72。MaliciousSkillBench 的 macro-F1 为 86.02,且用的是发布划分,不是按来源折。
- 作者解读: 作者称 SkillsBench 的结果不依赖单一数据源,并称这三个基准上 F1 为 88–99、精确率至少为 90%。
组件分析
- 证据选择: SkillsBench 上,去掉选择器监督后 F1 为 69.08,再去掉局部记忆为 59.38;完整模型为 85.81(Table 15)。Figure 4 将前一项标为 69.1(−16.7)。固定模型、阈值和记忆预算时,等量置换窗口使 F1 变为 64.35;恢复四个最高排名的原窗口回到 85.91,颠倒顺序不改变任何决策(Appendix F.2)。
- 查询计算: 参数量匹配的 MLP 读入同一选定记忆,F1 为 48.62,低于完整模型 37.19 个点(Table 16)。作者称增益主要来自进入记忆的内容以及角色查询计算整体。
- 第二次检索: 基于 AgentDojo 银行工具的付款任务上,五个种子的平均效用从 88.48% 降到 78.54%,两边不安全转账均低于 0.4%。冲突情形的降幅比一致情形大 13.15 个点;两跳证据链上效用为 99.57% 与 81.41%(Section 5.3)。Figure 4 将抑制后的效用标为 78.5(−9.9)。
稳健性
- 重复训练: ToolSafe 上 20 个独立拟合的 F1 均值为 98.67,95% 区间 [97.89, 99.33],范围 98.12 到 99.12(Appendix G)。
- 摘要骨干: Table 20 的 ToolSafe F1 为 Granite-3.3-8B 98.98、gpt-oss-20b 99.12、Phi-4 98.98、Mistral-7B 98.53、Muse-Glimmer-30B 99.27。作者称选定模型在较宽的 logit 阈值范围内保持 99.12;Figure 6 的正文没有给出各偏移点的读数。
- 另一智能体: 这不是 Table 2 的 Gemma 设置。全部 300 个有害与 80 个良性 ANCHOR 实例上,未加控制器的 Granite-3.3-8B 平均风险为 30.777,加控制器后为 0.717,良性完成同为 48/80(Table 24)。
其他消融与分析
- 无角色嵌入:SkillsBench F1 85.32;稠密专家更新:86.49,增益区间含 0;全窗口记忆:81.19(Table 16)。
- 学习到的交叉注意力改为均匀权重:同一 707 个 ToolSafe 调用上 F1 为 64.95,相对学习权重的配对差为 +34.18(Appendix F.3)。
- 固定候选:2,516 个受攻击回合中,总选已获得的 P0 时 JSU 为 2,066,总选 P1 为 2,034,PROVISO 为 2,147(Table 19)。
- 折内选择恢复边际:攻击成功仍为 7,干净完成仍为 85,既完成且攻击失败的受攻击回合从 2,147 变为 2,141(Appendix F.4)。
- 混淆计数:ToolSafe 上 PROVISO 为 339/1/5/362(TP/FN/FP/TN,Table 12);SkillsBench 为 124/26/15/1,485(Table 13)。
- 付款任务的源组确认共 4,096 例:完整检索的覆盖率均值为 88.85%,抑制第二次检索为 78.93%;不安全发生率 0.37% 与 0.39%(Table 18)。此设置与 Section 5.3 的 88.48% 到 78.54% 不是同一数字。
有什么可以进一步探索的点?
作者指出需按基准分别拟合、依赖可恢复rollout,且未评自适应攻击。
作者指出的局限与后续方向
- 分基准拟合: 每个基准单独拟合,因此需要目标设定上的标注结果;作者写明没有研究把一个已训练控制器迁移到其他任务(Limitations)。
- 双边 rollout: 候选选择中,两条延续都先在可恢复环境里 rollout,部署必须支持这种 rollout,并承担两边的代价(Limitations)。
- 适配器: 角色由基准专用适配器指定。AgentDojo 上外部内容进入候选轨迹内部,而不是单独的 G 行;ToolSafe 的部分输入是提议模型生成的角色摘要,带来生成成本(Limitations)。
- 智能体: ANCHOR 与 AgentDojo 上的智能体是一个 LLM(Limitations)。
- 攻击: 评测使用已发布基准及其攻击;针对 PROVISO 本身改写的攻击没有评测(Limitations)。
实验覆盖范围
- 任务: 主结果为恶意技能检测、智能体误用、不安全工具调用和间接提示注入,另报告了 MalSkillBench、SkillVetBench、MaliciousSkillBench(Section 4–5,Table 5)。附录还报告了 AppWorld 与 AgentTrap 的原生执行结果。
- 模型: ANCHOR 与 AgentDojo 的智能体为 Gemma 4 31B IT;ToolSafe 角色摘要由 gpt-oss-20b 书写;编码器为 ModernBERT-large 或 E5-large-v2。附录另报告 Granite-3.3-8B、Phi-4、Mistral-7B、Muse-Glimmer-30B 作为证据或智能体骨干时的控制器结果。
- 对照: 各任务的基线是 Section 4 列出的已发布防御,在同一测试群体上评分;已训练基线使用发布检查点(Appendix B)。
- 划分与检验: 主要划分见 Table 7,含分组五折和发布划分。SkillsBench 与 ToolSafe 报告了按测试组配对的置换检验及 Holm 校正(Appendix E)。
- 论文未报告: 主实验只写使用发布的 Harm & Risk 评审,正文未给出该评审的模型名;附录的 Granite 对照写由 Gemma 4 31B IT 担任评审。论文未报告该评审与人工判定的一致性。
总结一下论文的主要内容
控制器在承诺点按来源比较P0与P1并提交校准价值更高者,作者称不必用安全换效用。
PROVISO 是插在 LLM 智能体策略和执行器之间的控制器,在动作真正执行前做选择。
- 问题: 该不该执行一个动作,取决于其操作和目标是否来自用户或部署的授权,而参数可以来自工具返回。只看整段文本、或不与替代动作比较,拦截就会打断良性任务。
- 做法: 把可信观测、外部观测、提议动作和替代动作写入带来源角色的记忆,用五个查询检索并比较,再提交从原生结果学到、并在开发集上校准的价值。准入时替代是拒绝。AgentDojo 上承诺点在任务起点,控制器是在已 rollout 的智能体轨迹和 DRIFT 恢复轨迹之间选择,而不是当场生成新动作。
- 技能与调用: SkillsBench 上 F1 为 85.81,作者报告比 SkillGate 高 13.84 个点,召回则低于语义扫描器。ToolSafe 上 F1 为 99.12,作者报告比 TS-Guard 高 7.07 个点;测试混淆为 339 次命中、1 次漏检、5 次误拦。
- 误用与注入: 以 Gemma 4 31B IT 为智能体时,ANCHOR 上 H&R 为 0.00、良性完成为 100.00。AgentDojo 上受攻击效用为 85.41、定向 ASR 为 0.28%;BIPIA 的 ASR 为 0.20,SecAlign 的良性效用为 88.66。
- 作者结论: 摘要称没有基线、结论称没有已发表防御,在安全与效用上同时超过 PROVISO。作者还称另外三个技能基准上 F1 为 88–99,并把增益主要联系到证据选择、角色查询和再次检索。