跳到正文
事件观察中

论文提出LLM Agent提示注入相对安全性定义

1篇报道1个报道来源最近报道

先了解这件事

AI 综述

Brijesh Dongol 的论文提出 PlanTERS 框架,以相对参考 Agent 的方式定义 LLM Agent 面对提示注入时的安全性:参考 Agent 在相同运行时监控下执行相同计划,但所用模型从不服从不可信内容;若一个 Agent 的每次泄漏都是参考 Agent 已存在的泄漏,则称其相对安全。论文给出围栏定理,证明在首次读取不可信内容时撤销可注入工具且不再恢复,可使有限运行中的所有计划在事件层面相对安全,条件是每次注入为单次调用且模型按预先固定的时间表服从,并可在公平性条件下扩展到可能无限的运行。作者在 Isabelle/HOL 中证明或反驳带围栏、预算、审批、循环和双 LLM 的 Agent 的相对安全性。

AI 根据报道生成 · 2 天前更新

走势与进展

每小时关注度

现在 35,24 小时 -1%·峰值 37(11月10日 23:00)

11月11日11月12日11月13日现在 35

后续时间线

11月9日
  1. arXiv:越狱、提示注入、投毒与防御
    LLM Agent 提示注入的相对安全性:机械化定义、防御与判定

    Brijesh Dongol 的论文提出 PlanTERS 框架,以相对参考 Agent 的方式定义 LLM Agent 面对提示注入时的安全性:参考 Agent 在相同运行时监控下执行相同计划,但所用模型从不服从不可信内容;如果一个 Agent 的每次泄漏都是参考 Agent 已经存在的泄漏,那么就称该 Agent 相对安全。论文给出围栏定理,证明在首次读取不可信内容时撤销可注入工具且不再恢复,可以使有限运行中的所有计划在事件层面相对安全;这一结论的条件是每次注入为单次调用,且模型按预先固定的时间表服从,并可在公平性条件下扩展到可能无限的运行。作者在 Isabelle/HOL 中证明或反驳带围栏、预算、审批、循环和双 LLM 的 Agent 的相对安全性。

相关讨论

本站还没有收集到这件事的讨论链接。

关注度走势

每天新增来源

4天共1个·最多1(11月10日)·今天0

  • 11月10日新增1个来源(1家媒体、0个账号)
  • 11月11日新增0个来源(0家媒体、0个账号)
  • 11月12日新增0个来源(0家媒体、0个账号)
  • 11月13日新增0个来源(0家媒体、0个账号)

每小时关注度

当前关注度35·可比范围峰值37(11月10日 23:00)·近 24 小时可比范围变化 -1%

01020304011月10日23:0011月11日16:0011月12日08:0011月13日01:00