跳到正文
事件观察中

CapLite:无需模型自写安全工件的提示注入防御

1篇报道1个报道来源最近报道

先了解这件事

AI 综述

论文提出面向小型语言模型智能体的提示注入防御方法 CapLite,无需智能体模型自行编写安全工件。作者称,CaMeL、Progent、IPIGuard、DRIFT 等强制执行类防御要求智能体自身模型编写程序、权限策略、依赖图或约束列表,再由代码执行;在 15 个开源权重模型(其中 13 个为 1.7B 至 12B 参数)上测试发现,模型写出的策略、图和约束在 Progent、IPIGuard、DRIFT 下分别使 14、13、11 个模型可被攻击利用,CaMeL 的程序最多在 68% 的回合中无法运行。CapLite 从工具 schema 推导策略,在任何工具结果被读取前先提交写调用,且仅当决定写入影响对象的每个参数都在用户请求中写明时才允许写入,从而保证写完整性,使注入文本无法新增写操作,写操作也不会到达用户未指明的接收方、金额、对象或目的地。

AI 根据报道生成 · 2 天前更新

走势与进展

每小时关注度

现在 37,24 小时 -1%·峰值 39(11月13日 18:00)

11月14日11月15日现在 37

相关研究

这件事的论文

后续时间线

11月13日
  1. arXiv:越狱、提示注入、投毒与防御
    CapLite:面向小型语言模型智能体、无需模型自写安全工件的提示注入防御

    论文提出面向小型语言模型智能体的提示注入防御方法 CapLite,无需智能体模型自行编写安全工件(security artifacts)。CaMeL、Progent、IPIGuard、DRIFT 等强制执行类防御要求智能体自身模型编写程序、权限策略、依赖图或约束列表再由代码执行;作者在 15 个开源权重模型(其中 13 个为 1.7B 至 12B 参数)上测试发现,模型写出的策略、图和约束在 Progent、IPIGuard、DRIFT 下分别使 14、13、11 个模型可被攻击利用,CaMeL 的程序最多在 68% 的回合中无法运行。CapLite 从工具 schema 推导策略,在任何工具结果被读取前先提交写调用,且仅当决定写入影响对象的每个参数都在用户请求中写明时才允许写入,从而保证写完整性,注入文本无法新增写操作,写操作也不会到达用户未指明的接收方、金额、对象或目的地。

相关讨论

本站还没有收集到这件事的讨论链接。

关注度走势

每天新增来源

3天共1个·最多1(11月13日)·今天0

  • 11月13日新增1个来源(1家媒体、0个账号)
  • 11月14日新增0个来源(0家媒体、0个账号)
  • 11月15日新增0个来源(0家媒体、0个账号)

每小时关注度

当前关注度37·可比范围峰值39(11月13日 18:00)·近 24 小时可比范围变化 -1%

01020304011月13日18:0011月14日10:0011月15日02:0011月15日18:00