CapLite:无需模型自写安全工件的提示注入防御
先了解这件事
论文提出面向小型语言模型智能体的提示注入防御方法 CapLite,无需智能体模型自行编写安全工件。作者称,CaMeL、Progent、IPIGuard、DRIFT 等强制执行类防御要求智能体自身模型编写程序、权限策略、依赖图或约束列表,再由代码执行;在 15 个开源权重模型(其中 13 个为 1.7B 至 12B 参数)上测试发现,模型写出的策略、图和约束在 Progent、IPIGuard、DRIFT 下分别使 14、13、11 个模型可被攻击利用,CaMeL 的程序最多在 68% 的回合中无法运行。CapLite 从工具 schema 推导策略,在任何工具结果被读取前先提交写调用,且仅当决定写入影响对象的每个参数都在用户请求中写明时才允许写入,从而保证写完整性,使注入文本无法新增写操作,写操作也不会到达用户未指明的接收方、金额、对象或目的地。
AI 根据报道生成 · 2 天前更新
走势与进展
每小时关注度
现在 37,24 小时 -1%·峰值 39(11月13日 18:00)
相关研究
这件事的论文
- CapLite:面向小型语言模型智能体、无需模型自写安全工件的提示注入防御
arXiv · 2026-11-12 · 深度解读
后续时间线
- arXiv:越狱、提示注入、投毒与防御CapLite:面向小型语言模型智能体、无需模型自写安全工件的提示注入防御
论文提出面向小型语言模型智能体的提示注入防御方法 CapLite,无需智能体模型自行编写安全工件(security artifacts)。CaMeL、Progent、IPIGuard、DRIFT 等强制执行类防御要求智能体自身模型编写程序、权限策略、依赖图或约束列表再由代码执行;作者在 15 个开源权重模型(其中 13 个为 1.7B 至 12B 参数)上测试发现,模型写出的策略、图和约束在 Progent、IPIGuard、DRIFT 下分别使 14、13、11 个模型可被攻击利用,CaMeL 的程序最多在 68% 的回合中无法运行。CapLite 从工具 schema 推导策略,在任何工具结果被读取前先提交写调用,且仅当决定写入影响对象的每个参数都在用户请求中写明时才允许写入,从而保证写完整性,注入文本无法新增写操作,写操作也不会到达用户未指明的接收方、金额、对象或目的地。
相关讨论
关注度走势
每天新增来源
- 11月13日新增1个来源(1家媒体、0个账号)
- 11月14日新增0个来源(0家媒体、0个账号)
- 11月15日新增0个来源(0家媒体、0个账号)