事件历史事件
伯克利与DeepMind、Anthropic提出DefensiveToken提示注入防御
先了解这件事
AI 综述
加州大学伯克利分校、Google DeepMind 和 Anthropic 的联合团队提出测试时提示注入防御方案 DefensiveToken：在 LLM 输入前加入 5 个优化过的特殊令牌，让模型忽略外部数据中的注入指令，且只优化令牌嵌入、不修改模型参数。在规模最大的 TaskTracker 基准上，面对手工设计的注入攻击，其平均攻击成功率为 0.24%，接近训练时防御的 0.20% 至 0.51%。
AI 根据报道生成 · 6 天前更新
走势与进展
每小时关注度
现在 36，24 小时 0%·峰值 38（11月7日 14:00）
11月8日11月9日11月10日11月11日11月12日11月13日现在 36
相关研究
报道提到其成果的论文
- 报道提到 InjecAgentInjecAgent：工具集成大语言模型智能体的间接提示注入基准评测加州大学伯克利分校等提出 DefensiveToken，可在测试时开关的提示注入防御
arXiv · 2024-03-05 · 深度解读
后续时间线
11月7日
- 公众号 为机器立心加州大学伯克利分校等提出 DefensiveToken，可在测试时开关的提示注入防御
加州大学伯克利分校、Google DeepMind 和 Anthropic 的联合团队提出测试时提示注入防御方案 DefensiveToken，在 LLM 输入前加入 5 个优化过的特殊令牌，让模型忽略外部数据中的注入指令；该方案只优化令牌嵌入，不修改模型参数。在规模最大的 TaskTracker 基准上，对手工设计的注入攻击，其平均攻击成功率为 0.24%，接近训练时防御的 0.20% 至 0.51%，而 Reminder、Sandwich 等测试时基线均高于 11%；面对 GCG 优化攻击，平均攻击成功率从 95.2% 降至 48.8%。作者指出，该方案只应对用户指令良性、外部数据恶意的情况，无法防御用户恶意的越狱攻击，优化这 5 个令牌需 4 台 A100 训练约 1 小时。
相关讨论
关注度走势
每天新增来源
- 11月7日新增1个来源（1家媒体、0个账号）
- 11月8日新增0个来源（0家媒体、0个账号）
- 11月9日新增0个来源（0家媒体、0个账号）
- 11月10日新增0个来源（0家媒体、0个账号）
- 11月11日新增0个来源（0家媒体、0个账号）
- 11月12日新增0个来源（0家媒体、0个账号）
- 11月13日新增0个来源（0家媒体、0个账号）