加州大学伯克利分校等提出 DefensiveToken，可在测试时开关的提示注入防御

加州大学伯克利分校、Google DeepMind 和 Anthropic 的联合团队提出测试时提示注入防御方案 DefensiveToken，在 LLM 输入前加入 5 个优化过的特殊令牌，让模型忽略外部数据中的注入指令；该方案只优化令牌嵌入，不修改模型参数。在规模最大的 TaskTracker 基准上，对手工设计的注入攻击，其平均攻击成功率为 0.24%，接近训练时防御的 0.20% 至 0.51%，而 Reminder、Sandwich 等测试时基线均高于 11%；面对 GCG 优化攻击，平均攻击成功率从 95.2% 降至 48.8%。作者指出，该方案只应对用户指令良性、外部数据恶意的情况，无法防御用户恶意的越狱攻击，优化这 5 个令牌需 4 台 A100 训练约 1 小时。