Heads of Security:学习式注意力门控提升提示注入鲁棒性
Heads of Security: Learned Attention Gates Improve Prompt Injection Robustness
AI 导读
研究者提出 Heads of Security(HoS),一种通过学习各注意力头在可信与不可信 token 之间的注意力分配来强制指令与数据分离的提示注入防御。作者在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上将其与基于微调的 SecAlign++ 和同样在架构层面实现指令-数据分离的 ASIDE 对比:黑盒攻击 RL-Hammer 对 GPT-OSS-20B 的攻击成功率达 97%、对 SecAlign 达 85%,对 HoS 仅 10%;通过 autoresearch 针对 HoS 强化后的白盒攻击 Claudini,在 HoS 上达到相同攻击成功率所需 FLOPs 是其在 GPT-OSS-20B 或 SecAlign 上的 3 倍。
阅读原文