跳到正文
原文
arXiv:越狱、提示注入、投毒与防御· arXiv:2610.37657· Igor Shilov, Xiaoxue Yang, Alexander Panfilov, Evgenii Kortukov, Matthieu Meeus, Peter Romov, Wojciech Samek, Jonas Geiping, Yves-Alexandre de Montjoye·本站收录· 原文发表

Heads of Security:学习式注意力门控提升提示注入鲁棒性

Heads of Security: Learned Attention Gates Improve Prompt Injection Robustness

AI 导读

研究者提出 Heads of Security(HoS),一种通过学习各注意力头在可信与不可信 token 之间的注意力分配来强制指令与数据分离的提示注入防御。作者在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上将其与基于微调的 SecAlign++ 和同样在架构层面实现指令-数据分离的 ASIDE 对比:黑盒攻击 RL-Hammer 对 GPT-OSS-20B 的攻击成功率达 97%、对 SecAlign 达 85%,对 HoS 仅 10%;通过 autoresearch 针对 HoS 强化后的白盒攻击 Claudini,在 HoS 上达到相同攻击成功率所需 FLOPs 是其在 GPT-OSS-20B 或 SecAlign 上的 3 倍。

阅读原文arxiv.org