HoS：学习式注意力门控防御提示注入

1. 00:30
   X@Iam_Shivanshu· 讨论

   97% → 10%. That's the best RL-trained prompt-injection attacker's success rate on GPT-OSS-20B before and after a defen…（新标签页打开原帖）

1. 02:10
   X @kotekjedi_ml精选

   团队发布仅 46k 参数的提示注入防御模型

   研究者 Alexander Panfilov 发布了一个仅 46k 参数的提示注入防御模型。该工作用基于 RL 和 Claudini 发现的攻击做了攻击者后手（attacker-moves-second）评估，作者称 Claudini 很适合用作自适应攻击评测。作者称所得模型比 SecAlign 更少出现角色混淆。作者还指出，模型中存在帮助识别指令的注意力头和促使模型执行指令的注意力头，增强前者可提升提示注入检测。合作者称其攻击显示 HoS 并非不可攻破，但比他们尝试过的其他方法更难攻破，并提供了 Hugging Face 在线演示、论文 arXiv 2610.37657 与代码仓库。

2. 00:22
   X@xiaoxue__yang· 讨论

   Our attacks show that HoS isn't unbreakable, but it's a lot harder to break with everything we've tried. We'd love to s…（新标签页打开原帖）
3. 00:22
   X@xiaoxue__yang· 讨论

   Caveat: HoS enforces an externally supplied trust boundary. It doesn't decide what's trusted, and it's not designed for…（新标签页打开原帖）
4. 00:21
   X@xiaoxue__yang· 讨论

   📣 New paper: Heads of Security (HoS)! Can 18K parameters defend agents against prompt injection without sacrificing ut…（新标签页打开原帖）
5. 00:17
   X@_igorshilov· 讨论

   Want to see more? We have more cool results on GPT-OSS-20B and Llama-3.3-70B Check out our resources: Full paper: htt…（新标签页打开原帖）
6. 00:17
   X@_igorshilov· 讨论

   There are of course caveats. 1) We aim for instruction-data separation. It is useful in some scenarios (e.g. summarizi…（新标签页打开原帖）
7. 00:17
   X@_igorshilov· 讨论

   I'm very excited to share our new paper on prompt injection defences: "Heads Of Security"! Inspired by interp work sho…（新标签页打开原帖）

1. 05:58
   X@okey_amy· 讨论

   Prompt injection defenses usually mean more prompts. Heads of Security learns per-head attention gates that enforce ins…（新标签页打开原帖）

1. 21:13
   X@pryzmat_tech· 讨论

   3/7 RL-Hammer hits 97% ASR on GPT-OSS-20B, 85% on SecAlign++, only 10% on HoS. White-box Claudini needs 3x more FLOPs…（新标签页打开原帖）
2. 21:13
   X@pryzmat_tech· 讨论

   2/7 Heads of Security: Learned Attention Gates Improve Prompt Injection Robustness arXiv:2610.37657 Learned per-head…（新标签页打开原帖）
3. 15:14
   X@bravish_· 讨论

   Imperial, the Tübingen AI Center / ELLIS and Max Planck trained 46,080 numbers to make a 70B model far harder to prompt…（新标签页打开原帖）
4. 08:42
   X@robinliu2022· 讨论

   4/6 Heads of Security:学习式注意力门防提示注入 给每个注意力头学一个门,把注意力在可信/不可信 token 间重分配,实现指令-数据分离;Llama-3.3-70B 与 GPT-OSS-20B 上比 SecAlign…（新标签页打开原帖）

1. 01:58
   arXiv：越狱、提示注入、投毒与防御

   Heads of Security：学习式注意力门控提升提示注入鲁棒性

   研究者提出 Heads of Security（HoS），一种通过学习各注意力头在可信与不可信 token 之间的注意力分配来强制指令与数据分离的提示注入防御。作者在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上将其与基于微调的 SecAlign++ 和同样在架构层面实现指令-数据分离的 ASIDE 对比：黑盒攻击 RL-Hammer 对 GPT-OSS-20B 的攻击成功率达 97%、对 SecAlign 达 85%，对 HoS 仅 10%；通过 autoresearch 针对 HoS 强化后的白盒攻击 Claudini，在 HoS 上达到相同攻击成功率所需 FLOPs 是其在 GPT-OSS-20B 或 SecAlign 上的 3 倍。

1. 日期未标
   AI Security and Privacy Lab, Imperial College London精选

   Heads of Security：学习型注意力门控提升提示注入鲁棒性

   Imperial College London 等机构的研究者提出 Heads of Security（HoS）防御方法，在每个注意力头上训练学习型门控，使模型能读取工具输出而不执行其中注入的指令。每个 token 被标为 trusted、untrusted 或 template 通道，各头在 softmax 前按通道缩放注意力分数，从而阻止指令跟随头读取不可信内容，其他头仍可处理该内容。该方法只训练门控参数，在 GPT-OSS-20B 上为 18,432 个标量、Llama-3.3-70B 上为 46,080 个，采用 SecAlign++ DPO 配方训练，基座权重不变。

当前关注度38·可比范围峰值38（11月6日 03:00）·近 24 小时可比范围变化 0%