SecPO：面向提示注入安全的原则化对抗训练
SecPO: Principled Adversarial Training for Prompt Injection Security
论文速读
据论文全文整理（AI 生成），以原文为准
研究者提出 SecPO 损失并结合对抗训练，用于模型层面的间接提示注入防御：在 Qwen3.6-27B 上把 AgentDojo 的 AttackerMovesSecond 自适应攻击 ASR@800 从 Meta-SecAlign 的 78.8% 降到 8.8%。
- prompt injection 让不可信数据中的指令劫持 AI agent，是 agent 的首要威胁。现有最强防御 Meta-SecAlign 在自适应攻击下 ASR 仍接近 100%，作者认为其 DPO 损失把模型锚定在不安全的无防御参考模型上，且只用弱模拟攻击训练。
- 作者提出 SecPO 损失：把 DPO 中的无防御参考模型换成理想 oracle，利用 oracle 在注入输入上的输出分布等于无防御模型在干净输入上的分布这一观察，只需把参考模型喂干净输入即可实现。再配合基于 PAIR 搜索的对抗训练（AT），用 attacker/judge API 并发合成强注入样本训练。
- 在 Llama-3.1-8B-Instruct 和 Qwen3.6-27B 上，AT 相比 Meta-SecAlign 把三种自适应攻击 ASR 降低 1.5–14.5 倍，SecPO 再降 2.4–4.6 倍；Qwen3.6-27B 在 AgentDojo AttackerMovesSecond 下 ASR@800 为 8.8% 对 78.8%。九个 benign 基准上效用无明显下降，且对视觉注入也有迁移鲁棒性。
- 方法假设 agent 能明确区分可信指令与不可信数据，不覆盖标签未知或用户本身恶意的情形；主要实验为非推理模式，扩展到 reasoning 模型留待未来；不修复幻觉等原有错误；自适应攻击评估成本高，难以系统评估超参敏感性；更强的新攻击仍可能攻破。
研究者提出 SecPO 损失并结合对抗训练，用于模型层面的间接提示注入防御：在 Qwen3.6-27B 上把 AgentDojo 的 AttackerMovesSecond 自适应攻击 ASR@800 从 Meta-SecAlign 的 78.8% 降到 8.8%。SecPO 把 DPO 中对未防御参考模型的 KL 约束换成在干净输入上查询该模型得到的 oracle 分布，从理论上绕开锚定不安全参考模型的问题，实测也让注入敏感样本获得更大梯度。训练端用 PAIR 搜索为每条样本合成强注入（best@240）做对抗训练。在 SEP 上，Genetic、TAP、PISmith 三种自适应攻击的 ASR 分别从 93.7%、90.1%、94.0% 降到 13.3%、12.5%、1.8%，DTaP 上为 7.6%，九项涉及工具调用、指令遵循、科学与数学的基准上良性效用基本持平。
推荐理由论文给出了可复现的对抗训练配方和开源训练集，并量化了在 AgentDojo 等智能体任务上相对 Meta-SecAlign 的攻击成功率降幅。