跳到正文
原文

SecAlign：用偏好优化防御提示注入

SecAlign: Defending Against Prompt Injection with Preference Optimization

arXiv· arXiv:2410.05451· ACM CCS 2025· Sizhe Chen, Arman Zharmagambetov, Saeed Mahloujifar, Kamalika Chaudhuri, David Wagner, Chuan Guo·本站收录· 16 天前· 原文发表入选 防御精选关注度38

论文速读

据论文全文整理（AI 生成），以原文为准

AI 导读Meta 与 UC Berkeley 的研究者在 CCS 2025 论文中提出 SecAlign，用偏好优化训练大语言模型防御提示注入。

问题
LLM 集成应用常从用户文档、网页检索、API 返回等外部数据源取数，攻击者可在其中注入 prompt 覆盖系统指令，即 prompt injection，被 OWASP 列为 LLM 应用首要安全风险。已有基于微调的防御对训练时未见过的攻击（尤其优化型攻击）泛化差。
方法
把 prompt injection 防御表述为偏好优化问题：用指令微调数据构造 (注入后的输入, 对合法指令的响应, 对注入指令的响应) 三元组，用 DPO 训练模型偏好安全响应、远离不安全响应，方法名为 SecAlign。
实验与结果
在五个开源模型上测试多种未见过的无优化与优化型攻击：无优化攻击 ASR 降至 0%，优化型攻击 ASR 多数低于 10%，较 StruQ 降低 4 倍以上；AlpacaEval2 等效用基本不降，MMLU 略降 2–3%；在 SEP、InjecAgent 等分布外基准上也有效。
局限与可以继续做的
仅适用于指令与数据有明确分隔符的场景；无法保证 100% 安全，可能被多轮对话等未来攻击绕过，进一步微调后的表现未知；对数据末尾注入最有效；不防御越狱与数据抽取，作者建议与检测等系统级手段组合；训练中未使用优化型注入，多模态注入留待后续。
AI 导读和推荐理由方法把被注入的输入、响应合法指令的安全输出与响应注入的不安全输出组成偏好对，用 DPO 训练模型偏好安全输出，偏好数据可从公开指令微调数据集自动构造，无需人工标注。在 Mistral-7B-Instruct、Llama3-8B-Instruct 等五个开源模型上，SecAlign 对 Ignore、Completion 等无优化注入攻击一致取得 0% 攻击成功率，对训练未见的 GCG、AdvPrompter、NeuralExec 等优化类攻击将 ASR 压到 10% 以下（Llama3-8B-Instruct 上最强攻击为 8%），较当时的 SOTA 防御 StruQ 降低超过 4 倍，AlpacaEval2 效用与防御前基本持平。

Meta 与 UC Berkeley 的研究者在 CCS 2025 论文中提出 SecAlign，用偏好优化训练大语言模型防御提示注入。方法把被注入的输入、响应合法指令的安全输出与响应注入的不安全输出组成偏好对，用 DPO 训练模型偏好安全输出，偏好数据可从公开指令微调数据集自动构造，无需人工标注。在 Mistral-7B-Instruct、Llama3-8B-Instruct 等五个开源模型上，SecAlign 对 Ignore、Completion 等无优化注入攻击一致取得 0% 攻击成功率，对训练未见的 GCG、AdvPrompter、NeuralExec 等优化类攻击将 ASR 压到 10% 以下（Llama3-8B-Instruct 上最强攻击为 8%），较当时的 SOTA 防御 StruQ 降低超过 4 倍，AlpacaEval2 效用与防御前基本持平。

推荐理由SecAlign 用偏好优化让模型偏好安全输出而非注入响应，作者称在五个开源模型上把各类注入攻击成功率压到 10% 以下且不损通用能力。

相关热点

5 个事件 · 6 条新闻提到

提到这篇论文的新闻

LocalAlign：近目标对抗训练提升提示注入防御泛化

REALM：识别LLM 智能体最小任务资产以限制权限

SRFT自我反思微调提升智能体抗提示注入能力

再看 3 条

研究揭示保留词元编码放大提示注入攻击

HoS：学习式注意力门控防御提示注入

阅读原文ACM CCS 2025