提示攻击防御学到的是表面启发式规则

核心问题：监督微调（SFT）类 prompt injection 防御是否真正识别恶意意图，还是只依赖防御数据中的表面关联来拒答。

• 问题场景：LLM 部署在客服、RAG、智能体自动化等安全敏感场景，需遵循系统指令同时完成良性请求；当对抗指令经用户查询（direct）或外部检索内容（indirect）进入流水线时，模型可能执行注入命令，作者认为单次安全失效即可触发真实世界动作。
• 现有方法的不足：作者称 StrucQ、SecAlign 等微调防御的训练数据被显式注入样本（指令覆盖、分隔符逃逸等模式）主导，模型在标准基准上的高拒攻率常被当作鲁棒性证据，但实证行为显示它们系统性误拒安全输入。
• 核心假设：当表面特征 ϕ(x) 与标签的相关性远高于语义意图与标签的相关性时，经验风险最小化会让模型学到"ϕ(x) 出现即拒答"的规则，即使提示词完全良性（第 3.1 节）。
• 论文提出：三个可检验的捷径偏置假设（位置偏置、token 触发偏置、话题泛化偏置），配套受控诊断数据集，以及在两个基座模型和多条防御流水线上的系统评测。
• 分析对象（非攻击）：论文不提出新攻击，而是测量防御方行为——受害系统是经防御微调的开源 LLM（Llama 3、Mistral 指令版）和外部 prompt guard 分类器；输入全部为良性提示词，仅改变位置、token 或话题单一因素。

Prompt injection 攻击

• Perez and Ribeiro (2022)——提出 direct prompt injection，攻击者直接经用户可见输入注入恶意指令；Willison (2023) 讨论了分隔符类手法的局限。
• Greshake et al. (2023)、Chen et al. (2024, 2025b)——indirect prompt injection，把对抗指令嵌入网页、文档等外部检索内容。
• Liu et al. (2024)、Yi et al. (2025)——形式化并基准化 prompt injection 攻击与防御（附录 A 还提到模板逃逸、completion 式攻击等变体）。

模型级防御

• StruQ（Chen et al., 2025a）——用保留分隔符的结构化提示格式微调模型，区分指令字段与数据字段；SecAlign（Chen et al., 2024）——构造偏好对做偏好优化；Meta SecAlign（Chen et al., 2025b）——将该路线扩展到基础模型。本文以 StrucQ、SecAlign 为微调防御代表做诊断。
• Constitutional AI（Bai et al., 2022）与 deliberative alignment（Guan et al., 2024）——让模型在生成时显式推理安全约束。
• Wallace et al. (2024)、Wu et al. (2024)——instruction hierarchy，训练模型让系统级指令优先于用户输入。

Prompt guard 与过度防御

• ProtectAIv2、LakeraGuard、PromptGuard2、Deepset、FMOPS——外部过滤器，在输入到达模型前分类；本文把它们作为被评测对象。
• Li and Liu (2024)（InjecGuard/NOTINJECT）——基准化并缓解 guard 模型的过度防御；Han et al. (2024a)（WildGuard）——开放的安全审核工具。论文称本文的捷径失败与这些过度防御观察一致，并直接使用其良性数据。

本文定位：作者称先前工作注意到安全与效用的权衡，本文的贡献是分析监督防御微调如何产生捷径行为，表现为误拒、推理抑制和良性输入上的泛化退化（附录 A.2）。

整体思路：把"防御是否依赖表面线索"形式化为三个可证伪假设，为每个假设构造语义保持良性、只改变一个表面因素的受控诊断集，再比较基座模型与防御微调模型的拒答率（RR）和准确率（Acc）。

问题形式化

• 防御模型 fθ′ 由基座模型在标注数据集 Ddef = {(xi, zi)}（zi ∈ {benign, attack}）上监督微调得到；理想行为是对注入输入高拒答、对良性输入（含分布外良性）低拒答且准确率不掉。
• 核心不等式：当 I(ϕ(x); z) ≫ I(semantic intent(x); z) 时，训练目标可仅靠表面特征 ϕ(x) 最小化，模型学到"ϕ(x) 出现即拒答"。

三个失败假设

• H1 位置偏置：拼接提示词 x = [xA; xB] 两段均良性时，P(reject | xB) 仍很高，即模型把提示词后段当作可疑区域。
• H2 token 触发偏置：对良性 x，插入攻击数据中高频出现的字符串 t ∈ T 后，P(reject | t∈x) > P(reject | t∉x)。
• H3 话题泛化偏置：对来自未见话题域 Ttest 的良性提示词，防御模型准确率低于训练话题域 Ttrain，即 E_{x∼ Ttest}[Acc(f_θ′(x))] < E_{x∼ Ttrain}[Acc(f_θ′(x))]。

诊断数据集设计

• Position Stress Set（H1）：从 GPQA、MMLU、AIME 2024 随机配对同基准的两道良性题拼接；另有五题拼接消融（MMLU，173 组）。
• Keyword Trigger Set（H2）：基线安全集为 PINT 良性部分与 WildGuard 的 971 条良性请求混合；触发压力集用 InjectGuard/NOTINJECT 的三词触发子集（每个触发计数档 113 条良性提示词）；另生成插入相似长度随机技术词的对照 x+r，预期 P(reject|x+t) ≫ P(reject|x) ≈ P(reject|x+r)。
• Topic Generalization Set（H3）：不拼接、不插触发词，直接在 GPQA/MMLU/AIME 单题上测准确率；理由是这些学术推理域在防御微调语料（以指令覆盖、分隔符操纵等元指令话题为主）的支持集之外。

评测指标

• RR：H1 下按答案可提取性判定（无法提取有效答案即记拒答）；H2 下模型做注入二分类，判为 unsafe/injection 即记拒答；prompt guard 判 unsafe 同样记拒答。
• 偏置度量：H1 比较 RR(xA) 与 RR(xB)；H2 计算 ∆ = RRtrigger − RRbaseline；H3 报告相对基座的准确率落差 ∆util = Accdef − Accbase。
• 生成模型评测用 greedy decoding（temperature 0），H2 采用 Li and Liu (2024) 的注入检测提示协议（附录 B.3.1 给出完整提示词）。

实验设置

• 被测模型：两个开源指令模型家族 Llama 3 与 Mistral（附录 B.3 写明为 Llama-3-8B、Mistral-7B），各自比较 Base、+StrucQ、+SecAlign 三种状态；另有五个 prompt guard：ProtectAIv2、LakeraGuard、PromptGuard2、Deepset、FMOPS。
• 数据集与规模：GPQA gpqa_diamond 全部 100 题、MMLU 验证集 1,204 题（57 个域）、AIME 2024 全部 30 题；H2 基线安全集为 PINT 良性部分（正文写 3,007 条，附录写约 2.8k）加 WildGuard 971 条，触发压力集为 InjectGuard/NOTINJECT 三词触发子集（每档 113 条）。
• 指标：RR（拒答率，越低越好）、Acc（准确率，越高越好）、括号内为相对基座的落差；H2 报告 ∆ = RRtrigger − RRbaseline。
• 判定方式：H1 按答案可提取性判拒答；H2 用统一分类提示词加预定义拒答模式列表；guard 模型以 unsafe 预测为拒答。论文未报告重复次数与统计检验。

主结果

H1 拼接双题（Table 2，Acc/RR，%）：

表格较宽，可左右滑动

模型	防御	GPQA 第1题 RR	GPQA 第2题 RR	MMLU 第1题 RR	MMLU 第2题 RR
Llama-3	Base	0.0	8.0	0.5	4.0
Llama-3	+StrucQ	14.0	66.0	6.0	90.0
Llama-3	+SecAlign	4.0	50.0	3.5	34.0
Mistral	Base	24.0	16.0	2.7	2.3
Mistral	+StrucQ	14.0	34.0	2.4	62.2
Mistral	+SecAlign	6.0	74.0	1.1	89.6

（据 Table 2；AIME 列基座准确率均为 0.0，此处省略）

• 作者称防御模型对第 1 题表现接近正常，但"激进拒答"第 2 题，后缀拒答率常超 50%、最高 90%，而同样题目单独出现时能正确处理。
• Table 1（单题 vs 拼接整体）同向：如 Llama-3+StrucQ 在 MMLU 上 Acc 从 65.0 降至 32.5、RR 从 2.2 升至 48.0。
• 例外：Mistral 基座在 GPQA 第 1 题 RR 已达 24.0，高于其 StrucQ 变体的 14.0；论文未解释。

H2：token 触发偏置（Table 3）

• 测了什么：基线安全集与触发压力集上的良性拒答率。结果：Llama-3+SecAlign 从 0.00 升至 15.93（+8.85），Mistral+StrucQ 从 11.03 升至 15.04（+12.39）；guard 中 LakeraGuard 从 9.1 升至 58.5（+49.4）、ProtectAIv2 从 13.8 升至 53.9（+40.1）。
• 作者解读：攻击数据中的高频 token 足以在良性语境激活防御，说明依赖词汇线索而非策略推理；作者称对照的非触发词不引起该上升。
• 例外：Mistral+SecAlign 触发压力下 RR 为 0.00（∆ -2.65），PromptGuard2 仅 +4.1；FMOPS、Deepset 基线 RR 已高达 65.3、65.9。

H3 与触发移除消融（Table 4、Table 5）

• H3 话题泛化：三基准平均 Acc，Llama-3 从 31.6 降至 12.8（StrucQ，-18.8）和 22.4（SecAlign，-3.1）；Mistral 从 23.3 降至 12.1（-11.2）和 10.1（-13.2）。作者称这是分布外良性输入上的"alignment tax"。
• 触发移除（Table 5）：移除触发词后 guard 的 RR 下降——ProtectAIv2 53.9→23.8（∆ -30.1）、PromptGuard2 11.5→1.70（-9.80）；作者称这为"token 驱动拒答"提供因果证据。
• 例外：Deepset 移除触发词后几乎不变（87.6→86.7，∆ -0.9），论文未解释。

其他消融与分析

• 五题拼接消融（Figure 3，Mistral 基座 vs StrucQ，MMLU 173 组）：响应率基座各位置 0.98–1.00，StrucQ 从第 1 题 0.61 降至第 5 题 0.55；准确率基座约 0.47–0.51，StrucQ 从 0.27 降至 0.23。
• 输出长度（Figure 2）：作者称 StrucQ 版 Llama-3 在 GPQA、MMLU 上生成长度分布左移，基座呈长尾；作者解读为推理被截断。
• 定性示例（Figure 4）：同一良性提示词下，原始模型作答而防御模型误拒或答错（位置偏置与触发偏置各一例）。

作者指出的局限与后续方向

• 分析框架受限（第 7 节 Limitations）：作者称这是"一组明确定义的评测条件下的聚焦实证分析"，不旨在穷尽所有可能防御，结论应在此框架内解读。
• 快照性质（第 7 节）：所测模型、基准与防御方法只是"当前实践的具体快照"，其他设计或部署场景可能表现不同；分析是补充性而非穷尽性的。
• 指标视角有限（第 7 节）：评测强调拒答行为与任务表现这类可解释信号，作者称可用类似诊断原则探索系统行为的其他视角。
• 反事实良性样本（第 5 节 Future Work）：引入表面像攻击但意图良性的反事实样本或可减少对词汇、位置线索的依赖，但作者称其对拒攻率与良性效用权衡的影响尚不清楚。
• 交互与多轮设置（第 5 节）：把诊断扩展到交互式或多轮场景，或可揭示早期拒答如何影响真实部署中的下游行为。
• 更细粒度行为信号（第 5 节）：在准确率之外纳入推理深度、校准等信号，或可更完整刻画防御微调引入的安全—效用权衡。

实验覆盖范围

• 被测生成模型为 Llama-3-8B 与 Mistral-7B 两个家族（附录 B.3），各含 Base、+StrucQ、+SecAlign 三种状态；prompt guard 覆盖 ProtectAIv2、LakeraGuard、PromptGuard2、Deepset、FMOPS 共五个。
• 良性诊断数据为 GPQA 100 题、MMLU 1,204 题、AIME 2024 30 题，H2 安全基线约 3.9k 条、触发压力集每档 113 条；五题消融为 173 组（附录 B.2.2）。
• 防御方法仅覆盖两类微调防御（StrucQ、SecAlign）与外部过滤器；论文讨论过 Constitutional AI、deliberative alignment、instruction hierarchy 等模型级防御（第 2.2 节），但实验中未对它们运行诊断。
• H3 未做显式话题切分：Table 4 标题注明"no explicit topic split is applied"，话题泛化结论基于三基准相对防御训练分布的域偏移。
• 论文未报告每个条件的重复次数、统计显著性检验，也未报告 H2 对照词实验的具体数字（仅正文称对照不引起拒答上升）。

一篇针对 prompt injection 防御的行为分析论文：作者质疑监督微调防御（StrucQ、SecAlign）及外部 prompt guard 是否真正识别恶意意图。

• 问题：防御训练数据被显式注入模式主导，作者认为经验风险最小化会让模型学到"表面特征出现即拒答"的规则，标准基准上的高拒攻率因此被当作鲁棒性的误导性证据。
• 方法：形式化三个假设——位置偏置（拼接提示词后段被默认可疑）、token 触发偏置（攻击高频词在良性语境触发拒答）、话题泛化偏置（未见话题的良性任务表现退化）；配套构造语义保持良性、只变单一因素的诊断集，在 Llama-3-8B、Mistral-7B 及五个 prompt guard 上测拒答率与准确率。
• 结果一（位置）：双题拼接时，Llama-3+StrucQ 在 MMLU 第 2 题拒答率达 90.0%，第 1 题仅 6.0%（Table 2）；五题消融中响应率随位置单调下降（Figure 3）。
• 结果二（token）：插入单个触发词后，LakeraGuard 良性拒答率从 9.1% 升至 58.5%（+49.4），ProtectAIv2 从 13.8% 升至 53.9%（Table 3）；移除触发词后 ProtectAIv2 拒答率降 30.1 个百分点（Table 5）。
• 结果三（话题）：防御微调后三推理基准平均准确率最多降 18.8（Llama-3+StrucQ，Table 4），作者称之为良性效用上的 alignment tax。
• 作者结论：聚合拒答指标不足以评估防御，需要保持良性效用的意图感知评测；作者同时注明分析限于受控条件，是补充性快照而非对全部防御的穷尽。