识别、分类、行动：LLM 对外部数据的逐指令受控合规

1. 01这篇论文试图解决什么问题？

   外部数据混有有益指令与提示注入，EDIC 要求逐条识别、分类并选择性执行。

   外部数据同时含有益指令与对抗性提示注入时，模型须逐条服从或拒绝，而不能整段拒绝或整段信任。

   • 出现场景：作者称 LLM 已是检索增强、浏览器助手、工具调用智能体和多步工作流的推理核心，必须处理不受其控制的外部数据。同一文档或工具返回会把 API 格式规则、医疗流程指引等有益指令，与覆盖用户目标、抽取私有数据或转向无关目标的注入交错出现（Figure 1）。
   • 现有不足：作者称现有防御多把这当成二值问题：拒绝全部嵌入指令，或完全信任它们。指令层级、结构化查询隔离和外部注入分类器能提高对恶意指令的稳健性，但会不加区分地抑制外部指示，带来过度拒绝并降低合法任务表现。
   • 核心观察：作者认为缺少的是逐条指令的功劳归因，并把问题形式化为 External-Data Instruction Classification：对每条嵌入指示做 identify–classify–act。
   • 本文做法：EDIC 用场景锚定流水线注入有益与有害指令并做反事实过滤，再训练生成式 judge 与 CoT 响应模型；分解奖励分别鼓励有益服从、惩罚有害服从。
   • 威胁模型：
     • 攻击目标：使模型偏离用户查询、执行不安全行为，或转向无关目标。
     • 攻击者知识：论文未写明白盒、黑盒或无盒假设。
     • 攻击能力：恶意指令藏在外部文档或工具返回中，而不是用户提示词里。伦理声明写明触发词来自已公开基准，作者称没有引入新攻击。
     • 受害系统：面向外部数据的 LLM。期望是服从有益指令、拒绝有害指令；静默执行有害指令或拒绝有益指令都算失败。

   收起这一问

2. 02有哪些相关研究？

   作者称既有防御整段拒绝外部指示，且未建模同一文档中的有益与有害指令共存。

   相关工作按间接提示注入、整段式防御和过程监督来写。作者把缺口放在同一文档内两类指令共存。

   间接提示注入

   • 外部内容中的注入：Greshake 等人（2023）分析应用集成 LLM 中藏在外部内容里、而不是用户提示词里的间接提示注入。
   • 越狱线索：引言引用 Wei 等人（2023）、Zou 等人（2023）、Yu 等人（2023）和 Zhu 等人（2023），说明对抗提示可以控制已对齐模型。论文没有把这些越狱方法当作实验基线。
   • 工作流基准：BIPIA（Yi 等人，2025）、AgentDojo（Debenedetti 等人，2024）和 InjecAgent（Zhan 等人，2024）把该威胁扩到检索与智能体工作流。

   外部指令防御

   • 优先级与解码：Wallace 等人（2024）的指令层级、Zhang 等人（2024）的目标优先级、Xu 等人（2024）的安全感知解码、Xie 等人（2023）的自我提醒，目标是在低层对抗输入下保持高层约束。
   • 作者点名的不足：作者称这些方法，包括最接近的 ReasAlign（Hao 等人，2026），几乎只把外部指示当作应整段拒绝的威胁，没有建模有益与有害指令出现在同一文档的混合设定。

   推理监督与对齐

   • 中间推理：论文称 CoT 及相关提示（Wei 等人，2022；Kojima 等人，2022；Wang 等人，2023a；Yao 等人，2023a）显示中间推理有助于多步任务。作者据此认为指令识别、来源归因和权限敏感决策应作为过程建模。
   • 行为塑形：指令调优与 RLHF、DPO、RRHF、Constitutional AI 等对齐工作被归为一类（Mishra 等人，2022；Ouyang 等人，2022；Bai 等人，2022a,b；Rafailov 等人，2023 等）。论文称 Lightman 等人（2024）的过程监督显示，奖励中间推理可以优于只监督结果。
   • 作者的区分：作者称上述设定都不涉及有益与恶意指令共存的外部上下文；EDIC 把过程监督延伸到逐条行为归因。

   基线与数据

   • 基线方法：Base，以及 SecAlign、StruQ、PromptGuard、Instruction Hierarchy、Meta-SecAlign（仅 Llama）和 ReasAlign。Appendix A 有各基线说明。Table 1 实际列出的是 Base、SecAlign、StruQ、ReasAlign，Llama 另有 Meta-SecAlign。
   • 场景与评测：训练场景来自 Spam email、API-Bank、EPFL clinical guidelines、HotpotQA 和 Wiki-MultihopQA。效用评测为 MT-Bench 与 Arena-Hard-Auto；安全评测为 AgentDojo、CyberSecEval 2 的 prompt-injection 和 InjecAgent；过度拒绝用 NotInject。

   作者把本文放在两处缺口上：既有防御几乎整段拒绝外部指示，过程监督又未处理混合指令。

   收起这一问

3. 03论文如何解决这个问题？

   EDIC 用混合指令数据训练生成式 judge，再以逐条分解奖励优化 CoT 策略。

   EDIC 把受控服从拆成识别、分类、行动：先在真实文档里合成混合指令，再让生成式 judge 给每条指令打服从分，并用该分数训练 CoT 策略。

   问题设定

   • 三类片段：用户查询为 q，外部数据为 D，片段集合为 I。每条 ek 属于有益、有害或上下文。有益指令与任务相关且安全；有害指令试图覆盖 q 或触发不安全行为；上下文片段提供信息、没有指示意图。
   • 三步决策：从 D 中抽出 I；给每条 ek 指定类型；行动取 follow 或 reject，并让响应 y 反映这些决定。静默执行有害指令或拒绝有益指令即失败。
   • 形式目标：论文最大化有益服从，并减去 λ 倍有害服从，λ>0。4.2.2 节的 SFT 描述把片段标成有益或有害；附录 F.8 的合成提示则要求分成 BENEFICIAL、HARMFUL 或 CONTEXTUAL。

   数据合成

   • 场景锚定：四类场景分别锚定 Spam email、API-Bank、EPFL clinical guidelines，以及 HotpotQA 与 Wiki-MultihopQA。流水线保留原文风格、实体和术语，只把指令式片段改写成上下文中的自然句。
   • 三种变体与四条分支：同一来源做成只加有益指令 e+、只加有害指令 e−，以及两者都加。有害指令前加一个简短对抗短语作为行为开关；4.1 节给了例子，此处不复述。四条输出分别是：完成任务并服从 e+、完成任务但忽略嵌入指令、服从 e− 而偏离用户目标、同时服从 e+ 与 e−。正确分支是策略目标，四条分支给 judge 做对照。
   • 过滤：去掉 e+ 应改变响应（必要性），去掉 e− 不应改变（独立性）。必要性、一致性、自然性保留 5 分样本；附录 F.6 删除独立性分数高于 2 的样本。过滤后每场景 900 条，按验证/judge 训练/策略训练以 150/250/500 划分。冷启动推理由 GPT-5.4、temperature 1.0 合成。

   生成式 judge

   • 接口：judge 接收 (q, D, ek, y)，输出推理和二值决定。J_ϕ(q,D,e_k,y)→(r,ℓ̂)，标签为 0 或 1，表示 y 是否服从 ek。
   • 训练：先在 judge 数据上 SFT，学习归因格式和常见服从模式；再用 GRPO，奖励是归因正确项加格式项。作者称这一阶段让推理更短、有证据，并覆盖 SFT 未覆盖好的模糊情形。
   • 主要超参：Appendix B 中 judge 的 GRPO 学习率为 1e-6，rollout 组大小 8，最大响应 256 token，KL 系数 1e-3，温度 1.0。SFT 使用 LoRA rank 32、1 个 epoch。

   CoT 策略与分解奖励

   • 冷启动：策略在政策数据上 SFT，学习识别指令式片段、给出标签，并生成与标签一致的响应。作者称 SFT 只提供结构支架，不能保证对抗指令下的分类稳健。
   • 奖励：应服从的指令加上 judge 的服从分，不应服从的指令减去 λ 倍服从分，再加 α 倍格式奖励。R(y)=∑_{ek:ak^∗=fol} J_ϕ(q,D,e_k,y)−λ∑_{ek:ak^∗≠fol} J_ϕ(q,D,e_k,y)+α S(y)。
   • 优化与系数：GRPO 最大化该奖励，并对 SFT 检查点加 KL 惩罚。作者称数据同时含仅有益、仅有害和混合情形，策略不能靠总是拒绝或总是服从来提高奖励。Qwen3-4B 用 λ=1.0、α=0.5；Llama-3.1-8B 用 λ=1.2、α=0.5。策略 GRPO 的组大小为 8，最大响应 768 token，温度 1.0。两个骨干上的 judge 与策略都是 SFT 后再 GRPO。

   收起这一问

4. 04论文做了哪些实验？

   Table 1：Qwen3-4B 的 EDIC 为 H-R 91.2%、B-F 89.5%；Llama 的 H-R 低于 ReasAlign。

   实验设置

   • 模型：被测骨干为 Qwen3-4B 与 Llama-3.1-8B-Instruct，各自训练 judge 和 CoT 策略。Meta-SecAlign 只在 Llama 对照中出现。
   • 数据：四场景过滤后各 900 条，划分 150/250/500。必要性消融重采样到 3,600 条。仅邮件训练用 900 条。论文称在 held-out data 上测内部指标，未写明它是否就是每场景 150 条验证集。
   • 外部基准：MT-Bench 80 题；Arena-Hard-Auto 750 条；AgentDojo 的 banking、slack、travel、workspace 共 629 个被攻击案例；CyberSecEval 2 的 prompt_injection 为 250 条；InjecAgent 每个 setting 约 400 例；NotInject 为 339 条，良性提示故意含 1–3 个注入触发词。
   • 基线：Base、SecAlign、StruQ、ReasAlign；Llama 另有 Meta-SecAlign。Section 5 还列出 PromptGuard 与 Instruction Hierarchy，Table 1 未报告二者。
   • 指标：内部为 B-F、H-R、CC，以及 judge 的 accuracy、balanced accuracy、macro-F1。效用为 Arena 胜率与 MT-Bench。安全为 DJ-U、DJ-ASR、CyberSecEval 2 ASR、InjecAgent ASR。论文未给出 CC 的计算公式。
   • 评审与重复：MT-Bench、Arena-Hard-Auto 和 CyberSecEval 2 的评审模型为 DeepSeek-Chat。Arena 协议写明报告 95% 置信区间，Table 1 未给出。CyberSecEval 2 的 epochs=1。论文未报告主表重复次数，也未写明内部 H-R/B-F 是否另有独立判定模型。

   主结果

   据 Table 1。效用越高越好，ASR 越低越好。StruQ 的 Arena 与 MT-Bench 未报告，未放入表内。

   表格较宽，可左右滑动

   模型与方法	H-R↑	B-F↑	Arena↑	DJ-U↑	Cyb-ASR↓
   Qwen3-4B Base	67.2	72.5	8.4	42.1	54.3
   Qwen3-4B ReasAlign	83.5	77.6	16.4	44.2	19.6
   Qwen3-4B EDIC	91.2	89.5	28.9	46.8	15.8
   Llama Base	74.9	85.5	1.6	6.6	28.6
   Llama Meta-SecAlign	91.9	68.1	4.6	6.2	7.4
   Llama ReasAlign	93.1	87.3	7.8	7.4	3.8
   Llama EDIC	92.8	91.7	12.4	15.8	2.5

   • 作者解读：作者称 SecAlign、StruQ 这类非推理防御用效用换安全；ReasAlign 仍把全部外部指令当威胁。作者认为分别记有益服从、罚有害服从，使两个目标变成互补信号。
   • 不是每格都领先：Llama 的 H-R 以 ReasAlign 的 93.1 最高，EDIC 为 92.8。DJ-ASR 以 Meta-SecAlign 的 0.0 最低，EDIC 与 ReasAlign 均为 0.1。Qwen3-4B 上 EDIC 与 ReasAlign 的 Inj-ASR 均为 0.3。作者仍称 Llama 上 EDIC 在有害拒绝上与最强基线相当。
   • 作者给出的差距与表外数字：摘要称 harmful-rejection 最多提升 7.7%、Arena-Hard-Auto 效用提升 12.5%；引言称相对 ReasAlign，Qwen3-4B 上为 7.7 个百分点和 12.5 个百分点。作者称 Arena 差距在 Llama 上为 +4.6%，并认为收益在较弱基座上更大。Qwen3-4B 的 MT-Bench：EDIC 8.04、ReasAlign 7.28、Base 6.64；DJ-ASR 分别为 0.4、1.2、4.8。SecAlign 的 B-F 为 56.9；StruQ 的 H-R/B-F 为 76.5/53.3。

   触发词与数据构成

   • 分类 trigger：Table 2 的 Δ（开减关）在 Qwen3-4B 上为 H-R +3.8、B-F −0.9、Arena −1.2；Llama 为 H-R +3.1、B-F −2.7、Arena −0.5。作者称这是小的效用代价换安全提升，并认为 trigger 激活的是训练中已有的分类能力，可在推理时开关、无需重训。
   • 混合上下文：Table 3（Qwen3-4B，with trigger）中 harmful-only 为 H-R 92.8、B-F 74.8；benign-only 为 65.8 与 94.6；separate ctx 的 CC 为 0.85、DJ-U 为 47.1；mixed 的 CC 为 0.92，DJ-ASR 与 separate ctx 同为 0.4。作者认为同一文档中的混合训练才迫使逐条归因，因而对受控服从而不只是原始安全是必要的。
   • 表间不一致：Table 3 的 Base CC 为 0.72，Table 5 的 Base 平均 CC 为 0.67。论文未解释。

   过度拒绝与场景泛化

   • NotInject：Table 6 的 benign accuracy，Qwen3-4B 为 Base 93.2、SecAlign 72.8、ReasAlign 78.6、EDIC 88.8；3 个触发词子集为 89.4、65.5、72.2、84.1。Llama 上 EDIC 为 87.4，Base 为 91.4，SecAlign 为 69.4，ReasAlign 为 75.2。作者认为 EDIC 更多依据指令意图，而不是与已知攻击短语的词面重合。
   • 四场景：Table 5（Qwen3-4B，with trigger）。Base 的 API 为 H-R/B-F/CC 58.6/67.2/0.63，是四场景中 H-R 最低；EDIC 的 Email、API、Medical、Knowledge 的 H-R 为 92.4、91.6、90.8、90.0。作者称两轴一起上升、跨场景 CC 标准差下降，但未给出该标准差。
   • 仅邮件训练：Table 7。域内 Email 为 H-R/B-F/CC 91.8/90.2/0.95；OOD 平均为 82.1/80.0/0.81；全量 EDIC 为 91.2/89.5/0.92。作者称最大下降在 API，H-R 为 −11.0 个百分点。附录 D 正文写域内 CC=0.91、全量 Email 为 0.92，与 Table 7 的 0.95、Table 5 的 Email EDIC CC 0.94 不一致。

   其他消融与分析

   • 必要性（Table 4，重采样 3,600）：无过滤 H-R/B-F/DJ-ASR 为 77.3/80.5/1.1（保留 100%）；≥4 为 82.8/83.0/0.6（86.9%）；=5 为 91.2/89.5/0.4（71.6%）。作者认为必要性代理因果耦合，不是样本量。
   • SFT/RL 比例：作者称 judge 最优点为 Qwen3-4B 的 60/40、Llama-3.1-8B 的 80/20。Figure 4 阴影标出的策略配置为 20/80（Qwen3-4B，with trigger）。图中图例写 Judge F1、Harmful Reject F1、Benign Follow F1，图注写 Acc/F1、H-Rej、B-Fol；正文未给曲线读数。
   • 奖励分量：Figure 5 分别去掉 judge、结构、有益服从或有害拒绝信号。作者称对应安全下降最大、拒绝几乎不破但效用崩溃、过度拒绝、过度服从；正文未给各柱数值。
   • 注入位置：Figure 6（Qwen3-4B，SFT+RL，with trigger）的 H-R 为前缀 92.6、文中默认 91.2、后缀 93.4。作者称后缀与文中相差 2.2 个百分点，并认为文中位置更现实、也更具挑战。
   • Judge–策略一致：Table 8（Qwen3-4B，with trigger）。Agreement 从 Base 62.4、SFT 78.6 到 SFT+RL 89.2；Wrong & Unsafe 从 24.8 到 5.6；Cohen’s κ 从 0.38 到 0.81。作者称 judge 正确且策略安全的比例与外部安全指标相关为 0.91。
   • 未给出的 judge 指标：论文写明测量 judge accuracy、balanced accuracy 和 macro-F1，正文未给出这三项的具体数值。附录 E 用邮件示例说明 judge 做局部归因、CoT 执行有益约束并拒绝注入，不复述注入原文。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出四场景、固定触发词、二值标签、手工权重和 4B/8B 规模仍待扩展。

   作者指出的局限与后续方向

   • 场景（Limitations）：训练池覆盖四类场景；到长程智能体轨迹、复杂 HTML 载荷或非英语文档的泛化未被验证，可能需要额外的场景锚定数据。
   • 自适应攻击（Limitations）：流水线嵌入既有基准中的固定注入触发词目录。作者认为 EDIC 可能低估专门针对已训练 judge 或 identify–classify–act 模板构造注入的自适应攻击者。
   • 二值标签（Limitations）：judge 对每条指令给二值服从标签；一条指令部分安全、部分恶意时被压成单一标签。带弃权选项的校准 judge 留给后续工作。
   • 权重（Limitations）：分解奖励中的 λ 与 α 按骨干调节。作者写明没有探索自动加权。
   • 尺度（Limitations）：实验在 4B/8B。作者称同一归纳偏置在更大尺度，或多轮工具使用下是否保持，仍是开放问题。

   实验覆盖范围

   • 被测响应骨干为 Qwen3-4B 与 Llama-3.1-8B-Instruct。Table 1 报告 Base、SecAlign、StruQ、ReasAlign，以及仅 Llama 的 Meta-SecAlign。
   • 训练为邮件、API、医疗、知识四场景，过滤后每场景 900 条，划分 150/250/500。冷启动轨迹和附录 F 的检查提示由 GPT-5.4、temperature 1.0 调用。
   • 外部评测包括 MT-Bench（80 题）、Arena-Hard-Auto（750 条）、AgentDojo（629 个被攻击案例）、CyberSecEval 2 prompt_injection（250 条）、InjecAgent（每个 setting 约 400 例）和 NotInject（339 条）。
   • Section 5 列出 PromptGuard 与 Instruction Hierarchy，Table 1 未报告其数字；也未报告 StruQ 的 Arena 与 MT-Bench，以及 Arena 协议所写的 95% 置信区间。
   • 论文未报告主结果重复次数，未报告内部 H-R/B-F 与人工标注的一致性，未给出 CC 公式，也未给出 judge accuracy、balanced accuracy 和 macro-F1 的具体数值。CyberSecEval 2 写明 epochs=1。

   收起这一问

6. 06总结一下论文的主要内容

   EDIC 在 Qwen3-4B 上把 H-R 做到 91.2%、B-F 做到 89.5%，并保持外部效用。

   EDIC 是面向外部数据的逐条指令服从训练方法，用来同时处理提示注入拒绝和合法外部指令的执行。

   • 问题：检索、工具和多步工作流中的文档常把有益指示与间接提示注入放在一起。整段拒绝损伤效用，整段信任让注入得逞。
   • 做法：在真实文档上构造仅有益、仅有害和混合变体，用必要性与独立性做反事实过滤。生成式 judge 判断某输出是否服从某一条指令，分解奖励再驱动 CoT 策略的 GRPO。Qwen3-4B 的 λ 为 1.0，Llama-3.1-8B 为 1.2。
   • Qwen3-4B：Table 1 中 EDIC 的 H-R 为 91.2%、B-F 为 89.5%、Arena-Hard-Auto 为 28.9、CyberSecEval 2 ASR 为 15.8、AgentDojo ASR 为 0.4。作者称相对 ReasAlign，安全高 7.7 个百分点、Arena-Hard-Auto 高 12.5 个百分点。Inj-ASR 与 ReasAlign 同为 0.3。
   • Llama-3.1-8B-Instruct：EDIC 的 H-R 为 92.8%、B-F 为 91.7%、Arena 为 12.4、AgentDojo 效用为 15.8。H-R 低于 ReasAlign 的 93.1；B-F 高于表中其他行。作者称 Arena 相对 ReasAlign 的差距为 +4.6%。
   • 消融：NotInject 上 EDIC 的良性准确率高于 SecAlign 和 ReasAlign，仍低于未防御 Base。作者称混合数据、必要性等于 5、judge 的两阶段训练和各项奖励都是承重设计。
   • 作者结论：作者认为现有防御的核心失败是分类失败，并希望把指令分类确立为 LLM 处理不可信外部数据时的基础能力。作者称 EDIC 在若干基准上达到最好的效用-安全权衡；Table 1 中 Llama 的 H-R 与 DJ-ASR 并不是每一列最低或最高。

   收起这一问

相关论文