ICON：基于推理时纠正的 Agent 间接提示注入防御

自适应间接提示注入（IPI）嵌在检索内容里劫持智能体的工具调用，而拒答式防御会中断仍应继续的任务。

• 场景： 作者认为，智能体接入外部数据与 API 后，邮件、网页等检索内容可携带恶意指令。与直接越狱不同，IPI 能迫使模型执行未授权工具调用，并绕过传统安全护栏。
• 现有不足： 作者称，模板和事后工具过滤依赖表层模式，易被自适应变体绕过；安全微调容易过拒，提前终止复杂的智能体循环，重训练开销也不适合动态部署。Table 1 中 Template、Tool-Filter 的 Security 与 Utility 为 ✗，Fine-tuning 的 Utility 与 Efficiency 为 ✗，ICON 三项为 ✓。
• 核心观察： 作者称，成功触发特定对抗意图的 IPI 会使注意力异常集中在少量被注入 token 上；良性轨迹则要整合长程上下文。
• 本文做法： 提出 ICON（Inference-Time Correction）：用潜空间痕迹探测攻击，再用注意力转向把轨迹拉回原任务，而不是中止执行。
• 威胁模型：
  • 受害系统： 工具增强智能体 M，工具集 F。轨迹为 St = (Iu, A1:t−1, O1:t−1)；动作是工具调用，观测是执行结果或检索内容。
  • 攻击者知识： grey-box。不能访问目标 LLM 的参数或架构，但可经中间服务器推断上下文。作者称这与 Zhu et al., 2025 和 Anonymous, 2025 一致。
  • 能力与目标： 只能把载荷 δ 注入观测流 Ot；可用部分任务知识让 δ 与良性内容语义一致；目标是导向未授权工具调用 fadv，并保持隐蔽的潜在轨迹。
  • 防御者： 系统操作者，对本地 LLM 有 white-box 访问，可查看并干预隐状态与注意力。目标是检测 St ⊕ δ 中的 IPI 痕迹，并在推理时减轻影响。

间接提示注入攻击

• Greshake et al., 2023、Wu et al.、Zhan et al., 2025b：把恶意载荷放进外部来源，劫持智能体的工具使用。论文据此把 IPI 与用户直接绕过内部护栏的直接提示注入分开。
• Willison, 2022、Perez et al., 2024、Zhan et al., 2024：用模板式提示让 LLM 执行对手指令。引言还引 Zhan et al., 2024、Liu et al., 2025、Zhan et al., 2025a，称自适应 IPI 与良性任务上下文越来越难区分。
• Liu et al., 2025、Anonymous, 2025、Zhang et al., 2024：用强 LLM 或梯度生成通用攻击提示。作者称自适应攻击能动态绕过对普通攻击仍有效的静态护栏。

提示注入防御

• Willison, 2022 与 San, 2023：用分隔符隔离不可信内容，或在每轮重述系统指令。
• ProtectAI 的 Deberta 检测器（2023）、MELON（Zhu et al., 2025）、基于困惑度的检测（Jain et al., 2023）：在输入阶段拦截。作者称它们是 post-filter，常在效用与安全之间取舍，并带来延迟。
• Llama-Guard（Llama Team, 2024）、Qwen-Guard（Zhao et al., 2025）：微调安全护栏。作者称它们需要大规模高质量安全数据，对许多智能体应用计算开销过高。

推理时探测与转向

• Zhang et al.、Todd et al.，以及 induction heads（Crosbie & Shutova, 2025）、successor heads（Gould et al.）：不同注意力头承担不同功能。
• Hung et al., 2025 的 Attention Tracker、Xia et al., 2025：用内部激活做诊断分类。Chuang et al., 2024 的 Lookback Lens 被归入可解释性驱动方法；潜空间操作被写成不改参数、在推理时动隐状态或注意力。
• LM-Steer（Han et al., 2024）：用转向矩阵线性变换冻结模型的输出嵌入，调节生成属性，无需额外训练。论文未把它列为实验基线。

基线与基准： 实验对照为 Repeat Prompt（Debenedetti et al., 2024）、Delimiting（Willison, 2023）、MELON，以及文本侧的 Qwen3Guard（Table 2 的 LLM-Detector）和多模态侧的 Gemini（Table 5 的 LLM-Detector）。评测用 InjectAgent、AgentDojo；训练用 TrojanTools；视觉任务用 Visual Prompt Injection Benchmarks（Wan et al., 2024）。

作者把 ICON 放在上述工作之后：静态提示和外部检测难兼顾效用与安全，微调护栏数据与计算成本高；ICON 要在安全、效率与效用之间取得作者所称的更好平衡。

ICON 分两段：离线合成贴近良性边界的自适应 IPI，供探针训练和整流器标定；在线由 Latent Space Trace Prober（LSTP）检测过聚焦，检出后由 Mitigating Rectifier（MR）转向注意力，不更新模型权重。

问题设定与目标

• 形式化来自 Yao et al., 2022 与 Zhu et al., 2025。用户指令为 Iu，时刻 t 的轨迹为 St = (Iu, A1:t−1, O1:t−1)。
• 攻击者要找上下文相关的 δ，使受损轨迹与良性轨迹的差异 D 最小，同时 M(St ⊕ δ) = fadv。D 由文中的 LLM-as-Optimizer 分析隐蔽性。
• 防御者同时压低检测损失、提高整流后正确任务输出的对数概率。论文写成 min_ϕ,γℒ(h_ϕ,y)−log P_M(y∣ R(S_t⊕δ;γ;τ))，即对探针参数 ϕ 与转向强度优化；τ 出现在整流算子 R 中，但不在该式的最小化下标里。
• 干预发生在处理受损观测、生成下一步动作 At 时的各层表示，不改模型权重。

离线边界样本

• 合成模块要生成满足上述攻击者目标的边界样本。作者称目的不是研究攻击本身，而是划出自适应与良性的边界。
• Contextual Tool Alignment： 优化器从 F 中选与当前轨迹最说得通的恶意工具 fadv，以免逻辑不一致触发表层语义过滤。
• Iterative Stealthiness Optimization： 从随机初始化出发，按智能体先前成功或失败的反馈改写 δ，在仍满足成功约束时减小 D。
• 作者称由此让 LSTP 和 MR 学习过聚焦信号，而不是记住关键词。论文未给出优化器 LLM 的名称、迭代次数或载荷模板。

探测：FIS 与 LSTP

• Focus Intensity Score（FIS） 统计整段生成序列 Y 对上下文 St 的依赖。作者把它和只看输入末 token 或生成起始 token 的做法（Hung et al., 2025）分开。
• 对第 l 层第 h 头、生成位置 i，先算长度归一化的 token 熵；头分数是 1 减去全序列平均熵，层分数是各头平均。ε 只被写成数值稳定项，论文未给实验取值。
• 作者认为低熵头更容易抓住任务关键模式，也更容易在 IPI 中被利用。FIS 既给 LSTP 选层，也给 MR 选头。
• LSTP 把每个头的熵序列压成三维：最小熵、平均熵、标准差。按层 FIS 选 K 个敏感层后拼接。论文举例 H=32、K=4 时特征为 384 维，未写实验是否采用。分类器是 1D-CNN 加 MLP，再用 Adaptive Global Maximum Pooling，使检测不依赖回复长度。

缓解：Mitigating Rectifier

• 作者认为拒绝向量（Arditi et al., 2024；Wu et al., 2025）常提前终止执行循环。MR 改为抑制异常 query-key 依赖，并借 softmax 重分配把权重推向掩码为 0 的位置。
• 范围 τ： 对 FIS 标出的异常头，阈值取该头注意力权重的第 (1−τ) 百分位；不低于阈值的位置进入掩码。
• 强度 γ： 在 softmax 之前做 \tilde{A}_{l,h}=A_{l,h}\odot[1+M_{l,h}\cdot(\gamma-1)]。论文写 γ<1 时为抑制系数。论文未报告实验用的 γ、τ 或异常头数量。

实验设置

• 被测骨干： 文本为 Qwen-3-8B、Llama-3.1-8B、Mistral-8B；多模态为 Qwen3VL、InternVL、MiniCPM。全部接入 ReAct。正文把视觉模型写作 Qwen-VL、InternVL、MiniCPM。
• 数据： 评测 InjectAgent、AgentDojo；训练用 TrojanTools，Table 2 也把它列为攻击设置。视觉任务用 Wan et al., 2024 的 Visual Prompt Injection Benchmarks。论文未报告各集样本量。
• 攻击设置： Table 2 为 Ignore Instruction、Combined Attacks、TrojanTools。论文未在实验节展开三者的构造。
• 基线： Repeat Prompt、Delimiting、MELON；文本 LLM-Detector 为 Qwen3Guard；多模态 LLM-Detector 为 Gemini。作者称 Gemini 用来给出性能上界。
• 指标： ASR 越低对防御越有利，UA 越高对防御越有利。Table 3 另报 ADR、URR，标准差来自 5 次交叉验证。表中有 BU，论文未定义。论文未写 ASR、UA 的判定规则、评审模型，也未写 Table 2、Table 5 的重复次数。
• 训练规模： Table 4 中 ICON 为不到 2 分钟、255 条、31553 个参数。引言另称数百条样本、一分钟收敛；5.2.1 称约 31k 参数。

主结果

下表为 Table 2 的 Avg 行，单位为 %。LLM-Detector 即 Qwen3Guard。

表格较宽，可左右滑动

模型	无防御 ASR/UA	Repeat Prompt ASR/UA	LLM-Detector ASR/UA	ICON ASR/UA
Qwen-3-8B	32.7 / 43.1	16.8 / 51.0	0.2 / 43.2	0.4 / 53.8
Llama-3.1-8B	35.7 / 20.7	21.3 / 28.1	0.0 / 20.9	0.3 / 29.7
Mistral-8B	30.9 / 10.7	17.8 / 15.2	0.0 / 10.7	0.3 / 15.9

• 作者称 ICON 平均 ASR 为 0.4%，与 LLM-Detector 的 0.2% 相当，并称这来自轻量探针而非外置护栏。这两数字与 Qwen-3-8B 的 Avg 行一致；另两款骨干的 ICON 平均 ASR 为 0.3%，LLM-Detector 为 0.0%。摘要也写 competitive 0.4% ASR。
• 作者称相对其他防御平均有 10% 的 UA 提升，且 Qwen-3-8B 的 UA 为 53.8%，次优防御低于 49%。Table 2 中该模型 Repeat Prompt 的平均 UA 为 51.0%。另有两格 Repeat Prompt 的 UA 高于 ICON：Qwen Combined Attacks 为 53.1% 对 52.7%，Mistral Ignore Instruction 为 17.8% 对 17.6%。
• 作者称相对 MELON 再降 3% ASR 并提高 10% UA，因为 MELON 触发后不能重跑推理；又认为模板方法对 Ignore Instruction 有一些效果，但对 TrojanTools 较弱，并在 Llama、Mistral 上略提高 UA，可能是因为结构化提示帮助这些模型解析意图。TrojanTools 上 ICON 的 ASR 高于 LLM-Detector：1.2% 对 0.6%、0.8% 对 0.0%、0.9% 对 0.0%。MELON 的 Avg 为 Qwen 3.2/43.7、Llama 1.6/20.9、Mistral 1.1/11.0；论文未写明 3% 与 10% 对应哪一模型。

OOD 迁移

• 探针只在 TrojanTools 上训练，再测 InjectAgent 与 AgentDojo。Table 3 给 ADR、URR 及 5 次交叉验证的标准差；Mistral-8B 未列入。无防御列均为 0%。
• Qwen-3-8B：InjectAgent 上 ADR 80.1%±1.9、URR 62.3%±2.3；AgentDojo 上 98.0%±1.2、69.6%±2.7。Llama-3.1-8B：85.4%±1.3、47.6%±3.1，以及 97.3%±1.8、55.9%±3.3。
• 作者称 AgentDojo 检测率超过 97%、InjecAgent 超过 80%，且两种骨干的效用恢复率都超过 60%。后一句与 Llama 的两格 URR 不一致。作者称这是 zero-shot 迁移，探针抓的是潜在痕迹而非训练语义。引言称在 AgentDojo 上 ASR 低于 Qwen3Guard，并给出 69% average Utility improvement；Table 3 无 Qwen3Guard 列，论文未说明 69% 是否指 69.6%±2.7。

多模态

格内为 ASR / UA（%），据 Table 5。表头箭头写成 ASR↑、UA↓，与 Section 5.2 的方向相反。BU 为 Qwen3VL 70.5、InternVL 64.5、MiniCPM 72.0、平均 69.0，论文未定义。

表格较宽，可左右滑动

模型	无防御	Repeat Prompt	Gemini	ICON
Qwen3VL	69.9 / 21.3	47.8 / 46.5	0.0 / 21.9	3.8 / 44.9
InternVL	47.4 / 33.9	41.6 / 26.5	0.0 / 34.1	2.6 / 47.8
MiniCPM	59.7 / 29.0	59.6 / 22.0	0.0 / 30.3	2.4 / 48.8
Avg	59.0 / 28.1	49.7 / 31.7	0.0 / 28.8	2.9 / 47.2

• 作者称 ICON 平均 ASR 2.9%，相对 Repeat Prompt 的 49.7% 下降很多；Gemini 的 ASR 为 0，平均 UA 为 28.8%，ICON 为 47.2%，作者称相对 Gemini 有近 20% 的绝对提升。
• Qwen3VL 上 Repeat Prompt 的 UA 为 46.5%，高于 ICON 的 44.9%。InternVL 上 Repeat Prompt 的 UA 为 26.5%，低于无防御的 33.9%。
• 引言称多模态达到 42% average Utility recovery。Table 5 无该列。

效率与注意力图

• Table 4：Qwen3Guard 为超过 10 小时、1.19M、8B；ICON 为不到 2 分钟、255、31553；MELON 与 Repeat Prompt 的训练成本、数据量、参数量均为 0。作者称 ICON 接近启发式方法的训练开销，同时具有学到的潜在痕迹检测。论文未报告推理耗时。
• Figure 3 的图中文字为 Layer 22、23、24 的 Head 21，横轴 Key Position、纵轴 Query Position，刻度至 350，色标约 0 到 0.015。正文写的是 Qwen-3-8B 的 head 21、layer 22-25。
• 作者称攻击侧在约位置 100 和 300 出现注意力坍缩，对应恶意载荷；MR 之后异常峰被抑制，注意力分散到更广轨迹。转写文本看不到热点位置，只能记录作者描述与图中文字。

其他消融与分析

• 论文未报告 γ、τ、选层数 K、异常头数量、学习率或训练轮数的消融。
• Figure 1 坐标轴为 ASR（刻度 0–40）与 UA（刻度 35–55），图例含 No Defense、Repeat Prompt、Delimiting、MELON、LLM-Detector、Ours；正文未给各点坐标。图注称 ICON 的 ASR 更低、UA 更高。
• Table 2 的 BU 为 Qwen-3-8B 69.8、Llama-3.1-8B 34.5、Mistral-8B 20.1；论文未定义，也未与 UA 做对比。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion 与 Impact Statement 都没有写出不足、未完成事项或后续实验。

实验覆盖范围

• 文本实验在 ReAct 中使用 Qwen-3-8B、Llama-3.1-8B、Mistral-8B，攻击设置为 Ignore Instruction、Combined Attacks、TrojanTools（Section 5.1、Table 2）。
• 多模态实验使用 Qwen3VL、InternVL、MiniCPM 与 Visual Prompt Injection Benchmarks；对照为 Repeat Prompt 和 Gemini（Table 5）。文本对照另有 Delimiting、MELON、Qwen3Guard（Table 2）。
• OOD 只报告 Qwen-3-8B 与 Llama-3.1-8B；训练数据为 TrojanTools，测试为 InjectAgent 与 AgentDojo，ADR、URR 附 5 次交叉验证的标准差（Table 3）。
• 效率对比包括 Qwen3Guard、MELON、Repeat Prompt 与 ICON 的训练时间、数据量和参数量（Table 4）。注意力图为 Qwen-3-8B 的 Head 21（Figure 3、Section 5.4）。
• 论文未报告各基准样本量、ASR 与 UA 的判定规则和评审模型、Table 2 与 Table 5 的重复次数、γ 与 τ 的取值，以及合成模块所用优化器 LLM 的名称。

ICON 在推理时检测 IPI 的注意力过聚焦并转向，避免以拒答中止智能体轨迹。

• 问题： 检索观测中的恶意指令可把策略导向未授权工具调用 fadv。作者认为模板与过滤易被自适应攻击绕过，微调则过拒。
• 方法： 攻击者为 grey-box，防御者对本地 LLM 为 white-box。FIS 度量注意力熵；LSTP 以最小熵、均值和标准差做检测；MR 在 softmax 前用 τ 划定掩码、用 γ 抑制异常 query-key 依赖。训练用 TrojanTools 合成样本。
• 主结果： Table 2 的三种攻击平均，ICON 在 Qwen-3-8B、Llama-3.1-8B、Mistral-8B 上的 ASR 为 0.4%、0.3%、0.3%，UA 为 53.8%、29.7%、15.9%。同表 Qwen3Guard 的 ASR 为 0.2%、0.0%、0.0%，UA 为 43.2%、20.9%、10.7%。TrojanTools 行上 ICON 的 ASR 高于该检测器。
• 迁移与多模态： 只在 TrojanTools 上训练时，Qwen-3-8B 在 AgentDojo 的 ADR 为 98.0%±1.2、URR 为 69.6%±2.7（Table 3）。三种 MLLM 上 ICON 平均 ASR 为 2.9%、UA 为 47.2%，Gemini 为 0.0% 与 28.8%（Table 5）。
• 作者结论： 作者称 ICON 更好地平衡安全、效用与效率。Table 4 中 ICON 为不到 2 分钟、255 条、31553 个参数，Qwen3Guard 为超过 10 小时、1.19M 条、8B。效用说法在摘要为 over 50% task utility gain，引言为 69% average Utility improvement 与 42% average Utility recovery，结论为 over 50% higher utility than commercial-grade baselines。