研究者提出面向邮件 Agent 的攻击链建模提示注入检测框架

核心问题是如何阻止不可信邮件诱导越权工具操作，同时避免把正常邮件误判为攻击。

• 应用场景：邮件助手将检索结果放入模型上下文，再执行邮件或日历操作。作者认为，恶意内容可能使助手偏离用户意图，发送未经授权的邮件或泄露信息。
• 现有设定：作者认为，二分类文本检测掩盖了检索、绕过防御、工具调用和参数正确性之间的区别；随机划分也可能保留场景模板，高估迁移表现。
• 威胁模型：受害系统是使用工具的邮件助手；攻击入口是被检索的不可信邮件内容，目标是诱发不安全邮件动作。论文未明确命名攻击者知识设定；另测了了解检测模型时的规避修改。
• 核心观察：作者将“看起来像攻击”和“最终执行有害动作”区分开，并关注包含可疑措辞但实际良性的困难负例。
• 提出的方案：融合文本检测、阶段验证、规则风险信号及用户意图与动作一致性分析，输出用于人工复核或执行前阻断、确认的风险分数。

论文从间接注入基准、检测模型和工具智能体防御三组工作定位自己的方法。

间接提示注入基准

• BIPIA、Tensor Trust：BIPIA 覆盖邮件问答等外部内容场景，并提出边界感知与显式提醒防御；Tensor Trust 从在线游戏收集人类攻击与防御，研究提示词提取和劫持。
• NVIDIA Agentic IPI、LLMail-Inject：前者提供工具输出中的合成间接注入场景；后者提供邮件助手挑战中的自适应提交及目标标志，是论文攻击链标签的来源。

提示注入检测与误报

• Ji 等（2026）：将预训练 DeBERTa-v3-base 的语义嵌入与手工启发式特征拼接，再通过神经分类器判断注入。
• InjecGuard、NotInject：研究良性输入含可疑词时的过度防御；通过围绕触发词构造良性样本训练检测器。作者称，这启发了本文的困难负例评测协议。
• 基线方法与数据：本文运行 ProtectAI DeBERTa v1/v2、deepset DeBERTa injection、TestSavant tiny、Arkaean DistilBERT，并与框架在相同的 LLMail、BIPIA、NotInject、NVIDIA Agentic IPI、PromptShield、ShieldLM、Neuralchemy 测试数据上比较。

工具智能体评测与结构防御

• AgentDojo、InjecAgent：前者评测工具智能体任务中的注入攻防；后者覆盖直接伤害用户和窃取隐私的攻击。
• StruQ、CaMeL：论文将它们概括为强调指令与数据分离、控制流追踪的结构防御；作者称，这启发了用户意图一致性和动作风险检查。

作者将自己的区别定位为：预测攻击链多个阶段，并检查不可信内容请求的动作是否超出用户请求，而不只输出恶意文本标签。

攻击链检测框架将邮件输入转为多组风险信号，再由逻辑回归元分类器融合为一个分数。防御决策定位于可能不安全的邮件工具动作执行之前，但实验是离线评测。

攻击链标签

• 六个标签：从 LLMail-Inject 的目标字段解析邮件被检索、防御被绕过、工具被调用、目标地址正确、内容正确、完整成功。
• 条件阶段建模：只在前置阶段已经发生的样本中预测下一阶段，例如在已调用工具的样本中预测地址或内容正确性。
• 二分类代理标签：跨数据集实验另使用 LLMail 的攻击／良性代理标签；它与完整成功标签不是同一预测目标。

文本检测与阶段验证

• 文本基线：使用 TF-IDF 词一元、二元组及 SGD 训练的线性逻辑分类器；最多 30,000 个特征，min_df=3、max_df=0.98，采用 L2、alpha=1e-5 和平衡类别权重。
• 框架文本通道：使用词级和字符级 TF-IDF，训练数据包括 LLMail、BIPIA、NotInject。论文未给出字符 n-gram 的完整设置。
• 阶段通道：验证器预测防御绕过、工具调用、地址正确性和内容正确性；NotInject 作为负阶段样本。完整成功验证器在不同变体中保留、降权或排除。

规则与动作一致性

• 显式风险信号：检查指令覆盖、工具动作语言和混淆，并使用长度、标点等手工特征。
• 上下文关系：比较用户请求与检索内容，识别发送邮件请求、新收件人、目标地址提及、边界控制标记，以及用户未请求而不可信内容要求的工具动作。
• 融合策略：逻辑回归堆叠策略在留出的验证分数上训练。Figure 1 图注描述了这些通道进入元策略、再选择复核或严格决策的流程。

两种决策阈值

• 复核策略：以验证集 F1 最大化选择阈值，用于筛查后复核；最终采用不含完整成功验证器的选择性阶段配置。
• 严格策略：通过 NotInject 验证集设置低误报阈值，用于执行前阻断或确认；最终采用全部阶段加动作／上下文配置。
• 困难负例轮换：NotInject 分成三组，轮流用于训练、阈值设置和测试。论文未给出框架严格策略统一的数值阈值或完整低误报预算。

证据包括离线阶段预测、跨数据集检测、组件消融和规避修改测试；不同数据集上的结果差异较大。

实验设置

• 被测方法：框架的文本／规则、全部阶段、选择性阶段、动作／上下文及组合变体；另比较非线性堆叠器。
• 模型基线：ProtectAI DeBERTa v1/v2、deepset DeBERTa injection、TestSavant tiny、Arkaean DistilBERT 均冻结评测；另有 Complement Naive Bayes 和零样本 gpt-4.1-mini。
• 数据规模：LLMail Phase 1/2 为 370,724/90,916 行；BIPIA generated binary 为 176,200 行；NotInject 为 339 行，全部良性（Table I、II）。
• 其他数据：NVIDIA Agentic IPI 为 1,272 行，全部攻击；PromptShield、ShieldLM、Neuralchemy 分别为 43,425、54,162、6,274 行（Table II）。
• 指标与标签：报告 F1、precision、recall、ROC-AUC、FPR；阶段标签来自 LLMail 目标字段。gpt-4.1-mini 输出攻击概率及理由，默认阈值为 0.50，另用 NotInject 设置严格阈值。
• 划分与重复：包括分层随机划分、Phase 1→2、条件阶段和跨数据集迁移。Table VI 为三次 NotInject 轮换的均值与标准差；固定首轮另报告五个随机种子。

主结果

据 Table VII，相同测试样本和三次 NotInject 轮换下的严格策略比较如下。平均 F1 汇总五个二分类基准；NVIDIA 为攻击召回，NotInject 为良性误报。

表格较宽，可左右滑动

方法	平均 F1	NotInject FP/339（FPR）	NVIDIA召回	BIPIA F1
ProtectAI v2	0.216	13（3.83%）	0.00%	0.000
TestSavant tiny	0.130	8（2.36%）	0.00%	0.000
ProtectAI v1	0.114	3（0.88%）	0.00%	0.000
Arkaean DistilBERT	0.094	5（1.47%）	0.00%	0.000
deepset DeBERTa	0.014	6（1.77%）	0.00%	0.013
框架：全部阶段＋动作/上下文	0.406	7（2.06%）	2.33%	0.732

• 比较范围：作者报告框架的平均 F1 和 BIPIA F1 高于五个冻结检测器；部分基线的良性误报更少。此表没有列出五个基准各自的全部结果。
• 策略权衡：复核策略采用另一配置，其 NVIDIA 召回为 100.00%，NotInject FPR 为 27.73%（Table VIII）；不能将其召回与严格策略的误报组合描述。

阶段迁移与攻击链分布

• 随机与迁移：完整成功预测 F1 从随机划分的 0.167 变为 Phase 1→2 的 0.000；使用 Phase 2 oracle 阈值为 0.024。工具调用 F1 为 0.527→0.077（Table III）。
• 条件阶段：Phase 1→2 中，已调用工具后的地址、内容正确性 F1 为 0.939、0.814；绕过→工具调用为 0.053，随机划分为 0.394（Table IV）。作者认为，早期检测应与后期参数验证分开。
• 图中文字：Figure 2 标注纵轴为提交占比，检索后阻断为 49.7%、绕过但未调用工具为 46.8%、完整成功为 0.7%。这些是结果分布，不是框架防御效果；纯文本无法核查图形位置。

困难负例与零样本裁判

• 加入良性训练：LLMail+BIPIA 训练在 NotInject 上的 FPR 为 65.2%；加入 NotInject 后为 0.6%，BIPIA F1 从 0.770 变为 0.730（Table V）。
• 首轮对照：严格的选择性阶段＋动作/上下文配置，加入 NotInject 训练时平均 F1 为 0.451、误报 0/113；不加入时为 0.038、误报 6/113（5.31%）（VI-B）。
• LLM 裁判：严格 gpt-4.1-mini 的 NVIDIA 召回为 75.16%、BIPIA F1 为 0.625、LLMail F1 为 0.891；严格框架分别为 2.33%、0.732、0.665（Table VIII）。作者报告裁判的平均 F1 更高，但未列具体均值。

规避修改与错误分析

• 填充测试：作者报告随机良性邮件填充未降低召回，低风险邮件填充影响较小；了解模型后选择能降低分数的词进行填充可使线性检测器漏检。VI-F 未报告这些测试的具体召回数字。
• 措辞替换：移除直接匹配目标地址和消息正文的特征，再替换基准特有字符串；500 个攻击上，选择性阶段＋动作/上下文召回为 0.928→0.916，文本／规则为 0.824→0.554（VI-F）。该段未说明决策策略。
• 人工错误归类：作者将 Phase 2 完整成功预测错误归为高风险但未完整成功、遗漏对话边界攻击等；NotInject 误报包括良性技术指令、安全讨论和角色扮演。VII 未报告样本分母、标注人数或一致性。

其他消融与分析

• 严格策略阶段通道：文本／规则平均 F1 为 0.281±0.149，全部阶段为 0.348±0.096（Table VI）。
• 严格策略动作通道：动作/上下文为 0.386±0.024，选择性阶段组合为 0.400±0.057，全部阶段组合为 0.406±0.057（Table VI）。
• 非线性堆叠器：严格平均 F1 为 0.347±0.034，NVIDIA 召回为 21.72%，BIPIA F1 为 0.785（Table VI）。
• 五种子检查：固定首轮的严格选择性阶段＋动作/上下文平均 F1 为 0.411±0.067（VI-C）。
• 阈值调整：将 NotInject FPR 调至约 5% 时，LLMail 检测器在 BIPIA 攻击上的召回为 36.9%（VI-B）。

作者明确提出的后续方向集中在实际流水线评测和数据扩展。

作者指出的局限与后续方向

• 实际系统评测：作者提出未来可在实际邮件智能体流水线中评测框架（IX Conclusion）。
• 困难负例扩展：作者提出扩大良性困难负例的规模和多样性（IX Conclusion）。
• 结果字段采集：作者提出未来数据采集应优先记录明确的工具动作、收件人和内容结果（VIII Discussion）。
• 局限章节：论文未专门设置局限讨论章节。

实验覆盖范围

• 离线预测对象：阶段预测使用 LLMail 两阶段提交及其目标标志；二分类比较使用五个二分类基准，并另测 NotInject 误报和 NVIDIA 攻击召回（IV、VI）。
• 对照范围：运行五个冻结文本检测器及零样本 gpt-4.1-mini；框架使用任务数据训练，对照检测器不追加训练（V、VI-D/E）。
• 重复设置：主消融使用三次 NotInject 轮换；五种子结果针对固定首轮的选择性阶段＋动作/上下文配置（VI-C）。
• 规避评测：测试良性填充、利用模型系数选择填充词，以及基准特有字符串替换；论文未报告重新部署后的端到端邮件动作阻止率（VI-F、IX）。
• 证据细节：论文未报告推理耗时、人工错误标注一致性或误拒对任务完成的影响；LLMail 二分类代理的良性测试部分仅含 203 封邮件（VI-B、VII）。

这是一项邮件智能体提示注入防御的离线建模与评测研究：作者把攻击文本是否恶意、攻击是否推进到工具操作、最终参数是否达标分开处理。

• 方法定位：从 LLMail-Inject 提取六个攻击链标签，用文本分类器、阶段验证器、规则和用户请求—动作一致性信号形成风险分数，再设置复核与严格两种策略。
• 主要比较：相同数据和严格阈值协议下，全部阶段＋动作/上下文框架在五个二分类基准上的平均 F1 为 0.406；五个冻结检测器中最高为 ProtectAI v2 的 0.216（Table VII）。
• 迁移结果：LLMail 完整成功预测的随机 F1 为 0.167，Phase 1→2 为 0.000；条件工具调用→地址正确性在阶段迁移中为 0.939（Table III、IV）。作者认为，阶段预测难度不同，随机划分可能高估迁移表现。
• 良性训练：首轮严格选择性阶段＋动作/上下文配置加入 NotInject 训练时，平均 F1 为 0.451、误报 0/113；不加入为 0.038、误报 6/113（VI-B）。
• 结果例外：严格框架在 BIPIA 上 F1 为 0.732，但 NVIDIA 召回为 2.33%；严格 gpt-4.1-mini 在 NVIDIA 上为 75.16%，作者报告其平均 F1 更高（Table VIII）。

作者主张将早期不可信指令检测与后期工具参数验证结合，并用良性困难负例训练和评测。实际邮件流水线中的效果，以及更大、更多样的困难负例，是作者提出的后续方向。