AI Agent 威胁检测中跨攻击泛化的结构化表示

跨攻击泛化：在已知攻击族上训练的检测器，能否认出训练时整族未见的攻击。

• 场景：自主 AI 智能体已用于退款、账户、合同抽取、改代码和查询生产数据库，并拥有执行权限。作者认为语义攻击出现在多步工具轨迹中，句法可以完全合法，检测要看行为上下文。
• 现有做法：作者称现有防御针对训练时见过的特定模式，侧重输入清洗和提示加固。若只在 prompt injection 上训练的检测器认不出 tool hijacking，作者认为其实用性会受到限制。
• 观察与假设：§1.3 写 conversational tokenization 在 social engineering 上 AUC 0.78、prompt injection 上 0.69，在 tool hijacking 上 0.39、data exfiltration 上 0.46，unknown 上 0.26。作者假设结构攻击取决于工具如何编排，恶意序列也可以使用完全良性的语言。
• 本文做法：提出 structural tokenization、五族攻击分类，以及 gated multi-view fusion。作者称第二项是对 cross-attack transfer 的首次系统研究。
• 威胁模型：
  • 受害系统：执行多步工具序列、拥有执行权限的自主 AI agent。检测输入是轨迹 τ=(M, T, R)，含消息、工具调用与最终回复。
  • 攻击目标：论文按族写为覆盖用户意图、把操作重定向到攻击者控制的端点、经看似良性的工具序列窃取信息，或靠说服操纵。检测任务是良性/攻击二分类。
  • 知识：论文未把检测器侧写成 white-box、black-box 或 gray-box。对自适应逃避的评测被放在后续工作。
  • 能力：作者称攻击者可以任意改写说法，但不能隐藏由此产生的执行轨迹。附录 F 另写，动机充足的对手可能拆分工具调用、填充良性操作或模仿常见良性执行流。

论文在引言和 Related Work 里把相关工作分成四组，只在点名处写区别。

智能体语义攻击

• 间接提示注入与越狱：Greshake 等（2023）、Liu 等（2023）与 InjecAgent（Zhan 等，2024）讨论外部数据中的恶意指令；Wei 等（2023）、Zou 等（2023）讨论越狱和可迁移对抗攻击。论文未逐篇批评这些攻击工作。
• 危害基准与工具操纵：AgentHarm（Andriushchenko 等，2024）被引用为衡量 LLM 智能体危害的基准；工具操纵引用 Shayegani 等（2023）。论文未在这些基准上报告自己的数字。
• 先前防御：作者称先前防御侧重输入清洗和提示加固，而不是跨攻击泛化。引言另把缓冲区溢出、SQL 注入和 XSS 写成靠违反句法约束、可用模式匹配发现的传统攻击。

行为序列异常检测

• 系统日志：DeepLog（Du 等，2017）从系统日志做异常检测与诊断；Brown 等（2018）用带注意力的 RNN 做可解释日志异常检测。
• 网络入侵：Kitsune（Mirsky 等，2018）用自编码器集成做在线网络入侵检测。论文此处只描述这些工作，未写它们相对本文的不足。

多视图学习

• 多视图综述：Baltrušaitis 等（2018）、Ngiam 等（2011）、Xu 等（2013）讨论多模态与多视图学习。
• 混合专家：Jacobs 等（1991）的自适应局部专家混合，以及 Shazeer 等（2017）的稀疏门控 mixture-of-experts。作者称门控融合建立在这一原则上，用来按输入加权对话视图与结构视图。

分布偏移与联邦安全

• 分布偏移：Hendrycks 与 Dietterich（2019）、WILDS（Koh 等，2021）、Shen 等（2021）、Yang 等（2021）。作者称自己的留出协议用来测量对未见攻击族的泛化。
• 联邦检测：Ferrag 等（2021）的物联网联邦入侵检测、FedMal（Li 等，2021），以及 Jayathilaka（2025）的联邦提示注入检测。
• 非 IID：Zhao 等（2018）、Li 等（2020）。作者在本节写：表示选择支配聚合方法。

基线方法是 conversational tokenization（26-token 词表）。作者自用的数据是模拟 5 组织、2500 条轨迹，不是上述外部基准的复现。

作者把序列异常检测的思路延伸到智能体执行流，认为语言特征抓的是说服话术、会错过执行层威胁；多样攻击再用门控组合两种表示。

检测器不读对话措辞，而把轨迹压成执行流 token。主方案是 structural tokenization；多种攻击并存时再用 gated multi-view fusion。

问题设定与评测协议

• 轨迹：τ=(M, T, R)。M 是用户与助手消息，T={(ti, argsi, obsi)} 是工具调用，R 是最终回复。任务是良性对攻击的二分类。
• 留出协议：攻击族集合为 A={a1, …, am}。留出 aj 时，用除 aj 以外的全部数据训练，只在 aj 上评测。作者用这一定义衡量对未见攻击类型的泛化。
• 五族：prompt injection（语言操纵）、tool hijacking（未授权重定向）、data exfiltration（信息窃取）、social engineering（基于说服）、unknown（新颖或未分类）。

对话 tokenization（基线）

• 词表：26 个 token，用关键词匹配和模式规则。Tool Types 8 个（文中例子有 SEND EMAIL、MAKE PAYMENT、READ FILE、EXECUTE CODE）；Argument Patterns 6 个（如 EXTERNAL RECIPIENT、HIGH VALUE、SENSITIVE FIELD）；Attack Indicators 6 个（如 INJECTION PHRASE、OVERRIDE ATTEMPT、EVASION）；Response Types 3 个（REFUSAL、COMPLIANT、CLARIFY）；Control Flow 3 个（LOOP、BRANCH、RECURSION）。
• 作者的定位：该表示捕捉“说了什么”；执行结构只通过工具类型 token 间接出现。

结构 tokenization

• 词表：9 个 token。[SYS] 有系统指令，[USER] 用户消息，[ASSISTANT] 助手回复，[TOOL] 出现工具调用，[ARGS] 传入参数，[OBS] 返回观测，[OUTPUT] 给用户的最终回复，[ERROR] 错误或异常，[OTHER] 兜底。
• 例子：用户要文件、智能体调用 read file、收到数据并回复，序列为 [USER] [ASSISTANT] [TOOL] [ARGS] [OBS] [OUTPUT]。作者称语言内容被抽掉，只留执行形状；改写不能隐藏执行流。
• 算法：附录 Algorithm 1 按轮次追加角色 token；助手轮若含工具调用再追加 [TOOL] 与 [ARGS]；观测轮追加 [OBS]；结束后追加 [OUTPUT]，再 PAD 到 Lmax。论文未给出 Lmax。词表里的 [ERROR]、[OTHER] 在该伪代码中没有对应分支。

门控多视图融合

两路 BiLSTM 得到 hconv 与 hstruct。门控与融合为

g = σ(W_g [h_conv; h_struct] + b_g)

h_{fused} = g \odot h_{conv} + (1-g) \odot h_{struct}

g 按输入特性加权两个视图。作者称没有一种表示对所有攻击族都最优。论文未报告 g 的取值。

架构与训练

• 共享骨干：64 维嵌入、双向 LSTM（hidden=64，拼接后 128 维）、投影到 32 维、分类器 32→64→1，sigmoid 输出。单视图 74K 参数，多视图 140K。门控模型用并行编码器和逐元素门控。
• 优化：K=5 的 FedAvg，5 轮，每轮 5 个本地 epoch，Adam（η=0.001），batch size 32，BCE。可选 DP-SGD，正文给出的 ε 区间为 [2.35, 5.69]。

实验设置

• 数据：模拟 5 组织联邦，共 2500 条轨迹，每组织 500 条，良性与恶意各 50%，5 个攻击族。组织间 non-IID；附录 A 写 Org-1 以 prompt injection 为主，Org-2 以 tool hijacking 为主，其余组织未逐一点名。轨迹程序生成，使用占位内容，并写为镜像已记录攻击。论文未写生成所用的 LLM。
• 检测器：conversational tokenization（基线，26 token）、structural tokenization（9 token）、gated multi-view fusion。骨干见第 3 问；无另外被评测的命名 LLM。
• 训练：K=5，FedAvg，5 轮 × 每轮 5 个本地 epoch，Adam（η=0.001，附录 A 写 β1=0.9、β2=0.999），batch size 32，BCE。硬件为 Apple M2 Pro、16GB，无 GPU，每种配置少于 5 分钟，实现用 PyTorch。
• 协议与指标：留出整族 aj，在其余数据上训练，只在 aj 上评测；另报 IID（seen attacks）。指标为 ROC-AUC。论文未报告决策阈值、随机种子或重复次数，也未写留出集中阴性样本如何构成。
• 判定：无 LLM 裁判，无人工一致性。标签来自程序生成的良性/恶意划分。
• 隐私选项：梯度裁剪 C=1.0，噪声倍数 σ∈[0.6, 1.1]，δ=10^{-5}，ε∈[2.35, 5.69]。正文只报告 ε=2.35 的 OOD AUC。附录 A 还写使用了 secure aggregation。

主结果

据 Table 1（ROC-AUC；留出行是整族留出）：

表格较宽，可左右滑动

设置	Conv	Struct	Gated
Social engineering（留出）	0.78	0.67	0.89
Prompt injection（留出）	0.69	0.81	0.83
Data exfiltration（留出）	0.46	0.85	0.62
Tool hijacking（留出）	0.39	0.85	0.60
Unknown（留出）	0.26	0.97	0.92
IID（seen attacks）	0.87	0.93	0.89

• 作者的分行标记：Table 1 用粗体标每行最高值：social engineering 与 prompt injection 为 Gated，其余四行为 Struct。作者称对话表示能捕捉说服类信号，但在结构攻击和 unknown 上失败，并称 unknown 差于随机。
• 增益方向：作者称结构表示同时提高未见攻击与 IID。Table 2 中 Struct 相对 Conv 的差，只在 social engineering 上为 −0.11，其余五行为正。
• 摘要与表：摘要称门控在 social engineering 上达到 AUC 0.89，且不牺牲结构攻击检测。Table 1 把 data exfiltration 与 tool hijacking 的最高值标在 Struct 列；§5 写门控低于仅结构模型。

效应量与表示依赖

• Table 2：Struct 减 Conv 为 Unknown +0.71、tool hijacking +0.46、data exfiltration +0.39、prompt injection +0.12、IID +0.06、social engineering −0.11。表题称 hard OOD cases 上提高 39–71 points，回落只在 social engineering。摘要与结论写 +46、+39、+71、+6 AUC points，以及未见攻击族 39–71 AUC points；论文未写明这些“points”与表中 +0.46 等小数的换算。
• Table 3：作者标记 social engineering 需要对话特征、不依赖结构特征；prompt injection 两者都要；data exfiltration、tool hijacking、unknown 以结构特征为主。作者称 5 族里 4 族由结构特征主导，只有 social engineering 需要对话特征。

联邦聚合、隐私与失败案例

• 聚合：作者称 Local、FedAvg 与 ensemble 结果相同，落在 ±0.02 AUC 以内，并认为瓶颈是表示而不是聚合（§4.5）。论文未报告检验统计量。
• 隐私：§4.6 写 DP-SGD（ε=2.35）时 Struct 的 OOD AUC 为 0.72，无隐私约束的对话基线为 0.52，作者称强隐私下仍留有可用信号。Table 4 的 Conv OOD Average 也是 0.52；论文未写明二者是否同一统计量。
• 排序反转：附录 D 写，对话表示在 unknown 上把良性样本的平均攻击概率判为 0.97，真实攻击为 0.69，AUC 为 0.26。作者称模型学到 unfamiliar=dangerous，未知攻击同样不熟悉，因而排序反转。§5 另写成学到 familiar=safe。

其他消融与分析

• 词表：结构 9 token、对话 26 token；附录 C 称驱动泛化的是抽象层级而非词表丰富度，未报告其他词表大小的 AUC。
• 附录 C 的单视图数字与 Table 1 相同：social engineering / tool hijacking 为 Conv 0.78/0.39、Struct 0.85/0.67、Gated 0.89/0.60。
• Table 4 的 OOD Average：Conv 0.52，Struct 0.83，Gated 0.77。Best 列把该行标为 Struct，把两个语言类留出行标为 Gated。
• Table 5 均值（标准差）：Conv IID 0.87（0.02），Struct IID 0.93（0.01），Struct OOD 0.83（0.02）。作者称各组织改进一致、方差低。
• 附录 F 写门控在结构攻击上为 0.60 对 0.85，该句未点名攻击族。Table 1 中这对数字对应 tool hijacking；data exfiltration 一行是 0.62 对 0.85。
• 负面结果即 social engineering 上 Struct 低于 Conv，以及工具类留出上门控低于 Struct；作者把前者归因于信号在对话风格而不在工具编排。

作者指出的局限与后续方向

• 合成轨迹：评测使用合成轨迹，真实世界验证很关键（§5）。附录 F 写轨迹为程序生成，可能未捕捉真实攻击者的创造力或生产噪声，并称通过行业合作做真实世界验证很关键。
• 规则分词器：作者称规则分词器故意做简单，以把结构抽象和分词器复杂度分开，但可能被逃避：拆分工具调用、加噪声，或把恶意轨迹做成良性模式（§5）。对自适应对手的评测是关键后续工作（§5、附录 F、§6）。
• 攻击族覆盖：五族分类需要扩展（§5）。附录 F 写 multi-agent exploits 与 memory poisoning 需要研究。
• 门控：门控在结构攻击上低于仅结构模型；作者认为需要改进的融合机制（§5）。附录 F 给出 0.60 对 0.85，并点名 attention-based routing 与 sparse expert selection。该句未点名攻击族。
• 联邦假设：附录 F 写当前假设参与方为 honest-but-curious；恶意客户端可能做 model poisoning，生产部署需要拜占庭容忍聚合或后门检测。
• 隐私预算：附录 F 写，高敏感部署可能需要更强隐私预算（ε<1）或额外防御。作者还计划探索学习式 tokenization（§5、§6、附录 F）。

实验覆盖范围

• 被评测检测器为 conversational tokenization、structural tokenization、gated multi-view fusion，共 3 个，骨干均为 BiLSTM（§3.5、Table 1）。
• 数据为 2500 条程序生成轨迹，5 个组织各 500 条，良性/恶意各 50%，5 个攻击族，组织间 non-IID（§4.1、附录 A）。
• 指标为 ROC-AUC；每种设置留出一整族再只在该族上评测，并另报 IID（§3.1、Table 1）。
• 训练为 K=5 的 FedAvg（5 轮 × 每轮 5 个本地 epoch），并与 Local、ensemble 比较，作者称差异在 ±0.02 AUC 内（§3.5、§4.5）。
• 正文报告了 DP-SGD（ε=2.35）下 Struct 的 OOD AUC，以及按组织结果（§4.6、Table 5）。论文未报告重复次数或随机种子；自适应对手评测在附录 F 被列为后续工作，正文未给出该类结果。

作者做的是智能体威胁检测里的跨攻击泛化：整族攻击未在训练中出现时，检测器还能不能把轨迹判为攻击。

语义攻击被放在多步工具轨迹里，而不是单条提示词。作者认为关键信号是工具如何被编排，因此用 structural tokenization 把轨迹收成 9 个执行流 token，对照 26-token 的对话 tokenization；语言类与结构类攻击并存时，再用门控混合两路 BiLSTM 表示。数据是 5 组织、2500 条程序生成轨迹，指标是留出族上的 ROC-AUC。

• Unknown 留出时 Conv 为 0.26、Struct 为 0.97；Table 2 把这一差记为 +0.71。作者称 0.26 差于随机，附录 D 给出良性与攻击的平均攻击概率 0.97 与 0.69。
• Tool hijacking 留出时 Conv 为 0.39、Struct 为 0.85；data exfiltration 上 Struct 同为 0.85。摘要另写 +46、+39、+71、+6 AUC points，Table 2 写的是 +0.46、+0.39、+0.71、+0.06 与 social engineering 的 −0.11。
• Social engineering 上 Struct 为 0.67，低于 Conv 的 0.78；Gated 为 0.89。Gated 在 tool hijacking 上为 0.60，低于 Struct。摘要称不牺牲结构攻击检测，§5 写明门控在结构攻击上更低。
• IID 上 Struct 为 0.93、Conv 为 0.87。DP-SGD（ε=2.35）下 Struct 的 OOD AUC 为 0.72。作者称 Local、FedAvg、ensemble 落在 ±0.02 AUC 内，瓶颈是表示而不是聚合。

作者的结论是：智能体安全主要是结构问题，检测器应分析智能体做了什么，而不只是用户说了什么；social engineering 是主要威胁时再加入对话特征。作者计划发表后发布代码与合成轨迹脚本，并把学习式 tokenization 和自适应对手评测列为后续工作。