有状态在线监控捕获分布式 Agent 攻击

核心问题： 标准安全监控器仅分析单个智能体上下文，无法识别将有害任务拆分到多个用户账户和上下文的分布式攻击。

• 场景与重要性： 语言模型已能发现数千个高危软件漏洞，且智能体正被滥用于网络攻击。攻击者常将恶意任务拆分为看似良性的子任务，分散到多个账户中执行，使单个对话记录看起来无害。
• 现有方法不足： 当前标准监控器每次仅对一个智能体上下文进行评分，在架构上无法发现仅在聚合层面可见的滥用行为。
• 核心观察： 分布式攻击的子任务在嵌入空间中共享来自攻击目标的微妙特征，即使攻击者混淆每个子任务，这些模式仍可通过聚类恢复。
• 论文方案： 提出在线有状态监控器，通过实时流聚类收集跨账户的弱可疑信号，仅在罕见情况下升级至语言模型进行跨上下文 misuse 判定。
• 威胁模型：
  • 目标： 利用智能体完成有害网络安全任务。
  • 知识： 攻击者了解监控器存在，并试图通过分布式拆分逃避检测。
  • 能力： 可创建任意新账户，将子任务分发到不同智能体上下文。
  • 受害系统： 部署语言模型智能体的服务提供商及其用户。

单上下文分解攻击

• Li et al. (2024) 和 Yueh-Han et al. (2025)：在单个模型上下文内执行分解攻击，将有害任务拆分为顺序子任务。论文指出这些工作针对非智能体编码任务设计，且未跨用户账户分布。
• Glukhov et al. (2024)、Jones et al. (2025) 和 Brown et al. (2025)：在简单问答设置中分解有害任务。

多智能体系统与网络安全

• Lin et al. (2025)：提出 ARTEMIS 多智能体框架，用于完成网络安全任务。本文基于该框架构建分布式攻击，但将子任务分散到不同用户账户。
• Zhang et al. (2024, 2025)：分别提出 Cybench 和 BountyBench 网络安全基准，用于评估智能体网络能力。

安全监控与防护

• Sharma et al. (2025)、Cunningham et al. (2026) 和 Kramár et al. (2026)：训练和部署安全监控器，但论文指出这些标准监控器在架构上无法识别分布式滥用。
• Inan et al. (2023)：提出 Llama Guard，使用语言模型判断输入输出安全性。

流式聚类与检索

• Aggarwal et al. (2003)、Cao et al. (2006) 和 Hahsler and Bolaños (2016)：提出数据流聚类算法，用于在线维护紧凑聚类。本文将这些技术用于实时匹配新 transcript 到在线聚类。
• Tamkin et al. (2024)：提出 Clio，通过嵌入和聚类分析真实 AI 使用数据，但论文指出其定期重新聚类的方法对实时监控来说太慢且成本过高。

基线与基准

• 基线方法： 直接提示 gpt-5.2、基线 ARTEMIS 框架、顺序分解攻击。
• 基准/数据集： Cybench、BountyBench、SWE-bench、tau2-bench、Terminal-bench、WebLINX。

作者定位本文与相关工作的区别在于：首次实现跨用户账户的完全通用分布式智能体攻击，并提出在线有状态监控器以实时检测此类攻击。

论文提出在线有状态监控器（Online Stateful Monitor），将分布式滥用检测建模为流式聚类问题，通过维护紧凑的在线聚类来实时匹配新 transcript，并仅在罕见情况下调用语言模型进行跨上下文推理。

问题设定与形式化

• 防御方接收来自数万用户的智能体请求流，需将每个新查询和智能体动作分类为良性或有害。
• 攻击者可创建任意新账户，将有害任务拆分为看似良性的子任务分散执行。
• 标准监控器是语言模型裁判，仅使用当前智能体上下文 x_t 进行 0-1 可疑度评分。

在线聚类检索相关上下文

• 对每个新请求，首先由标准监控器提供可疑度分数，然后使用 Voyage AI 嵌入模型计算当前上下文的嵌入 e_t。
• 将 e_t 与现有聚类质心比较，找到最近质心 j^⋆ = argmax ⟨ e_t, c_j ⟩。若相似度低于阈值 τ_route，则开启新聚类；否则在线更新最近聚类质心。
• 当智能体上下文被反复分配到相同聚类时，合并这些聚类。每个聚类维护一个按可疑度排序的缓冲区，存储去重后的先前可疑上下文。

跨上下文监控与升级机制

• 跨上下文监控器在两种情况下被调用：当前请求可疑度较高但不足以直接拒绝；或聚类中累积了来自不同用户账户的跨会话证据。
• 为标记聚类，将缓冲区中最大的 k 个可疑度分数求和，若超过在保留数据上校准的阈值，则触发审查。同时要求至少有 m 个先前上下文超过特定分数。
• 算法 1 描述了完整流程：标准监控器评分 → 嵌入 → 路由到最近聚类或新建聚类 → 更新缓冲区 → 若满足升级条件则组装攻击证据并调用跨上下文监控器。

成本模型与延迟分析

• 每请求成本为 T_t = O(1) + O(dM_t + M_t log M_t) + q_t C_cc，其中 O(1) 是标准监控器成本，dM_t 是质心点积成本，M_t log M_t 是排序成本，C_cc 是跨上下文监控器成本，q_t ∈ {0,1} 指示是否发送请求。
• 仅小部分请求需要支付语言模型推理成本，大多数请求仅支付本地评分和在线路由成本。

成功判定与评测方式

• 使用拒绝策略，将 CTF 基准中的利用任务视为不允许，同时允许普通软件工程和防御性安全工作。
• 所有监控器判断使用相同的网络安全提示词和 gpt-4.1-mini-2025-04-14 模型。
• 通过模拟数据中心流量评估，将分布式攻击插入良性智能体流量中，良性轨迹采样比例为 10 倍或 100 倍。

实验设置

• 被测模型： gpt-4.1-mini-2025-04-14（标准监控器和有状态监控器均使用）。
• 攻击模型： gpt-oss-120b 作为监督者，gpt-5.2 作为子代理；GLM-5 作为强监督者基线。
• 数据集/基准： Cybench（10 个困难任务子集）、BountyBench；良性背景来自 SWE-bench、tau2-bench、Terminal-bench、WebLINX 等编码智能体和网页聊天轨迹。
• 基线： 直接提示 gpt-5.2、基线 ARTEMIS 框架、顺序分解攻击。
• 指标定义： 活动召回率（任何有害请求被拒绝即召回）、良性对话 FPR、TTD（检测到有害回合前的攻击者回合数，若首个有害回合被拒绝则 TTD 为 0，漏报活动以轨迹长度计）。
• 评审方式： 使用相同网络安全提示词的 gpt-4.1-mini-2025-04-14 进行所有监控判断。
• 样本量和重复次数： 50 个分布式攻击任务，新良性背景样本重复 5 次；红队演练产生超过 100,000 次攻击，涉及 2,985 个会话和 1,159 个用户 ID。

主结果

表格较宽，可左右滑动

条件	活动召回率	良性对话 FPR	TTD99	来源
有状态监控器（10倍背景）	81.1–87.2%	2.35–3.09%	未报告	Figure 5
标准监控器（10倍背景）	75.0%	2.72%	未报告	Figure 5
有状态监控器（100倍背景）	65.8%	1.47%	25.4	Figure 5, 6
标准监控器（100倍背景）	55%	1.47%	37.2	Figure 5, 6
有状态监控器（100倍背景，高召回）	85.0%	4.30%	25.4	Figure 6
标准监控器（100倍背景，同召回）	85.0%	9.01%	37.2	Figure 6

• 作者称有状态监控器的操作点在 Pareto 前沿上优于标准监控器。
• 在 100 倍良性背景下，有状态监控器在相同 FPR 下比标准监控器召回率高 10.8 个百分点。
• 有状态监控器将 TTD99 从 37.2 降至 25.4，且达到相同召回率所需 FPR 更低。

红队演练

• 测了什么： 六名红队成员在两个月内对监控器进行白盒测试，尝试 BountyBench 和 CyBench 中的利用任务。
• 结果： 防御捕获了 528/644（82%）的监控器上下文投毒攻击和 29/29 的顺序分解攻击。图 8 显示，随着跨会话相关活动累积，有状态监控器对分布式攻击和语义掩护越狱的标记率均上升。
• 作者解读： 自适应攻击者会跨会话重用攻击变体，因此有状态监控器对标准越狱也有效。

其他消融与分析

• 嵌入空间中的红队策略（Figure 7）： 识别出四种攻击策略：监控器上下文投毒、顺序分解、分布式智能体攻击、语义掩护越狱。
• 扩展性（Figure 9, 10）： 路由成本符合线性模型而非二次模型；峰值状态大小随峰值聚类数线性增长。
• 攻击能力（Table 1）： gpt-oss-120b 直接解决率为 0.000，但作为监督者指导 gpt-5.2 子代理时解决率达 0.367–0.400；GLM-5 监督时达 0.900–1.000。
• 延迟（Figure 4）： 有状态监控器在 99% 流量上延迟接近标准监控器，仅 P99 尾部延迟增加。
• 失败模式： 重命名文件或使用不同词汇可将攻击拆分到邻近聚类以延迟审查；模糊可疑示例可能在聚类内存中持续过久导致高误报率。

作者指出的局限与后续方向

• 良性背景流量规模： 作者称当良性背景流量变得非常大时，检测优势仍然存在但会缩小（第 4 节）。
• 自适应攻击者： 作者指出，非常努力混淆任务或使用强越狱的自适应攻击者仍可隐藏证据并部分完成任务（第 6 节）。
• 嵌入模型鲁棒性： 红队发现重命名文件或使用不同词汇可欺骗嵌入模型，将攻击拆分到邻近聚类以延迟审查（第 5 节）。
• 误报率： 模糊可疑示例可能在聚类内存中持续过久，导致高误报率（第 5 节）。
• 未解决分布式滥用： 作者明确表示有状态监控器并不能解决分布式滥用问题（第 6 节）。

实验覆盖范围

• 被测模型为 gpt-4.1-mini-2025-04-14，共 1 个。
• 攻击模型包括 gpt-oss-120b 和 GLM-5 作为监督者，gpt-5.2 作为子代理。
• 防御评测包括 10 倍和 100 倍良性背景流量两种规模。
• 每个条件重复 5 次，使用 50 个分布式攻击任务。
• 红队演练包括 6 名参与者，持续 2 个月，产生超过 100,000 次攻击。
• 论文未报告跨上下文监控器的具体延迟开销数值。

论文针对标准安全监控器无法识别跨账户分布式智能体攻击的问题，提出了在线有状态监控器。该监控器通过实时流式聚类收集跨账户的弱可疑信号，仅在证据累积到阈值时升级至语言模型进行跨上下文审查。

• 分布式攻击构建： 基于 ARTEMIS 多智能体框架，由 gpt-oss-120b 监督者将有害网络任务拆分为看似良性的子任务，分发给 gpt-5.2 子代理执行。在 Cybench 困难子集上，该攻击解决率达 36.7–40.0%，而 gpt-oss-120b 直接解决率为 0%。
• 监控器设计： 使用 Voyage AI 嵌入模型将智能体上下文嵌入并在线聚类，通过比较新请求与聚类质心来路由，仅对累积足够证据的聚类调用跨上下文监控器。
• 检测性能： 在 10 倍良性背景下，有状态监控器实现 81.1–87.2% 活动召回率，FPR 为 2.35–3.09%；在 100 倍背景下召回率为 65.8%，FPR 为 1.47%。作者称这比标准监控器早 30% 发现攻击。
• 延迟表现： 对约 99% 的用户流量，有状态监控器延迟接近标准监控器，仅 P99 尾部延迟增加。
• 红队演练： 两个月白盒测试中，防御捕获了 82% 的监控器上下文投毒攻击和全部 29 次顺序分解攻击。作者发现有状态监控器对标准越狱也有效，因为攻击者会跨账户重用攻击变体。
• 作者结论： 有状态监控器代表了一类新的安全监控器，可跨用户群体而非孤立 transcript 进行推理，但并不能完全解决分布式滥用问题。