Swarm Shepherd:保护多智能体生态系统免受持续性潜伏入侵
Swarm Shepherd: Securing Multi-Agent Ecosystems Against Persistent Latent Compromise
作者提出 Agentic Sleeper 威胁与 Swarm Shepherd 防御:在 LangGraph 等三框架上提前 3.2–3.9 个会话预警,溯源 top-1 0.69。
Agentic Sleeper:攻击者以合法 tool-class agent 进入 agentic ecosystem,先积累 routing trust 再激活,对 memory、agent logic、infrastructure 三层造成持久 compromise。
- 多智能体生态中,攻击可以合法身份潜伏、跨会话与跨层积累后才显现,逐轮防御看不到这种长期风险积累。作者将其定义为 Agentic Sleeper 威胁。
- 把防御建模为部分可观测下的推断:用类型化运行时事件图加六维隐状态,事件触发的 factored Kalman filter 做早期预警,RTS 后向平滑做入口溯源,SEIR 传播模型给出 Rc<1 的遏制目标与深度-覆盖部署规则。
- 在 LangGraph、CrewAI、AutoGen 上,预警提前 3.2–3.9 个会话(独立评分器口径 2.6),溯源 top-1 0.69、macro-F1 0.72;实测完整防御栈在 LangGraph star 上 Rc=0.81、AutoGen mesh 上 0.62,仅移除可见受损 agent 则为 2.83。
- 作者称方法依赖线性高斯近似与无法自证的良性校准数据,在 provenance 缺失、held-out 攻击族、遥测丢失、校准污染下性能可测地下降;跨模型迁移、非线性滤波与 graphon 规模部署留作后续。
- 威胁模型
- Agentic Sleeper:攻击者以合法 tool-class agent 进入 agentic ecosystem,先积累 routing trust 再激活,对 memory、agent logic、infrastructure 三层造成持久 compromise。攻击者具 gray-box 知识(host OS、部署模式、工具接口、memory stores、配置格式),无需模型权重或内部安全分类器访问权。
- 被测模型
- Claude Sonnet 4.6Claude Opus 4.6Llama-3.3-70BStepFun-3.5-Flash
- 基准
- TheAgentCompanyAgentDojoAgent Security BenchMultiAgentBench
- 指标
- warning lead (sessions)AUROCtop-1 / top-3 accuracymacro-F1R0 / RcASRevasion rateconformal coverage
论文提出系统级防御框架 Swarm Shepherd,应对作者定义为 Agentic Sleeper 的威胁:这类对手先合法行事、获取路由信任,再跨记忆、智能体逻辑与基础设施激活。方法将防御形式化为部分可观测下的推理,以推理过滤器提供早期预警,配合反向溯源模块定位入侵入口。在 LangGraph、CrewAI、AutoGen 上的实验显示,Agentic Sleeper 的漂移开始得比自然基线快 2.7–8.9 倍,在多数拓扑上跨智能体传播,对逐轮与有状态防御的规避率超过 80%;Swarm Shepherd 在可见退化前至少 3 个会话发出预警,溯源模块在 24 个变体上达到 0.69 top-1 准确率与 0.72 macro-F1。在 LangGraph 和 AutoGen 的端到端运行中,后验引导的防御栈将跨智能体传播压到自维持水平以下,仅移除明显被攻陷的智能体无法做到。
深度解读
这篇论文试图解决什么问题?
解决多智能体生态中潜伏型、跨层积累的持久 compromise 的预警、溯源与遏制问题。
核心问题:agentic ecosystem 中,compromise 可以跨会话、跨 agent、跨系统层积累,在可见失败之前逐轮防御无法发现,如何早期预警、溯源并遏制。
- 问题场景:作者称 agent 生态已成为新的平台层——agent 持有持久 memory、共享知识库、工具接口(如 MCP)和共享状态;论文以 SANDWORM_MODE 向 AI 助手配置注入恶意 MCP server 条目、LayerX 报告的 Claude Desktop Extensions 零点击链为例,说明隔离与安装后完整性执行仍不完整。
- 现有方法不足:作者称现有工作把 agentic security 当作局部攻击检测(单次提示攻击、投毒 memory 条目、模型级 sleeper、激活即传播的跨 agent 攻击),未覆盖"先合法参与、长期潜伏、跨层积累后才可见"的威胁。
- 核心观察:单个 memory write、retrieve 或 tool call 看起来都合法,攻击只在跨层、跨时间关联后才显现,因此防御须从部分观测中推断隐藏的 compromise 过程,而非逐动作分类。
- 论文提出:定义 Agentic Sleeper 威胁模型;提出 Swarm Shepherd 防御框架——事件触发的 factored Kalman filter 做早期预警、后向 trace-back 做入口归因、SEIR 传播分析给出遏制目标,并由主定理给出观测深度与覆盖广度两尺度部署规则。
- 威胁模型(§3.1):
- 目标:在不触发现有防御的前提下实现持久的生态级 compromise,包括行为控制、未授权工具使用、数据外泄、配置操纵。
- 知识:gray-box——了解 host OS、agentic 部署模式、工具接口、memory stores、配置格式;不需要模型权重或内部安全分类器访问权。
- 能力:以合法 tool-class agent 进入,先正常服务积累 routing trust,之后通过 L2 配置写入、L1 memory 投毒、L3 路由修改激活,并可影响其他 agent。
- 受害系统:LangGraph、CrewAI、AutoGen 等多智能体部署;成功判据为四个触发器(T1 行为漂移、T2 策略违规、T3 完整性故障、T4 任务失败)之一触发,生态级成功为 R0 > 1。
有哪些相关研究?
相关工作覆盖 agent 漂移、sleeper/投毒攻击、提示注入与跨 agent 传播、状态监控与归因四类,作者称它们各自孤立。
Agent 漂移与目标漂移
- Rath 的 Agent Drift(2026)——量化多智能体系统在长交互中的行为退化,本文用其 73-interaction 自然漂移基线和 ASI 指标;作者称这类工作建立了长程行为变化,但没有"先建 routing trust 再转化为跨 agent compromise"的攻击者。
- 目标漂移与上下文漂移研究(Arike 等 2025;Dongre 等 2025)——把失败联系到模式匹配压力与多轮均衡。
策略性污染与 sleeper agent
- 带对抗污染的随机 bandit(Lykouris 等 2018;Gupta 等 2019;van Erven 等 2025)——有界预算下的策略性反馈污染。
- Sleeper Agents(Hubinger 等 2024)与 BadAgent(2024)——隐藏行为可存活于安全训练并在延迟触发下激活;作者称这些工作未覆盖跨 memory、logic、infrastructure 的持久性。
提示注入、memory 与跨 agent 攻击
- 间接提示注入(Greshake 等 2023)、Crescendo(2025)、Tempest(2025)——局部操纵。
- Agent Smith(2024)、Morris II(2025)、MemoryGraft(2025)、query-only memory injection(2025)、ZombieAgent(2026)——跨调用存活的 compromise;作者称这些攻击通常立即激活或集中于单层。
防御与归因
- DeepContext(2026)——跨对话追踪对抗意图的状态式检测器,是本文基线之一;作者称它不维护跨层潜伏 compromise 信念。
- WhichAgent(2025)、ProvSEEK(2025)、CyberSleuth(2026)——失败归因与取证;作者称现有防御不能联合回答"何时开始、哪个节点哪一层引入、如何清除持久残留"。
基线与基准:防御基线包括 Llama Guard 4、Prompt Guard 2、NeMo Guardrails、Lakera Guard、DeepContext、Progent(及 DRIFT、CaMeL 的移植版)、Factored Frontier、粒子滤波;攻击范式对照包括 one-shot injection、multi-turn jailbreak、即时 memory poisoning、Agent Smith 式即时传播。基准为 TheAgentCompany、AgentDojo、Agent Security Bench、MultiAgentBench。
作者将本文定位为最接近 Motwani 等(2024)的多智能体隐写合谋研究的概念近邻,但研究的是持久潜伏 compromise 而非隐蔽信道,并把预警、溯源、遏制放进同一推断框架。
论文如何解决这个问题?
把防御建模为部分可观测推断:事件触发的 factored Kalman filter 预警、后向平滑溯源、SEIR 传播模型指导部署。
整体思路:把 agentic ecosystem 表示为可观测事件图与隐状态图两个耦合视图,防御是从类型化运行时事件中对隐藏 compromise 状态做在线后验推断,框架名为 Swarm Shepherd,覆盖预警(WHEN)、溯源(WHICH)、传播与部署(HOW)。
问题形式化
- 双视图:可观测事件图记录 agent、memory、logic、infrastructure 四类节点间的 11 类带时间戳事件(memory 的 read/write/retrieve,logic 的 invoke/return/modify/handoff,infrastructure 的 grant/install/execute/egress);隐状态图共享节点集,每节点携带六维隐状态 z = (c, s, a, p, d, x),分别表示 contamination、susceptibility、authority、persistence、deviation、capability exposure。
- 状态空间模型:隐状态按 zv,t+1 = Aϕ(v) zv,t + ∑ B(r,ϕ(u),ϕ(v)) zu,t + Cιv,t + wv,t 演化,观测为 y = Hz + η;其中 B 是事件类型决定的跨节点影响算子,参数在部署前用 EM 在良性窗口上校准。
- 可辨识性:六个坐标中 (c, a, x) 锚定到可测代理(投毒检索率、路由份额、权限计数),(s, p, d) 经 ASI 子量表通过转移动力学约束。
早期预警(事件触发的 factored Kalman filter)
- 事件触发更新:只对当前有入边事件、观测或干预的活跃节点做 Kalman 预测-校正,其余节点按自动力学惰性推进;d = 6 时单节点更新代价 O(d³ + |E(v)|d²),每事件代价在 N 上近常数。
- 预警分数:后验信念经固定聚合向量 e 得到标量 compromise 分数 ξ,对 contamination 和 deviation 赋最大权重;预警依据后验概率 sv,t = Prz ∼ bv,t[e⊤ z > τE] 超过校准阈值 γwarn 触发,而非单个事件。
- 校准:split conformal prediction 给出 k 会话预警证书,正文在 k = 3、90% 覆盖目标下评估;Theorem 1 给出后验误差 n^(−1/2) 收敛速率。
入口归因(后向 trace-back)
- 候选集:预警或失败后,在触发节点的 k-hop 上游邻域内搜索入口三元组(节点 u、层 ℓ ∈ {L1,L2,L3}、时间 t0)。
- 平滑与打分:对候选做局部 RTS 后向平滑,按层特定模式(L1 看 contamination/persistence,L2 看 deviation/authority,L3 看 capability exposure/persistence)与弱候选先验组合打分,输出最高分三元组。
- 归因到动作:L1 触发 memory 清洗与检索隔离,L2 触发配置冻结与回滚,L3 触发权限撤销与运行时隔离。
传播模型与部署规则
- SEIR 分区:按 ξ 与阈值 τE、τI 把节点划入 S/E/I/R 四个仓室,β 为传播速率、γ 为检测-遏制速率,生态再生数 R0 = β/γ;有防御时为 Rc,遏制判据 Rc < 1。
- 两尺度部署定理(Theorem 7):端到端误差分解为滤波项(随每节点事件数 n 下降)与平均场项(随监控节点数 N 下降),两者在 n°(N) = C°·N 的线性边界上平衡;校准设定下 plug-in 常数 C° ≈ 8.3,边界以下为推断受限(应加长历史),以上为覆盖受限(应扩大监控面)。
论文做了哪些实验?
在 LangGraph/CrewAI/AutoGen 上验证威胁、预警、溯源、部署边界与实测遏制,预警提前 3.2–3.9 会话,溯源 top-1 0.69。
实验设置
- 框架与拓扑:LangGraph、CrewAI、AutoGen 三个框架,跑 pipeline-3、star-5、mesh-7、Barabási-Albert-20 四种参考拓扑;规模实验另用 mesh、star、BA、hub-and-spoke 参数化族。
- 模型:headline 角色后端为 Claude Sonnet 4.6(orchestrator)、Claude Opus 4.6(worst-case attacker)、Llama-3.3-70B-Instruct 与 StepFun-3.5-Flash(transfer controls);消融另用 Claude Haiku 4.5、Gemini 3 Flash、GLM-5.1、Qwen3-235B-Instruct。解码温度 T = 0.7。
- 基准:TheAgentCompany、AgentDojo、Agent Security Bench、MultiAgentBench。
- 指标与判据:可见失败定义为节点 ASI 低于 0.7 的首个会话;warning lead 为首次预警到失败的会话数;生态指标 R0/Rc;溯源指标 top-1/top-3、macro-F1、入口时间误差。
- 样本量与证据类型:A1 预警与 A5 自适应攻击每格 1,000 trials;A4 溯源为 24 变体 × 3 框架 × 30 seeds;结果标注 measured / replay / model-based,正文仅 Table 27 遏制预测为 model-based。
- 攻击方实现:Eve 按威胁模型先以合法 tool-class agent 建 routing trust,再经 L2 配置写入、L1 memory 投毒、L3 路由修改激活,评估用 24 个变体(每层 8 个)。
主结果
早期预警对比(Table 2,measured,1,000 trials,warning lead 单位会话):
表格较宽,可左右滑动
方法 LangGraph star CrewAI pipeline AutoGen mesh AUROC (LG) ASI threshold −0.3 ± 0.4 −0.1 ± 0.3 −0.4 ± 0.3 0.512 ± 0.038 DeepContext 1.4 ± 0.4 1.2 ± 0.4 1.0 ± 0.4 0.718 ± 0.028 Factored Frontier 2.6 ± 0.4 2.4 ± 0.4 2.2 ± 0.4 0.829 ± 0.022 Particle filter (1k) 2.8 ± 0.4 2.5 ± 0.4 2.3 ± 0.4 0.836 ± 0.021 Swarm Shepherd 3.9 ± 0.4 3.5 ± 0.4 3.2 ± 0.4 0.918 ± 0.017 Oracle (full state) 5.4 ± 0.4 4.9 ± 0.4 4.5 ± 0.4 0.962 ± 0.012 - 作者称在 LangGraph star 上,Swarm Shepherd 弥合了最佳非 oracle 基线与 oracle 之间 42% 的 warning-lead 差距和 65% 的 AUROC 差距。
- conformal 覆盖在 LangGraph(0.908)与 CrewAI(0.892)达到 0.90 目标,AutoGen 未达到(0.876 ± 0.020,Table 20)。
- 失败改由基准自带任务评分器判定(ASI 与 T4 移出观测)时,lead 为 2.6 [2.1, 3.1] 会话(Appendix E.2)。
威胁验证与现有防御规避
- 攻击范式对比(Table 1,measured):Agentic Sleeper 攻击成功率 87.6 ± 2.0%、规避率 88.9 ± 1.9%,在 star 拓扑第 50 会话前 compromising 全部 5 个 agent 且跨重启存活;one-shot injection、multi-turn jailbreak、即时 memory poisoning、Agent Smith 分别为 22.3/48.7/68.2/73.4% 成功率,均不同时具备隐蔽、传播与持久。
- 漂移加速:作者报告 Sleeper 的漂移起始比 73-interaction 自然漂移基线快 2.7–8.9×(Table 30:LangGraph 平均 onset 13.2 会话,CrewAI 19.3,AutoGen 26.9)。
- 现有防御检测率(Table 13,Claude Sonnet 4.6,1,000 trials):Llama Guard 4 检测 11.2%、Prompt Guard 2 8.4%、NeMo Guardrails 13.7%、Lakera Guard 11.9%、DeepContext 16.4%;Progent 漂移扩展规则 16.1–22.0%,盲写规则 9.6–13.5%,attacker-known oracle 规则上限 64.8%。
溯源与传播
- 溯源(Table 15,24 变体 × 3 框架 × 30 seeds):Swarm Shepherd top-1 0.69、top-3 0.87、macro-F1 0.72,入口时间中位误差 3.2 会话;最强非 oracle 基线 Shen et al. 为 0.57 top-1,oracle 为 0.84。Figure 2 的混淆矩阵显示 L1/L2/L3 行归一化对角为 0.77/0.60/0.79,作者称主要混淆发生在 L1/L2 与 L2/L3 之间。
- 传播(Table 31):R0 从 AutoGen pipeline 的 0.82 [0.74, 0.91] 到 LangGraph mesh 的 4.18 [3.99, 4.38];作者称除最受限拓扑外 R0 > 1,AutoGen pipeline 低于 1。
- 部署边界(§5.4):N 扫描的平均场斜率在 mesh/star/BA 上覆盖 −1/2,hub-and-spoke 为 −0.54 ± 0.03;热图拟合 Cemp = 8.31 [7.42, 9.18] 与 plug-in 值 8.3 一致,20-agent 部署边界约每节点 170 事件。
遏制与自适应攻击
- 实测遏制(Table 3 / Table 35,measured,每层 20 个配对 Phase-0 快照):LangGraph star 上无防御 Rc = 3.41 [3.06, 3.77]、仅移除可见节点 2.83 [2.44, 3.23]、预警+隔离 1.62 [1.32, 1.95]、完整后验引导栈 0.81 [0.64, 0.97](ASR 31.2%,效用损失 5.6%);AutoGen mesh 上完整栈 0.62 [0.47, 0.81]。仅移除可见节点每次运行留下 2.5 个重启后复发,完整栈为 0.3。
- 遏制预测(Table 27,model-based,每格 1,000 次 Monte Carlo):LangGraph star 上单一防御均不能使 Rc < 1(动态隔离也仅 1.98),五范式组合 Rc = 0.72 [0.64, 0.81]、ASR 28.2%;论文明确这是预测而非实测验证。
- 自适应攻击(Table 16,Nasr–Carlini 自适应标准):white-box 强攻击者把污染放入 ker(H),T1 检测降至 0.42、ASR 0.90,但激活时间代价 +34.5%;作者据此称 T1 单独不够,T2/T3/T4 在 L2/L3 上提供独立证据。
其他消融与分析
- 组件消融(Table 18,LangGraph star):去锚定观测 lead 降至 1.7、AUROC 0.692;去类型化边 2.3/0.761;去事件触发精度基本不变但计算 3.41×。
- 鲁棒性(replay,Appendix E):部署 provenance 替代 ground-truth 标签后 AUROC 0.871、clean FPR 8.4%;20% 遥测丢失 AUROC 0.873;held-out 攻击族 AUROC 至多降 0.080,但 node top-1 至多降 0.14;隐藏校准污染 8% 以内 AUROC 损失 < 0.05。
- 模型敏感性(Table 40):两状态 HMM AUROC 0.852、switching LDS 0.884、粒子滤波 0.836,均低于线性高斯的 0.918。
- 跨模型迁移(Table 26,trace-back top-1):Anthropic 族内降幅 ≤10%,跨闭源族 15–25%,闭源到开源 30–50%,模型特定 emission adapter 挽回约一半差距。
- 良性运行代价(Table 32):FPR 4.1–7.1%,每事件延迟 ≤3.1 ms,峰值内存 ≤29 MB(N ∈ {20,50},H = 500 会话)。
有什么可以进一步探索的点?
作者列出线性高斯近似、良性校准假设等局限;实验覆盖三框架、四类后端与 24 个攻击变体。
作者指出的局限与后续方向
- 线性高斯近似与校准假设(§6):方法依赖校准的线性高斯近似,以及它自身无法验证的良性、平稳校准遥测;在 provenance 缺失、held-out 族归因、遥测丢失、校准污染下"优雅但可测地"退化。
- 留待后续的工作(§6):非线性滤波、graphon 规模部署、Appendix E.10 的冻结盲红队测试(协议已记录,结果尚未出来)。
- 平均场常数的地平线依赖(Appendix B.12):Theorem 4 的耦合常数 C(H) 随 horizon 指数增长,n°(N) ∝ N 的处方与 8.3 常数只在 C2(H) = O(1) 区间成立。
- 未锚定坐标的可辨识性(Appendix B.12):(s, p, d) 仅经转移动力学约束;任意对抗性锚定扰动下的敏感性分析留作未来工作。
- 运行规模与跨模型迁移(Appendix B.12):良性运行代价评估范围为 N ∈ {20,50}、H = 500 会话;更大规模的 SOC 研究在评估范围之外;迁移到新模型族需要 Appendix D 的跨模型研究。
- 最优激活模型的简化(Appendix A.5):假设网关路由指数饱和、移除 hazard 恒定、R0 只依赖路由份额,排除了自适应防御者响应。
实验覆盖范围
- 被测框架为 LangGraph、CrewAI、AutoGen 共 3 个,参考拓扑 4 种(pipeline-3、star-5、mesh-7、BA-20),规模实验另含 hub-and-spoke 族。
- headline 角色后端 4 个(Claude Sonnet 4.6、Claude Opus 4.6、Llama-3.3-70B-Instruct、StepFun-3.5-Flash),消融与迁移另覆盖 4 个端点。
- 攻击评估用 24 个变体(L1/L2/L3 各 8 个);防御基线覆盖 4 个逐轮护栏、DeepContext、Progent 及 DRIFT/CaMeL 移植版;A1/A5 每格 1,000 trials,A4 每变体 90 trials。
- 实测遏制在 LangGraph star 与 AutoGen mesh 两个框架上做(Table 3),CrewAI 上只有 model-based 预测(Table 28);Table 27 的 0.72 为预测,论文明确未当作实测验证。
- 论文未报告评审模型或人工评估(失败判定用 ASI 阈值与基准自带任务评分器);bootstrap CI 用 1,000 次重采样。
总结一下论文的主要内容
定义 Agentic Sleeper 威胁并提出 Swarm Shepherd:跨层隐状态推断实现预警、溯源与遏制,实测 Rc 降至 1 以下。
一篇多智能体生态安全论文:定义了先合法潜伏、跨会话与跨层积累后再激活的 Agentic Sleeper 威胁,并提出 Swarm Shepherd 防御框架,把防御从逐动作分类转为部分可观测下的隐状态推断。
- 要解决的问题:agent 持有持久 memory、共享状态与工具接口后,单个看似合法的事件可在跨层、跨时间关联后形成 compromise;作者称逐轮护栏与状态监控对此检测率仅 8–16%。
- 方法要点:类型化运行时事件图 + 六维隐状态(三坐标锚定可测代理);事件触发的 factored Kalman filter 做早期预警,RTS 后向平滑在 k-hop 邻域内归因入口(节点、层、时间),SEIR 传播模型给出 Rc < 1 遏制目标,Theorem 7 给出观测深度与覆盖广度的线性部署边界(plug-in 常数 8.3)。
- 威胁验证:在 LangGraph、CrewAI、AutoGen 上,Sleeper 攻击成功率 87.6%、规避率 88.9%,漂移起始比 73-interaction 自然基线快 2.7–8.9×,多数拓扑 R0 > 1(Table 1、Table 30、Table 31)。
- 预警与溯源:预警提前 3.9/3.5/3.2 会话(LangGraph/CrewAI/AutoGen,Table 2),独立评分器口径 2.6 [2.1, 3.1];溯源 top-1 0.69、macro-F1 0.72、入口时间中位误差 3.2 会话(Table 15)。
- 遏制:实测完整后验引导栈在 LangGraph star 上 Rc = 0.81 [0.64, 0.97]、AutoGen mesh 上 0.62 [0.47, 0.81],而仅移除可见受损 agent 为 2.83 且每次运行留 2.5 个重启后复发(Table 3);white-box 自适应攻击可把 T1 检测压到 0.42,但付出 34.5% 激活时间代价(Table 16)。
- 作者结论:作者认为生态安全意味着监控普通事件如何随时间重塑系统,而非只看单次交互;方法依赖线性高斯近似与良性校准数据,非线性滤波、graphon 规模部署与盲红队测试留作后续。
相关论文
- DEFER1防御arXiv