跳到正文
原文

GRAD:面向 LLM 智能体的图结构抗体防御

GRAD: Graph-Structured Antibody Defense for LLM Agents

arXiv:对抗攻击、后门与投毒· arXiv:2610.22828· Tianqi Song, Jiawei Du, Xuemei Jia, Zheng WangWuhan University; Agency for Science, Technology and Research (A*STAR)本站收录· 2026-10-19· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

GRAD用执行图检测分散攻击,Decomp、MCP、MRT上AUROC为97.19%、77.59%、86.60%。

威胁模型攻击者控制子请求措辞与顺序,或通过直接插入、交互诱导写入污染记忆或知识库,以促成违反应用安全策略的有害目标。

问题
分解攻击把有害目标拆成看似良性的子任务,记忆投毒则让恶意记录经检索影响后续决策。请求级防御只评估单次输入,共享参数更新还可能改变旧任务上的检测表现。
方法
SSUM把操作文本、事件属性和类型化候选关系编入执行图,输出图级风险分。CAA在冻结编码器快照上增加适配器与分类头,按节点类型直方图和图规模做最近质心路由。执行前闸门用单独训练的检测器在本地打分,达开发集阈值则阻断并重规划。
实验与结果
GRAD在Decomp、MCP、MRT的AUROC为97.19%、77.59%、86.60%。跨数据集CAA为77.86%,Replay为64.78%。闭环DeepSeek Flash的ASR为0%,GLM-5.3-Flash为10%。
局限与可以继续做的
作者称检测依赖可观测记录,新环境需标注及属性映射;快照存储随任务增长,留出族收益取决于端点。静态比较覆盖Decomp、MCP、MRT;闭环骨干为DeepSeek Flash与GLM-5.3-Flash。
实验设置GRAD、DeepSeek Flash 等 · Decomp、MCP 等 · AUROC、TPR 等
威胁模型
攻击者控制子请求措辞与顺序,或通过直接插入、交互诱导写入污染记忆或知识库,以促成违反应用安全策略的有害目标。监控基础设施、检测器参数和标注适应数据受信任。监视器观察已记录操作内容、事件属性和执行前拟议动作,对执行图做图级风险评分,分数达到开发集阈值则干预。
被测模型
GRADDeepSeek FlashGLM-5.3-Flash
基准
DecompMCPMRTAgentDojo
指标
AUROCTPRFPRACCFRASRBUUA
AI 导读GRAD 用图结构证据聚合与可扩展检测专家,防御 LLM 智能体的记忆投毒与分解攻击。SSUM 把操作文本、事件属性与候选关系编码进执行图输出图级风险分数,CAA 在冻结编码器快照上按图签名路由新增专家。在 Decomp、MCP、MRT 上 AUROC 分别为 97.19%、77.59%、86.60%,CAA 在跨数据集任务流上准确率比 Replay 高 13.08 个百分点。

GRAD 用图结构证据聚合与可扩展检测专家,防御 LLM 智能体的记忆投毒与分解攻击。SSUM 把操作文本、事件属性与候选关系编码进执行图输出图级风险分数,CAA 在冻结编码器快照上按图签名路由新增专家。在 Decomp、MCP、MRT 上 AUROC 分别为 97.19%、77.59%、86.60%,CAA 在跨数据集任务流上准确率比 Replay 高 13.08 个百分点。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    记忆投毒与分解攻击分散恶意证据,GRAD用执行图聚合风险并增加可复用检测专家。

    记忆投毒和分解攻击把恶意证据分散到多次操作,请求级防御不连接先前信息与后续动作,共享参数更新还可能损害已学检测。

    • 场景:LLM智能体结合规划、工具使用和记忆执行任务。作者称攻击者可把恶意指令嵌入工具输出,或投毒已存储知识,使智能体转向未授权动作;恶意意图分散在多次交互中时更难处理。
    • 现有不足:作者称请求级防御只评估单次输入、不把较早信息连到后续动作,因而可能漏检。顺序监视器累积子提示历史;作者研究的是如何把证据组织到各次操作上。更新共享检测器可能提高新任务表现,同时改变旧任务表现。
    • 观察:作者使用类型化执行图,同时表示操作内容,以及由事件顺序、操作类型和文本线索推断的候选关系,并沿这些关系聚合证据。操作文本通道覆盖局部可见线索,例如被投毒的工具内容。
    • 提出的方法:GRAD。语义–结构理解模块(SSUM)把分散证据聚成图级风险分;持续抗体适应(CAA)在冻结编码器快照上增加可复用的任务检测专家(抗体),并按可观测图签名路由。单独训练的检测器可作为执行前闸门,支持阻断与重规划。
    • 威胁模型:
      • 目标:诱导智能体达成违反应用安全策略的有害目标。作者考虑分解攻击和记忆投毒。
      • 能力:攻击者控制子请求措辞与顺序,或通过直接插入、交互诱导的写入污染记忆或知识库。访问范围和预算依实验而定;附录H.1给出形式化。
      • 信任边界:监控基础设施、检测器参数和标注适应数据受信任。
      • 观测与干预:监视器看到已记录的操作内容、事件属性和执行前拟议动作。分数达到开发集选定的阈值则干预。离线评测图分类,闭环评测干预后的攻击成功与合法任务完成。
  2. 有哪些相关研究?

    相关工作涵盖记忆投毒、分解攻击、智能体防御与持续安全学习;作者把GRAD放在操作图监督检测上。

    论文第2节分三组讨论相关工作。

    记忆投毒与分解攻击

    • AgentPoison(Chen et al., 2024)投毒记忆或知识库并优化检索触发;PoisonedRAG(Zou et al., 2025)破坏被检索知识;MINJA(Dong et al., 2025)通过仅查询交互诱导恶意记忆记录。
    • DrAttack(Li et al., 2024)分解并重构提示词;DecomposedHarm(Yueh-Han et al., 2026)研究有状态子任务。作者称这些设定促使同时评估操作内容与更早动作。

    智能体防御

    • StruQ(Chen et al., 2025a)用结构化查询和训练分离输入通道;SecAlign(Chen et al., 2025b)用偏好优化防御提示注入。
    • CaMeL(Debenedetti et al., 2025)以受信任的控制/数据流和能力约束工具使用;IPIGuard(An et al., 2025)用工具依赖图把规划与不可信交互分开。
    • WildGuard(Han et al., 2024)分类有害性与拒答;顺序监视器累积子提示历史(Yueh-Han et al., 2026);GUARDIAN(Zhou et al., 2025)建模时序通信图。作者称GRAD改为在操作图上做监督风险预测,并沿候选执行关系聚合内容。

    安全方向的持续学习

    • 正则化持续鲁棒训练(Dai et al., 2025)针对相继出现的对手保持鲁棒性;Lifelong Safety Alignment(Wang et al., 2025)迭代更新语言模型防御方。
    • Dark Experience Replay(Buzzega et al., 2020)用排练保留早期行为;Learning to Prompt(Wang et al., 2022)在冻结骨干上从学到的提示池中选择。GUARDIAN把增量训练纳入基于图的监控。作者称CAA研究的是互补设计:获取冻结检测器快照并在其间路由。

    基线与基准

    • 基线方法:本地适配的Agent-Sentry L1、NeuroTaint传播组件、Sequential Monitor,以及AgentTrust + RiskChain、AgentArmor、AEGIS。决策时刻对照还有Text-only、Temporal和长度对照。CAA对照为顺序微调、Replay及其他路由。
    • 基准/数据集:主比较为Decomp(源自DecomposedHarm)、MCP(改编自MCP-SafetyBench)、MRT(改编自MT-AgentRisk)。MemoryGraft与MINJA用于附录遗留诊断;AgentDojo用于未防御攻击诊断。

    作者把GRAD定位为对操作图做监督风险预测,而不是只做请求级判断或只累积对话历史;CAA则用冻结快照与图签名路由,支持跨任务适应与保持。

  3. 论文如何解决这个问题?

    SSUM编码操作文本、属性与候选关系并输出图级风险,CAA在冻结快照上增加专家并按图签名路由。

    GRAD先用SSUM学习图表示并预测风险,再用CAA扩展检测专家集合;推理时按图签名选一个专家。闭环干预使用单独训练的SSUM,而不是该专家集合。

    问题设定

    阶段r的数据含操作图及图级标签,0为良性、1为攻击。检测器输出[0,1]风险。基础目标为Ldet(Θ;D)=1/(|D|)∑(G,y)∈ Dw(G,y)ℓBCE(y,fΘ(G)),即协议权重下的二元交叉熵。持续适应希望提高新任务检测并保留旧任务表现。任务阶段可以包含先前见过的攻击族;family-isolated评测单独看向未见族的迁移。运行时图包含已观测历史和执行前的拟议动作及其参数;分数不低于开发集阈值则干预。

    SSUM

    • 图与编码:节点按记录的事件顺序排列。连接相邻事件,并按操作类型和文本线索添加类型化候选边;额外候选边跨越排序后节点下标差2到5,包括记忆写/读以及符合条件的数据流、汇触发对。边带关系类型、启发式权重和描述,按源、目标和关系类型去重。
    • 特征:节点含文本,以及权限、归一化位置和词法指示。字符CNN分别编码至多512个节点字符和160个边字符。各块先LayerNorm再投影到192维。一层GINE后接两层四头TransformerConv;每层有BatchNorm、GELU、dropout 0.35和残差。注意力池化得到图嵌入,分类头输出风险。
    • 训练:图级模态dropout概率0.25,独立掩蔽权限/位置与词法/文本。两个仅训练用的辅助头监督池化后的节点文本和权限/位置,辅助系数0.1。推理时全部输入块有效,由联合头打分。

    CAA

    • 获取专家:每个阶段用当前样本和最多100条带缓存概率的历史样本更新工作骨干,蒸馏项权重1.0。开发集选择后复制为冻结快照。新专家是瓶颈维8的残差适配器和线性分类头,只在当前任务上训练;先前专家保留各自快照、适配器和头。
    • 复用:签名含归一化节点类型直方图,以及节点数、输入边数除以50。最近质心路由为j⋆(G)=argminj≤ r|s(G)−μj|2,返回所选专家的预测。未知类型归入other;距离平局按已存储任务顺序。任务标识只用于训练分组,推理只用可观测签名。

    执行前闸门与判定

    闸门在本地构图并做神经网络推理,不调用监控API。智能体按闸门决策执行或重规划;附录F.2写明被阻断动作最多两次重规划。离线成功判定是图分类;闭环判定是干预后的攻击是否达成,以及合法任务是否完成。完整流程见附录H.4的Algorithm 1。

  4. 论文做了哪些实验?

    Table 1中GRAD在Decomp、MCP、MRT的AUROC为97.19%、77.59%、86.60%。

    实验设置

    • 数据:主比较为Decomp、MCP、MRT。附录A给出每种子评测单元:Decomp 174正/58负(1个fold),MCP 114/118(5个fold),MRT 50/50(5个fold)。这是评测计数,不是总语料规模。闸门划分为172训练、42开发、59测试图。
    • 系统与模型:静态实验评测图检测器。对照为本地适配的Agent-Sentry L1、NeuroTaint propagation、Sequential Monitor,以及AgentTrust + RiskChain、AgentArmor、AEGIS。作者称前两者是可在共享观测下评估的组件,不是完整防御。闭环骨干为DeepSeek Flash与GLM-5.3-Flash。Sequential Monitor使用固定的DeepSeek Flash裁判、原始二元意图提示词和0.5阈值。
    • 指标:检测用AUROC,二元决策用TPR/FPR。任务流报告最终平均准确率ACC和遗忘FR。闭环报告ASR、良性完成BU、攻击下合法完成UA和运行错误。
    • 重复与阈值:Table 1的GRAD为三种子均值和样本标准差。决策时刻对照为三种子,标准差为总体标准差。CAA为五种子、两种任务顺序。Table 6每骨干每臂20次攻击和20次良性,共240次。阈值在开发数据上选择。
    • 训练:512字符静态复制批为100个epoch、patience 25、batch 48、学习率10−3。CAA各臂200次更新,按开发集AUROC选检查点。训练使用NVIDIA RTX 3090。
    • 协议差异:Table 1–2保留各实现自己的观测和阈值协议。Sequential Monitor的MRT适应未执行。决策时刻对照把攻击截断到拟议有害动作,学习臂使用相同的200字符步骤串。

    主结果

    表格较宽,可左右滑动

    方法DecompMCPMRT
    Sequential Monitor81.0356.16未报告
    Agent-Sentry L184.4453.1251.90
    NeuroTaint propagation72.5350.0050.00
    GRAD97.19±0.9977.59±2.0186.60±5.13

    据Table 1,单位为AUROC(%)。GRAD为三种子均值±样本标准差。

    • 协议不对齐:作者称这些行保留各自观测与阈值协议。Sequential Monitor的Decomp有害轨迹用到标注有害截止点的累积前缀,良性轨迹用全部前缀;GRAD评的是全图(附录B.1)。
    • 操作点:Table 2中GRAD的TPR/FPR在Decomp为95.4/13.8,MCP为52.0/14.1,MRT为83.3/58.0。AgentArmor与AEGIS在MRT上为全正预测;NeuroTaint在MCP与MRT上为全负预测。
    • 组件范围:作者称比较是组件对组件。附录B另报本地L1+L2+L3的Agent-Sentry在Decomp/MG/MINJA/MCP上ABR为29.3%/27.2%/2.7%/15.8%,并称该全流程未迁移到本文数据形式,故主表用L1。

    决策时刻与新案例

    • 匹配窗:原Decomp fold0测试集232例、58个base-case组。Table 3中GRAD的AUROC为97.0±1.2,TPR/FPR为89.7/8.0;Temporal为91.7±0.5与77.6/13.2;Text-only为86.4±1.7与78.2/20.1;长度对照AUROC为77.7。作者称GRAD高于后两者5.30和10.64个百分点,配对区间为[2.0, 9.1]与[7.2, 14.4]。
    • 操作点与监视器:开发集5% FPR目标下,GRAD为85.6% TPR、测试FPR 7.5%;Text-only为54.4/9.2,Temporal为67.8/5.2。监视器TPR/FPR为100.0/37.9;由其首次触发位置导出的序数分数AUROC为91.24%,作者称这不是原生连续输出。附录M称该比较用的是先前暴露过的测试划分,不是独立确认。
    • 未复现:附录P的47个新生成簇、188例上,种子均值AUROC为GRAD 0.615、Temporal 0.675、Text-only 0.583;GRAD减Temporal为−0.060,95% CI为[−0.115, −0.0001]。作者称原先相对Temporal的优势没有复现。冻结5%开发FPR目标下,GRAD的测试TPR/FPR为0.435/0.340。

    持续学习

    • 跨数据集流:Table 5中快照专家加路由的ACC/FR为77.86%/0.0079,Replay为64.78%/0.0629,顺序微调为56.43%/0.1251。作者称相对Replay的准确率增益为13.08个百分点,95% CI为9.11–19.10;遗忘配对差为−0.0551,95% CI为−0.1185至−0.0169。任务内等权族/基案例后增益为9.05个百分点,CI为6.25–11.91。Decomp与MRT的样本级增益为18.33和17.09个百分点;MCP为3.82,其等权差为−6.72,CI为−17.01–1.38。
    • 留出族:机制流上快照专家ACC/FR为51.11%/0.0327,Replay为39.21%/0.0454;配对准确率增益11.91个百分点,CI为3.95–19.30。作者称遗忘差在统计上并未确立。等权纯标签族后,快照专家47.5%,Replay 53.5%,差为−6.0个百分点,CI为−9.7至−2.2。作者称这一反转把族组成标成该流上快照增益的边界,该面板是留出族边界,不是均匀迁移证据。
    • 重叠与路由:Decomp约25–35%测试样本所属案例也出现在训练中;MCP约60–75%测试样本与训练共享族;MRT五个测试场景都出现在训练中(附录L.1)。质心路由77.86%,全专家平均71.58%,任务先知79.86%。stage-0专家68.37%,相对阶段快照的配对增益为9.49个百分点,CI为8.34–11.02。

    闭环、迁移与时延

    • Table 6:同一联合适应检查点、四个攻击族、240次运行。DeepSeek Flash上,无防御ASR/BU/UA为35/100/50,Sequential Monitor为0/50/25,GRAD为0/75/80。GLM-5.3-Flash上三者为30/90/45、0/50/0、10/40/30。作者称这些结果刻画随骨干变化的安全–效用权衡。
    • 配对检验:附录Table 19相对同批None臂。T3批中DeepSeek上GRAD的有害结局McNemar为(7,0)、p=0.0156,良性完成为(5,0)、p=0.0625;GLM上为(6,2)、p=0.2891与(10,0)、p=0.0020。早先批次到T3,监视器的GLM ASR从15%到0%,GRAD的GLM BU从95%到40%;作者称两批同时有随机执行和更换后的闸门。
    • 时延:Table 7中GRAD前向p50/p95在DeepSeek轨迹为8.4/33.2 ms,GLM为8.3/32.1 ms;监视器调用为603.3/796.1与619.4/945.5 ms。计时不含图构建。作者称GRAD不做监控API调用。

    其他消融与分析

    • 通道(Table 4):Decomp上GRAD/graph-only/text-only为97.19/86.37/86.83;MCP为77.59/67.41/79.89;MRT为86.60/86.07/82.87。作者称Decomp上两单通道都低于87%;MCP上text-only高于GRAD。
    • 关系归因(附录P):候选关系、无跨节点边、匹配重连的种子均值AUROC为0.970、0.898、0.959。E减Z为+0.072(Holm p=0.0004);E减R为+0.011(Holm p=0.126)。作者称特定连线相对匹配重连没有确立的优势。
    • 离线迁移(Table 17):从头训练闸门的gate-test/Decomp AUROC为94.77%/50.31%;Decomp训练检测器为68.60%/94.28%;联合适应为96.08%/96.88%。作者称不把96.08%当作独立留出估计,迁移比较是探索性的。
    • 路由存储:三快照池7.74 MB。种子211上质心路由p50为7.7–20.1 ms,全专家评估p50为23.1–58.9 ms(附录L)。
    • family-isolated上stage-0准确率53.18%、遗忘0.0042;快照更新使遗忘增加0.0285,95% CI为0.0034–0.0667。
    • 历史GRAD-192全编码器在Decomp/MCP/MRT上为96.63±1.41、63.80±2.71、87.30±4.94(Table 23),与最终512字符批不是同一配置。
  5. 有什么可以进一步探索的点?

    作者称检测依赖可观测记录,新环境需要标注与映射,留出攻击族收益取决于端点。

    作者指出的局限与后续方向

    • GRAD依赖可观测执行记录;不完整日志或上下文外信息会限制检测(Section 6)。
    • 新环境需要标注数据,以及到图属性和候选关系的映射(Section 6)。
    • CAA带来增长的快照存储,留出攻击族上的收益取决于端点(Section 6)。
    • 作者称后续工作将处理覆盖、标注效率和专家合并(Section 6)。
    • 当前数据集包含给定长度的执行历史;更长会话会增大图规模和需保留的证据。增量图处理与选择性历史保留是评估这一扩展的方向。接入其他智能体框架还需把工具和记忆事件映射到输入模式(Appendix J)。
    • 持续评测依赖任务流、训练分配、专家初始化和路由策略;扩大专家库会增加存储与选择成本。运行时评测依赖攻击信号、智能体配置和干预行为。冻结检测器迁移与再校准回答的是不同部署问题(Appendix J)。

    实验覆盖范围

    • 静态主比较为Decomp、MCP、MRT,每种子评测单元为174/58、114/118、50/50,fold数为1、5、5;Table 1的GRAD汇总三种子(Appendix A、Table 1)。
    • 决策时刻对照使用原Decomp fold0,测试232例、58个base-case组。附录P另以47个新生成簇、188例检查冻结检查点;该检查未重训CAA(Section 4.2、附录P)。
    • 闭环骨干为DeepSeek Flash与GLM-5.3-Flash,Table 6每臂20次攻击和20次良性,四个攻击族、共240次。Sequential Monitor的裁判为DeepSeek Flash,阈值0.5(Section 4.5、附录F)。
    • CAA使用五种子和两种任务顺序。跨数据集流为Decomp/MCP/MRT的样本级划分,攻击族可在训练与评测中重复;另有family-isolated机制流(Section 4.4、Appendix L)。
    • 作者称Sequential Monitor的MRT适应未执行。AgentDojo的P1/R1评测未防御的DeepSeek Flash,不评测GRAD:P1在70次攻击上总ASR为1.43%,R1在94条记录上ASR为0.00%。论文未报告Table 7计时中的图构建时间,也未报告该批的监控token数与峰值检测器内存(Appendix B、C、G)。
  6. 总结一下论文的主要内容

    GRAD在执行图上做风险检测并用快照专家适应任务,Decomp上AUROC为97.19%。

    GRAD是面向LLM智能体的执行图检测和持续适应框架,针对把恶意证据分散到多次操作的记忆投毒和分解攻击。

    请求级防御不把较早信息连到后续动作。作者用类型化执行图同时编码操作文本、事件属性和候选关系,输出图级风险。CAA在冻结骨干快照上增加任务专家,推理时按节点类型和图规模选择一个专家。执行前闸门用单独训练的检测器做本地推理,达到开发集阈值则阻断并重规划,不调用监控API。

    • Table 1:Decomp、MCP、MRT上GRAD的AUROC为97.19%、77.59%、86.60%(三种子)。对照行是本地适配组件;Sequential Monitor的MRT适应未执行。
    • Table 3决策时刻:GRAD为97.0%,Temporal为91.7%,Text-only为86.4%。附录P的47个新簇上,GRAD为0.615、Temporal为0.675,作者称原优势未复现。
    • Table 4:Decomp上两个单通道都低于87%;MCP上text-only为79.89%,高于GRAD的77.59%。
    • 跨数据集流上CAA最终准确率77.86%,相对Replay的64.78%高13.08个百分点;等权后为9.05个百分点。机制流等权后快照专家47.5%,Replay 53.5%。
    • Table 6:DeepSeek Flash上GRAD的ASR/BU/UA为0/75/80,GLM-5.3-Flash为10/40/30;同表监视器在GLM上为0/50/0。DeepSeek轨迹上闸门前向p50为8.4 ms(Table 7)。

    作者称GRAD把执行图风险检测与可扩展的快照专家库结合起来,闭环结果刻画本地阻断和重规划的安全–效用权衡。CAA在更新后的骨干快照上增加专家,同时保留先前获得的专家。检测依赖可观测记录,留出族上的收益取决于所用端点。

相关论文

共同使用 AgentDojo
再看 3 篇
共同使用 AgentDojo
阅读原文arxiv.org