DART：用表征位移检测多轮 LLM 智能体中的新兴安全风险

核心问题在于防范大语言模型智能体在多轮交互中由单独合规步骤组合而成的有害行为。

• 多轮攻击场景与重要性：作者指出，智能体在与用户、工具及环境交互时，攻击者可先诱导其获取或转换信息，后续再用于外发数据或资金重定向等有害操作，单步检查无法发现跨轮演变的风险。
• 现有防御机制的不足：现有输入输出护栏与动作级监控（如AgentSpec）主要评估单个状态或工具调用，对多轮组合攻击失效；推测性防御（如SSH）与知识增强方法（如ToolShield）依赖额外模型预测或静态知识，计算开销大或缺乏动态感知。
• 表征转移的核心观察：作者发现有害多轮行为会在智能体固定层的内部隐藏状态中引起沿特定安全方向的表征转移，但直接累加转移会受到良性交互漂移的干扰，导致在良性步骤过早误报。
• 提出的防御框架：作者提出了运行时框架DART，通过去除良性漂移均值与主成分构建去噪安全方向，在累加位移超标时归因触发上下文并注入提醒。
• 威胁模型：
  • 攻击目标：诱导智能体执行未授权或有害动作，或在外发敏感数据时绕过安全限制。
  • 攻击者能力：攻击者可通过多轮用户输入组合任务（多轮任务分解），或在工具返回、检索文档及环境中植入恶意指令（间接提示注入）。
  • 攻击者知识：论文未假设攻击者掌握白盒权重或梯度，针对黑盒交互场景设计。
  • 受害系统：基于LLM构建并具备工具调用能力的自主智能体系统（如文件系统、终端、SQL数据库与浏览器交互）。

相关研究主要围绕智能体运行时防护、轨迹级内部监控和表征工程展开。

运行时防护与动作监控

• 输入输出与动作拦截护栏：Llama Guard（Inan et al., 2023）、ShieldGemma（Zeng et al., 2024）与Qwen3Guard（Team, 2025d）对输入或生成文本进行分类；AgentSpec（Wang et al., 2026a）和GuardAgent（Xiang et al., 2025）等在动作层面依据规则或推理拦截不安全工具调用。作者指出，此类方法针对独立动作进行判断，无法识别跨轮分解攻击中各个合法调用的累积危害，且规则缺乏跨领域迁移能力。
• 时序与多轮智能体防御：ToolShield（Li et al., 2026b）离线探索工具经验并以静态提示词形式常驻上下文；SSH（Wang et al., 2026c）利用辅助大模型预测未来动作并构建推测树评分。作者指出，ToolShield的规则在执行前固定且持续生效，无法定位具体哪个上下文引入了危害；SSH则需要维护辅助模型并频繁推测，计算开销较高。

轨迹级内部状态监控

• 外部观察者与注意力特征监控：TRACES（Li et al., 2026a）训练独立的观察者模型学习前缀级风险状态；Rennervate（Zhong et al., 2026）基于单上下文窗口内的注意力特征检测注入；Zhang et al.（2025）与Korbak et al.（2025）监控推理链。作者指出，这些方法需引入额外模型或局限于单窗口，无法直接跨上下文轮次追踪稀疏注入与合规步骤累积。

表征工程与行为引导

• 激活方向与控制机制：Zou et al.（2023）、Rimsky et al.（2024）和Arditi et al.（2024）等发现线性激活方向可表征安全属性并用于模型行为干预。作者指出，具有预测性的表征方向未必能提供可靠的因果控制机制，直接在残差流操纵激活容易破坏模型输出。

对比基线与评测基准

• 基线方法与数据集：论文对比了ToolShield、AgentSpec以及SSH架构复现；评测基准涵盖MT-AgentRisk、ASEval、AgentDojo、InjecAgent、ActorBreaker、R-Judge与Agent-SafetyBench。

作者将DART定位为一种轻量级的轨迹级通用防御：直接复用智能体自身的单次前向隐藏状态监测表征转移，既避免引入辅助模型的高额计算，又通过上下文提醒实现透明可解释的干预。

整体思路是通过提取智能体在交互过程中的内部表征转移，构建消除良性漂移的去噪安全方向，利用累积位移判定风险、依据最大贡献定位可疑上下文，并通过针对性提醒实施干预，框架名为 DART。

问题形式化与表征转移

• 上下文分段划分：将智能体交互流划分为有序序列 c0 到 cn，每个分段包含新接收的外部上下文（如用户消息、工具返回）以及智能体自上一分段以来的自身生成内容，保证分段拼接覆盖全部token。
• 表征转移提取：在预先选定的固定模型层读取每个分段边界处的最后一个token隐藏状态。记系统提示词的初始状态为基准锚点 h0，分段 ci 带来的表征转移定义为 delta_i = hi+1 - hi。作者指出，差分操作消除了不同长度和位置编码带来的基线偏移膨胀。

安全方向构建与去噪投影

• 对比方向初始化：利用标注的有害轨迹转移集和良性轨迹转移集，分别计算类别均值，初始安全方向为两者的均值之差。
• 消除良性均值漂移：良性交互在累加过程中会产生系统性漂移，导致误报。DART通过正交化操作去除初始方向在良性均值方向上的投影分量，将良性流量均值锚定在零。
• 消除良性协方差扰动：计算良性转移的协方差矩阵，提取前 p-1 个主特征向量，进一步将这些代表良性工具调用与模态差异的主变化方向从安全方向中投影剔除并归一化。层数和截断秩 p 均在拟合集内部验证划分上确定（如ASEval选择 p=16，MT-AgentRisk选择 p=2）。

累积检测与上下文归因

• 累积位移计算：每个分段计算标量投影得分 ri = delta_i 乘以 u。前 t 步的累积得分为：

A_t = ∑_{i ≤ t} r_i = (h_t+1,ℓ^⋆ − h_0,ℓ^⋆)^⊤ u_ℓ^⋆ 该公式表示前 t 个上下文分段引起的表征转移在去噪安全方向上的累积位移，利用裂项求和转化为当前状态与初始基准状态之差。

• 阈值设定与触发：根据预设的假阳性率预算 b，将检测阈值 tau 设定为良性校准轨迹累积得分的 (1 - b) 分位数。当累积得分超过阈值时触发报警。
• 最大贡献归因：由于累积得分可严格分解为各分段得分之和，DART直接定位造成表征正向偏移最大的分段：

c^⋆ = c_j^⋆,   j^⋆ = argmax_{j ≤ t} r_j 该公式通过找出在已观察分段中投影得分最大的单个分段，直接将其确定为引发风险转移的归因上下文。

提示词干预与运行时流程

• 针对性提醒注入：触发报警后，DART不直接中断进程或剔除上下文，而是在上下文末尾追加一条针对归因分段的防御提醒，明确指出该分段引向不安全后果并指示智能体停止执行该步骤或任务。
• 重新生成与持续监控：智能体在更新后的上下文下重新生成当前动作；随后DART继续监测后续步骤，以防有害内容在后续检索或工具返回中再次出现。

实验设置

• 被测模型：通过MLX本地部署的6个8位模型，包括Qwen3-8B、Qwen3-14B、Qwen3-32B、Qwen3-30B-A3B（约3B激活参数）、Llama-3.1-8B及Mistral-Small-24B；另复现SSH时使用Qwen3-4B作为推测与评审模型。
• 测试基准与规模：多轮分解基准MT-AgentRisk（评估划分每模型40条有害与40条良性轨迹，平均3.2轮）；间接注入基准ASEval（40条有害与40条良性轨迹，平均6.7个分段，1.8个注入段）；以及AgentDojo（Slack套件与4套件）、InjecAgent（dh与ds两类）、ActorBreaker（600条攻击与配对良性对话）、R-Judge（5个领域）与Agent-SafetyBench。
• 对比基线：无防御基准、未去噪DART（直接使用未投影的对比方向）、静态经验防御ToolShield、规则拦截防御AgentSpec，以及推测模拟防御SSH架构。
• 指标定义：检测指标为catch（被标记的有害轨迹比例）和良性轨迹上的realized FPR；干预指标为ASR（最终响应未拒绝的有害轨迹比例）和Utility（最终响应未拒绝的良性轨迹比例）。
• 评审与决策机制：采用确定性贪婪解码，基于最终动作与回复是否拒绝判定攻防结果；检测阈值 tau 按预设的10%假阳性率预算在良性校准轨迹上计算得出。
• 样本与重复：各模型核心对比均在相同的40条有害与40条良性测试轨迹上进行成对评估；拟合集采用独立的30条有害与30条良性轨迹。

主结果

据 Table 1，未去噪与去噪方向在两个多轮基准上的检测表现如下（格式为 未去噪→去噪）：

表格较宽，可左右滑动

模型	ASEval AUROC	ASEval catch	ASEval FPR	MT-AgentRisk catch	MT-AgentRisk FPR
Qwen3-8B	0.712→0.958	0.33→0.78	0.00→0.00	1.00→1.00	0.00→0.00
Llama-3.1-8B	0.644→0.897	0.25→0.75	0.00→0.00	1.00→1.00	0.12→0.05
Qwen3-14B	0.603→0.979	0.07→0.75	0.12→0.00	1.00→1.00	0.15→0.05
Qwen3-30B-A3B	0.573→0.946	0.12→0.85	0.00→0.00	1.00→1.00	0.35→0.17
Mistral-24B	0.710→0.943	0.40→0.60	0.00→0.00	1.00→1.00	0.28→0.28
Qwen3-32B	0.651→0.942	0.10→0.78	0.00→0.00	1.00→1.00	0.30→0.17

• 去噪提升稀疏注入检测能力：在ASEval上，未去噪方向的轨迹级检测率仅在0.07至0.40之间，去噪后提升至0.60至0.85，且误报率保持在0.00。
• 多轮分解攻击实现全量捕获：在MT-AgentRisk上，去噪前后各模型对有害轨迹的捕获率均保持在1.00，去噪投影在4个模型上降低了假阳性率。
• 端到端攻击成功率下降：作者报告，结合提示词干预后，MT-AgentRisk上的平均ASR从84%降至25%（良性非拒答率从93%变为85%），ASEval上的平均ASR从97%降至52%（良性非拒答率保持97%）。

现有防御对比与开销分析

• 对比规则拦截基线AgentSpec：在多轮分解基准MT-AgentRisk上，由于各个单步操作均符合局部规则，AgentSpec不触发拦截，ASR保持在0.80–1.00；而在AgentDojo上，AgentSpec在Llama与Mistral上产生过度拦截，良性效用降至0.40和0.10（Table 7与附录B）。
• 对比多轮知识防御ToolShield：在MT-AgentRisk上，ToolShield将平均ASR从84%降至55%，而DART降至25%，在全部6个模型上均优于ToolShield（单侧符号检验 p = 0.016）；ToolShield因采用常驻通用规则，未针对轨迹漂移进行动态门控，其平均效用为91%，高于DART的85%（§5.3）。
• 推测模拟与监控开销对比：复现基于Qwen3-4B的SSH推测模拟架构，在Apple M3 Ultra上单步推测模拟引入约6.7秒额外延迟；而DART复用自身前向隐藏状态，每步仅增加0.14–0.56秒开销（Qwen3-8B为143毫秒，Qwen3-32B为564毫秒，打分仅占0.019–0.022毫秒，Figure 6与§5.3）。

去噪投影机理与峰值对齐分析

• 去除子空间的物理语义：主成分分析显示，良性均值主要编码序列位置（Qwen3-8B上解释方差R2=0.57，Qwen3-32B上为0.65），前两个主成分主要区分工具响应与用户输入（相关比最高达0.51与0.72），后续成分区分不同工具，而token长度解释方差均不超过0.21（Table 3与§3）。
• 累积峰值与攻击位置对齐：在ASEval上，未去噪累积得分因良性负漂移在45%的Qwen3-8B运行和100%的Qwen3-32B运行中于首个分段达到峰值；去噪后84%–87%的报警运行峰值落在首次注入分段或其之后（Figure 4与§5.4）。
• 归因准确率验证：去噪后，最大增量分段在5个模型上有78%–83%的概率命中实际注入分段，高于22%–30%的随机猜测基线（§5.4）。

提示词干预的反转局限与后备机制

• 提示词干预在8B模型上的指令反转：在单轮注入基准InjecAgent的数据窃取任务（ds）中，提示词提醒导致Qwen3-8B的ASR从0.33升至0.87，Llama-3.1-8B的ASR从0.07升至0.38；在AgentDojo上Qwen3-8B的ASR从0.18升至0.22（Table 8）。作者解释称，提醒模板逐字引用了可疑片段，较小模型无法维持“引用内容为禁止项”的语义框架，误将引用的祈使句当作最新指令遵从。
• 残差流直接引导消融：在中间层进行强引导（alpha=2）可实现0.68的动作翻转率，但该控制效果局限在0.35–0.65的网络深度窗口内，浅层与深层均失效（Table 15）；且相比提醒丢弃了归因信息、缺少校准流程（附录F.3）。
• 读取拦截后备策略：对被归因的外部输入进行内容扣留（withhold read）并在扣留后重新锚定累加器，在所有模型和基准上均将ASR压制在0.09以下（Table 17），但会导致部分良性任务完成率下降（在标记运行中完成率为0.24–0.71）。

其他消融与分析

• 投影截断秩分析：在ASEval上Qwen3-8B的AUROC随秩变化，p=0为0.712，p=1为0.750，p=2为0.912，p=8为0.966，p=16为0.958（Table 4）。
• 转移表征与状态表征对比：AgentDojo四套工具留一交叉验证平均AUROC中，转移表征delta_i为0.925，整状态表征hi为0.884（Table 12）。
• 正交投影器与顺序降维对比：ASEval Qwen3-8B在线状态重打分中，正交投影器与顺序降维在p=2时的AUROC分别为0.911与0.912，p=16时为0.965与0.958（Table 5）。
• 归因提示词内容对比：MT-AgentRisk上单段最大贡献归因的平均ASR为0.438，路径前2归因为0.444，无归因警告为0.500（Table 16）。
• 非注入任务泛化探测：R-Judge五领域留一验证中，Qwen3-8B平均AUROC为0.77，Qwen3-32B平均AUROC为0.80（Table 11）。
• 内在滥用任务边界探测：Agent-SafetyBench上跨验证留出AUROC最高仅为0.65–0.71，其转移表征在主成分空间与安全样本交织（Figure 5与§E.1）。

作者指出的局限与后续方向

• 细粒度内容保留机制：作者指出，被归因的分段可能同时包含有害指令与任务相关信息，仅靠归因无法决定应保留哪些内容，作者将该细粒度决策留待后续执行机制研究（§4）。
• 残余攻击成功与干预失效：作者指出，MT-AgentRisk上全部攻击被检测但仍有四分之一成功，ASEval上有半数成功，残余失误源于干预手段不充分而非漏检，指明未来需要更强的多轮智能体防御缓解策略（§5.2）。
• 与推测模拟级联互补：作者指出，DART可作为轻量级触发器，在表征漂移出现时再按需唤醒高开销的推测模拟，构成互补的级联防御方案（§5.3与§6）。
• 多轮任务分解的归因与扣留限制：作者指出，多轮任务分解中不存在外部注入片段，跨过阈值的轮次属于用户自身请求，因此片段删减无法适用，机械地扣留用户输入亦无法消除攻击意图（§E.1）。
• 内在滥用场景的未测试验证：作者指出，直接有害的多步智能体基准AgentHarm属于内在滥用范畴，预测表征转移信号在此类任务上表现较弱，论文未在此类基准上进行测试，并将其标注为检验该预测的天然实验（§E.1）。
• 长链条稀疏铺垫下的路径归因：作者指出，当前实验中多轮攻击平均仅3.2轮，基于路径的累积归因规则是否能在更长、铺垫更稀疏的攻击中体现优势尚未解决，论文未对此做出定论（§F.4）。

实验覆盖范围

• 测试模型覆盖：评测覆盖Qwen3-8B、Qwen3-14B、Qwen3-32B、Qwen3-30B-A3B、Llama-3.1-8B及Mistral-Small-24B共6个开源模型，均采用MLX框架下的8位量化版本，未测试闭源商业API模型。
• 多轮基准覆盖：多轮评测覆盖MT-AgentRisk（每模型40条有害与40条良性轨迹的评估划分，以及全量集合）和ASEval（40条有害与40条良性轨迹），注入基准覆盖AgentDojo（Slack套件及4套件留一交叉验证）与InjecAgent（直接危害与数据窃取）。
• 对比基线覆盖：防御基线对比覆盖ToolShield静态经验提示词、AgentSpec规则拦截，以及基于Qwen3-4B的SSH推测模拟开销对比。
• 硬件与采样设置：推理与耗时测试在单台搭载96GB统一内存的Apple M3 Ultra设备上完成，智能体生成步长固定为256 token并采用贪婪解码。
• 未报告信息：论文未报告针对自适应攻击者的动态规避评估，亦未报告人工评估与自动评测指标的一致性检验。

论文提出了一种针对大语言模型智能体多轮安全风险的轻量级运行时防御框架DART。

1. 解决的问题：多轮攻击常将整体危害拆解为多个单独合规的执行步骤，单步动作拦截与输入输出护栏难以察觉风险的跨轮演变，而外部推测模型计算成本高昂。
2. 方法核心：作者发现多轮恶意行为会在智能体固定层引起累积的表征位移。针对良性交互漂移对累积信号的淹没问题，DART在离线拟合阶段通过去除良性均值与协方差主成分构建去噪安全方向；在运行时累加转移得分，超标时归因至最大增量分段并追加防御提醒。
3. 主实验结果：在MT-AgentRisk基准上，DART在全部6个模型上检出全部攻击，将平均ASR从84%降至25%，良性非拒答率仅从93%变为85%，效果优于ToolShield的55%平均ASR；在ASEval基准上，DART将平均ASR从97%降至52%，良性非拒答率保持97%无损失。
4. 去噪与开销表现：在ASEval上，去噪投影将轨迹检出率从7%–40%提升至60%–85%且误报率为0.00；在M3 Ultra设备上，DART复用自身前向隐藏状态，每步监测耗时仅为0.14–0.56秒，远低于推测模拟基线的6.7秒。
5. 例外与局限发现：提示词提醒在8B模型上可能诱发指令反转，例如在InjecAgent数据窃取任务中使Qwen3-8B的ASR从0.33升至0.87；对于此类弱模型，可后备采用内容扣留策略将ASR控制在0.09以内。
6. 作者结论与启示：作者认为内部表征转移能够作为智能体多轮风险的高灵敏度诊断信号；由于多轮分解任务缺乏可剔除的外部有害片段，且现有提醒干预仍存在残余攻击成功率，未来的防御重心应转向更具鲁棒性的上下文干预与多层级联机制。