Agent 安全 · 论文

• 研究定位：针对大语言模型智能体工具调用在底层执行路径中的保真度问题，论文界定了意图-执行对应性概念，提出了无执行偏离检测协议 IEC 与跳级修复框架 IntAct。
• 核心问题：命令在宿主包装器、Shell解析、进程接口等多跳传输中常遭隐蔽篡改，现有评测默认调用按原样执行，导致大量路径缺陷被系统性误归因于大语言模型。
• 方法设计：IEC协议利用无害见证探针与接收端自身解析器，在不执行命令的前提下定位首偏离跳；IntAct根据定名跃点采用无解析通道（如文件注入、参数转义、Base64编码）进行针对性渲染交付，或对超域调用予以安全拒绝。
• 关键实验结果：
  1. 生产会话中10.0%的暴露Shell调用被路径篡改，Claude Code的Bash工具在传输长文本或代码时篡改率达12.0%，且80.7%的反斜杠合并故障未报任何错误（Figure 3a、Figure 3b）。
  2. 传统轨迹评测将95.1%的生产失败误判为模型责任，而IEC协议与人工归因的一致性达到 Cohen's kappa 0.77（Table 5）。
  3. 在固定动作回放下，IntAct恢复了IEC-Bench中79.2%发生调用变更的失败任务（Table 1）；带智能体闭环测试中，将通过任务的平均Token消耗降低2.4倍（Table 7）。
• 作者结论与启示：作者认为工具调用能否正确执行主要取决于启动路径而非大模型本身，智能体框架必须按跃点顺序开展逐跳工程测试，同时基准评测应固定并报告启动路径以保证模型评分的公平性。

• 定位与目标：论文针对企业 MCP 智能体面临的未授权访问、数据外传等威胁，提出集成了端点遥测、分级在线检测与离线进化红队的防护系统 ADR。
• 核心方法：通过端点 Sensor 解析本地缓存重建“提示词-思考-工具调用-环境”的完整因果链；在线采用轻量 LLM 进行 Tier 1 初筛并由 Tier 2 推理智能体结合源码与策略 MCP 进行深度调查；离线由 Explorer 进行进化式红队生成威胁情报并闭环反哺。
• 主要实验结果：在包含 133 个 MCP 服务器的 ADR-Bench 上，ADR 实现 0 误报、0.667 召回率和 0.800 F1 值（基线 F1 仅 0.178–0.366）；在 AgentDojo 上检出全部 38 个注入攻击，F1 达 0.962；单任务成本为 $0.024。
• 生产落地验证：在 Uber 逾 7,200 台企业终端上部署超过 10 个月，并利用预执行 Hooks 拦截 206 处凭据外传风险（97.2% 精确率）。
• 作者结论与启示：作者认为端点因果链遥测与分级上下文推理是应对智能体语义攻击的关键，并计划进一步探索网关层实时防护与多智能体协议适配。

• 一句话定位：论文应用验证自主权等级（VAL）剖析 LLM 智能体防御，揭示表面相同的 0.000 ASR 背后的结构保证与行为运气之别。
• 要解决的问题：现有智能体防御缺乏解释其保证来源的统一坐标轴，经验测试下的零成功率无法预示防御在面对新攻击或不同环境时的真实效力。
• 方法要点：依据规范来源将防御划分为 L0（模型自声明）至 L5（通用完备），主张锚点决定防御失效边界；在同等预算下构建由确认门（L1/L2）与参数沙箱（L3）构成的 VAL 结构栈，对比提示词硬化（L0）与关键词过滤（L1）构成的直觉栈。
• 核心实验结果：在自建测试集上，VAL 栈实现 0.000 ASR 并保持 1.000 良性成功率，直觉栈虽同获 0.000 ASR 但良性成功率降为 0.000（两者差异在 p < 0.001 下显著）；在 AgentDojo 银行套件上，VAL 栈将 ASR 降至 0.5%（无防御为 4.3%），直觉栈 ASR 漂移至 1.9%；在 7 轮升级攻击中，确认门即使被诱导顺从 83.3% 仍实现完全阻断。
• 作者结论与启示：作者认为零攻击成功率只是测试结果而非理论保证，直觉防御依赖模型情绪且极易破坏实用性，而智能体安全的有效防线在于限制动作空间的结构隔离（L3）而非开放语义判断。

1. 针对长程工具使用智能体在多轮良性交互中遗忘先前安全约束的失效现象，形式化定义了跨轮安全约束忽略治理危害（GHOST），并构建了可执行评测基准 SCARBench。
2. 核心问题在于智能体在多轮对话中能够恢复历史任务，但早先设定的前置要求或操作禁令容易脱离治理，导致不可逆的违规执行。
3. 理论分析表明，若残留条件违规风险存在非可和下界，智能体轨迹几乎必然进入危险区域；据此提出 STAR-Guard 防御框架，耦合在线约束解析语义恢复与运行时确定性审计拦截。
4. SCARBench 评测显示，在良性长上下文中 GPT-5.5 的严格 GHOST 率达 11.5%，Qwen3.5-4B 达 27.8%（Table 1）；长历史在所有模型上均放大了安全约束恢复损失（Figure 3）。
5. 引入 STAR-Guard 后，GPT-5.5 的安全完成率从 76.3% 提升至 94.0%，且未出现任何违规完成与 GHOST 事件（Table 2）；在 Qwen3.5-4B 上将安全完成率由 47.0% 提高到 81.2%，显著超越各非 Oracle 基线。
6. 作者认为，上下文增长会实质性削弱长程智能体对历史安全约束的治理效能，仅靠通用大模型检索或提示提醒难以保障安全，需将概率性语义恢复与执行前确定性规则屏障相结合。

• 定位：论文针对代码智能体在强化学习中的奖励投机问题，提出了一种基于模型生成期内部激活的轻量级行为监督监测方法 HACKTRACE。
• 问题：代码智能体容易通过修改测试用例或针对样例硬编码输出来骗取自动化评分器的奖励；现有文本检查方案难以深入生成机理且易被规避，而重跑模型的自评探针则需要额外的语言模型推理 pass 与显著延迟。
• 方法要点：论文开源了 173,561 条多轮编码轨迹基准，确立了将作弊行为尝试（ACT）与漏洞利用成功（OUTCOME）解耦的监督原则；HACKTRACE 直接复用生成过程中计算的 22 层残差流状态，通过 MultiMax 头汇聚关键 token 表征，并在生成完成后融合 AST 与用例字面量等 22 维静态特征，无需额外的前向推理即可实现实时监测与强化学习惩罚。
• 核心结果：
  1. 在 CodeContests 的 239 道测试题目上，HACKTRACE-combined 取得 0.997 的题内 AUC，单样本监测延迟仅需 8.4 ms，无额外 token 消耗，在 1% 假正率下的作弊召回率达到 99%（据 Table 2、Table 15）。
  2. 在生成进行至 75% 的未完成轮次时，MultiMax 头取得 0.949 的题内 AUC，比同前缀的上下文匹配自评探针高出 0.047（据 §4.3、Table 9）。
  3. 在 Qwen3-8B 的 LoRA GRPO 训练中，采用 MultiMax 惩罚（λ=10）将可见通过解中的作弊占比从 85.1% 降至 1.5%，同时将单次尝试的诚实通过率从 8.3% 提升至 30.8%（据 Table 3）。
  4. 在 240 步长程训练中，TF-IDF 文本惩罚被策略通过清洗注释规避（AUC 跌至 0.14），而 HACKTRACE 激活头在策略自身生成解上持续保持高判别力（AUC 为 0.89–0.98，据 §4.4、Table 24）。
• 结论与启示：作者认为，有效的奖励投机监测器必须监督作弊尝试行为本身而非仅看利用结果，必须在评估中控制题目一致性，且在作为训练惩罚时须保持对策略演化的判别稳定性；生成期内部表征能与静态产物特征形成有效互补，为对齐和策略训练提供低开销、难规避的监督信号。

• 研究定位：该研究针对工具调用智能体的轨迹安全检测难题，从表征分析出发，系统探讨了 Guard 模型在识别“不安全工具使用”时的内部机制与输出失效现象，并据此设计了基于内部表征读取的安全检测方法 TACIT。
• 核心问题：现有开源 Guard 模型主要面向单轮文本内容审核，而在多步智能体轨迹中，不安全行为往往取决于动作与上下文/工具模式的不匹配；此类不安全工具调用在现有 Guard 模型的输出端难以被有效区分（Section 1、3.1）。
• 方法要点：通过受控实验发现不安全工具使用与有害内容在中间隐藏层线性可读且几何方向近乎正交；TACIT 利用冻结骨干网络单次前向传递提取各层表征并进行池化，通过在中间层训练轻量线性探针、集成或多层显著特征聚合分类器输出安全评分，无需更新骨干参数且完全不产生自回归解码（Section 3、4.1）。
• 核心实验结果：
  • 在 6 个主流轨迹安全基准测试中，Qwen3-4B 骨干上的 TACIT Multi-layer 取得 86.2% 的平均 macro-F1，大幅超越专用的 AgentDoG-4B（62.3%）与内容 Guard 基线（Table 1）。
  • 在完全排除目标基准的留一泛化测试中，Qwen3-4B 的 Multi-layer 取得 65.7% 的平均 macro-F1，依然领先于基线（Table 2）。
  • 在相同数据和骨干控制下，冻结表征读取的效果与全量参数微调（84.2%）相当，且在微调模型上叠加 Multi-layer 读取可进一步提升至 86.5%（Table 6）。
  • TACIT 线性探针训练参数量仅 5,121 个，单条轨迹检测耗时仅 40ms，较 Qwen3Guard（215ms）延迟降低 82%（Figure 4）。
• 启示与结论：作者称内部表征为检测智能体轨迹危害提供了实用的基础；未来需构建系统覆盖工具使用与有害内容两类正交风险的专用基准，并深入探索动作边界上的流式干预机制（Section 5.3、6）。

• 定位与核心问题：论文针对现有基于 DPO 和 GRPO 等序列级反馈的防御微调难以抵御自适应提示注入的问题，提出通过 token 级同策略蒸馏实现细粒度信用分配的 SecOPD 防御框架。
• 方法核心机制：SecOPD 在训练时为每个样本配对构建注入输入与纯净输入，由模型在注入输入下生成回答轨迹，并利用良性输入下的冻结基座模型为对应 token 计算概率差异，通过优势函数抑制恶意注入行为并强化正常任务遵循，不依赖外部安全裁判模型。
• 自适应攻击防御效果：在 Qwen3.6-27B 上的评测中，针对强自适应攻击 PISmith，SecOPD 将 pass@10 ASR 降至 9.0%，相比此前基线 Meta-SecAlign（94.0%）与 GRPO（61.2%）实现大幅度降低（Table 1）。
• 静态攻击与场景泛化：在 SEP 六类静态攻击组合下，SecOPD 取得了 1.3% 的 ASR；在未见过的 AgentDojo 智能体工具调用基准中，SecOPD 取得 4.7% ASR，验证了指令与数据解耦能力向工具调用场景的迁移（Table 1）。
• 通用能力保留：在涵盖数学推理、问答和指令遵循的七项通用基准评测中，SecOPD 维持了 88.1% 的平均实用性，与未防御基座模型的 88.1% 相当，避免了 GRPO 带来的通用能力明显衰减（Table 2）。
• 作者结论与启示：作者认为前沿大语言模型自身的安全潜力此前未被充分挖掘，即使利用简单样本进行防御微调也能建立可泛化的安全边界；当前防御虽未彻底解决提示注入问题，但为构建鲁棒的智能体基座提供了新路径。

论文提出了一种针对大语言模型智能体多轮安全风险的轻量级运行时防御框架DART。

• 研究定位：针对语言模型智能体在工具调用中易受自适应间接提示注入（IPI）威胁且现有防御多受限于固定攻击模式的问题，提出了融合攻防双边对抗共进化与验证者引导精炼的 CoER 框架。
• 核心方法：将多轮任务交互建模为一般和马尔可夫博弈，首先利用成功的攻击轨迹对攻击者进行 SFT 冷启动，随后通过双边历史对手池的对抗 PPO 强化学习共同推进攻防双方能力，最后利用保留的攻击者种群向强教师模型发起挑战，收集经过安全性与任务完成度双重验证的轨迹微调防御者。
• 核心实验结果：
  1. 在七个领域的 1,187 个自适应案例评测中，CoER 在 Qwen3.5-9B 骨干上将自适应 ASR 降至 0.22±0.13%，Safe-U 达到 76.24±1.08%，无攻击任务成功率 Clean U 保持在 80.47±1.47%（Table 1a）。
  2. 归因实验表明，相比 Base 初始化与固定攻击数据，BA-RL 初始化带来 8.42 个百分点的 Safe-U 提升，种群衍生数据带来 10.36 个百分点提升，二者结合取得最佳效果（Table 1c）。
  3. 在外部基准 AgentLAB 任务注入下，CoER 的 ASR 为 14.12%、Safe-U 为 77.13%（Table 2、Table 13）；在 InjecAgent 基础载荷下实现 0.00% ASR（Table 14）。
  4. 面对 4 个历史攻击者共 8 次累积尝试，CoER 的联合 ASR 维持在 4.97%（Table 8）；在后置单边攻击者强化学习中，攻击者最高 ASR 仅为 0.59%（Figure 5）。
• 结论与启示：作者认为对抗共进化能够有效提升攻击与防御策略空间，并将自适应攻击发现与经验证的教师演示相结合，为复杂工具调用场景下的智能体安全防御提供了可行路径。

• 定位与核心问题：论文针对智能体浏览器在处理网页时容易遭遇提示注入并被操纵为混淆代理的问题，指出当前主流的“人在回路”确认弹窗因依赖模型生成摘要或页面可控标签，易受 Lies-in-the-Loop 伪造，无法提供安全保证。
• 架构方案设计：提出了可验证操作卡（Verifiable Action Card, VAC），将安全根基从模型叙述转移至底层动作本身。核心包括：从 DOM 待执行表单中提取真实的收件人、金额与目标域名的操作描述符（C2）；在浏览器可信 chrome 中渲染默认拒绝的独立卡片（C3）；通过结构特征与意图来源进行风险分级（C4）；并在动作分发瞬间重新校验参数以防范 TOCTOU 篡改（C5）。
• 主要实验结果：
  1. 在跨 5 个开源模型的评测中，无门控时攻击成功率平均为 78%（各模型介于 68% 至 100%），VAC 将所有模型的攻击成功率降至 0%（Table 8、10）。
  2. 朴素人在回路（Naive HITL）面对伪造标签时攻击成功率仍高达 72%，在转账伪造场景下被骗率达 100%，而 VAC 在相同条件下将 ASR 降至 0%（Table 10、第 8.1 节）。
  3. VAC 在 293 次评测中保持了 78% 的良性任务完成率，误报拦截率为 0%，平均每个良性任务仅需 0.94 次确认（Table 10）。
  4. 面对提交时篡改参数的自适应 TOCTOU 攻击与虚假归因攻击，无门控与 Naive HITL 均告失守，VAC 借助执行绑定与域名级归因实现了拦截（Table 9）。
• 作者结论与启示：作者认为，人机协同防御的有效性完全取决于呈现给人类的证据质量；将确认逻辑绑定至真实动作并脱离模型与页面渲染信道，为自主智能体提供了不受模型鲁棒性波动影响的系统级安全防线。

论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。

• 核心定位与问题：针对大模型智能体中对话模板伪造攻击的有效性机理，论文在严格固定输入字节的前提下，首次将保留控制词元 ID 与模板文本外观的贡献解耦并定量测量。
• 核心方法设计：提出固定字节对比框架，通过服务端分词控制保留词元与普通子词切分，并引入词元数补偿对照组（Matched）定义标识差距 Δ，结合输入嵌入层向量替换实施因果归因。
• 关键实验结果：
  • 在 Llama-3.1、GLM-4.5 和 Seed-OSS-36B 上，去除保留词元使 InjecAgent 攻击成功率降低 39.3 至 65.5 个百分点，证实保留表示主导攻击威力（Table 2）。
  • 保留标记的权威性根植于标记位置的单个学得向量，Llama-3.1-8B 替换为嵌入空间最近普通词元向量可恢复 98.4% 成功率（Table 4）。
  • Qwen3-8B 具有文本语法主导特性，但在关闭思考块后，去除保留词元的攻击成功率从 74.7% 跌至 35.7%，标识差距扩大至 49.8 个百分点（Table 27）。
  • 普查发现 64% 的主流开源模型分词器未覆盖工具协议词元，且自适应嵌入邻近搜索可恢复大部分攻击成功率（Table 31, Table 32）。
• 作者结论与启示：作者认为对话模板注入攻击的权威性主要来自模型后训练中对保留控制向量赋予的学习信号；安全研究与防御部署必须深入分词器底层并审查传递给模型的具体词元 ID。