防御arXiv:2605.17380 · 5月
Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月
提出企业级智能体检测系统ADR，检测提示注入与恶意MCP
测试
GPT-4o、Claude Sonnet 4、Llama Guard 3-8B 等 4 个应用层
场景
编程 Agent
摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。
定位与目标：论文针对企业 MCP 智能体面临的未授权访问、数据外传等威胁，提出集成了端点遥测、分级在线检测与离线进化红队的防护系统 ADR。
核心方法：通过端点 Sensor 解析本地缓存重建“提示词-思考-工具调用-环境”的完整因果链；在线采用轻量 LLM 进行 Tier 1 初筛并由 Tier 2 推理智能体结合源码与策略 MCP 进行深度调查；离线由 Explorer 进行进化式红队生成威胁情报并闭环反哺。
主要实验结果：在包含 133 个 MCP 服务器的 ADR-Bench 上，ADR 实现 0 误报、0.667 召回率和 0.800 F1 值（基线 F1 仅 0.178–0.366）；在 AgentDojo 上检出全部 38 个注入攻击，F1 达 0.962；单任务成本为 $0.024。
生产落地验证：在 Uber 逾 7,200 台企业终端上部署超过 10 个月，并利用预执行 Hooks 拦截 206 处凭据外传风险（97.2% 精确率）。
作者结论与启示：作者认为端点因果链遥测与分级上下文推理是应对智能体语义攻击的关键，并计划进一步探索网关层实时防护与多智能体协议适配。
完整解读
防御arXiv:2609.12001 · 9月10日
Pheo 提出 OATS：用确定性解析器在运行时治理 Agent 技能动作
提出OATS，用确定性解析器在运行时治理技能动作
测试
Claude Sonnet 5、GPT-5.5、gpt-5-mini 等 4 个应用层
场景
编程 Agent
摘要论文论证了发布时恶意扫描无法替代运行时动作许可控制，提出了轻量确定性控制门OATS，展示了双层防御组合的必要性。
定位与核心问题：本研究针对AI智能体技能生态中“发布时恶意检测”无法解决“具体机器上运行时权限许可”的问题，论证了动作级运行时控制的必要性并设计了轻量级防御系统。
方法架构：作者设计了OATS运行时控制门，核心包含一个67.6 ms端到端延迟的确定性解析器（将shell命令映射到33个后果类，对无匹配项兜底拦截，决策路径无模型），一个基于（资源，后果类）二元组的分车道信任账本（13个高危类永不晋升），以及基于零失误二项分布反演的操作员风险容忍度晋升阈值模型。
关键发现一：良性与许可的正交性：在ClawHub的66,192个技能中，29,257个被所有扫描器和法官评为clean的技能里，有705个技能（来自135家独立发布商）包含CIS Control 2.7等规范禁止的未授权或远程执行指令，人工审计显示其精确率为92.0%且无恶意意图标记。
关键发现二：静态审查与动态执行脱节：在Claude Sonnet 5实机运行的39个clean技能中，仅1.4%的执行命令与文档字面完全一致，34.7%的命令后果类别从未在文档代码块中出现；在53个包含违规指令的clean技能中，智能体在23个技能里实际发起了违规操作，OATS对这23次动作实现了100%拦截或挂起。
关键发现三：单命令防御的边界：在语义保持重写对抗基准上，解析器对包装与链式调用的识别率为100%，但在跨命令拆解、引号混淆等手段下整体宏平均解析率仅为52%，显示出无状态单命令匹配的局限。
作者结论与启示：作者认为发布前制品扫描与运行时动作控制属于正交互补层，分别回答“制品是否恶意”与“操作是否许可”，任何一层均无法单独解决智能体安全问题；应将注册表扫描结果作为运行时账本的输入而非竞争替代品。
完整解读
防御arXiv:2609.33039 · 9月27日
TACIT：从 LLM 内部状态检测 Agent 轨迹危害
提出基于冻结隐藏状态表征探针的框架，检测智能体轨迹中的安全风险
测试
Qwen3Guard-4B、LlamaGuard3-8B、AgentDoG-4B 等 9 个应用层
场景
AI Agent
摘要提出基于内部表征的智能体轨迹安全检测方法 TACIT，揭示工具风险表征特性并在多项基准上提升检测表现与效率。
研究定位：该研究针对工具调用智能体的轨迹安全检测难题，从表征分析出发，系统探讨了 Guard 模型在识别“不安全工具使用”时的内部机制与输出失效现象，并据此设计了基于内部表征读取的安全检测方法 TACIT。
核心问题：现有开源 Guard 模型主要面向单轮文本内容审核，而在多步智能体轨迹中，不安全行为往往取决于动作与上下文/工具模式的不匹配；此类不安全工具调用在现有 Guard 模型的输出端难以被有效区分（Section 1、3.1）。
方法要点：通过受控实验发现不安全工具使用与有害内容在中间隐藏层线性可读且几何方向近乎正交；TACIT 利用冻结骨干网络单次前向传递提取各层表征并进行池化，通过在中间层训练轻量线性探针、集成或多层显著特征聚合分类器输出安全评分，无需更新骨干参数且完全不产生自回归解码（Section 3、4.1）。
核心实验结果：
在 6 个主流轨迹安全基准测试中，Qwen3-4B 骨干上的 TACIT Multi-layer 取得 86.2% 的平均 macro-F1，大幅超越专用的 AgentDoG-4B（62.3%）与内容 Guard 基线（Table 1）。
在完全排除目标基准的留一泛化测试中，Qwen3-4B 的 Multi-layer 取得 65.7% 的平均 macro-F1，依然领先于基线（Table 2）。
在相同数据和骨干控制下，冻结表征读取的效果与全量参数微调（84.2%）相当，且在微调模型上叠加 Multi-layer 读取可进一步提升至 86.5%（Table 6）。
TACIT 线性探针训练参数量仅 5,121 个，单条轨迹检测耗时仅 40ms，较 Qwen3Guard（215ms）延迟降低 82%（Figure 4）。
启示与结论：作者称内部表征为检测智能体轨迹危害提供了实用的基础；未来需构建系统覆盖工具使用与有害内容两类正交风险的专用基准，并深入探索动作边界上的流式干预机制（Section 5.3、6）。
完整解读
防御arXiv:2608.21500 · 8月22日
SecOPD 用同策略蒸馏把自适应提示注入攻击成功率降至 9.0%
提出SecOPD同策略蒸馏微调，降低模型对自适应提示注入的顺从
测试
Qwen3.6-27B (Undefended)、Meta-SecAlign、SecOPD应用层
场景
AI Agent
- 模型加固
- 提示注入
摘要SecOPD 通过纯净上下文 token 级同策略蒸馏，在 Qwen3.6-27B 上将自适应攻击 ASR 降至 9.0% 并保持了模型通用能力。
定位与核心问题：论文针对现有基于 DPO 和 GRPO 等序列级反馈的防御微调难以抵御自适应提示注入的问题，提出通过 token 级同策略蒸馏实现细粒度信用分配的 SecOPD 防御框架。
方法核心机制：SecOPD 在训练时为每个样本配对构建注入输入与纯净输入，由模型在注入输入下生成回答轨迹，并利用良性输入下的冻结基座模型为对应 token 计算概率差异，通过优势函数抑制恶意注入行为并强化正常任务遵循，不依赖外部安全裁判模型。
自适应攻击防御效果：在 Qwen3.6-27B 上的评测中，针对强自适应攻击 PISmith，SecOPD 将 pass@10 ASR 降至 9.0%，相比此前基线 Meta-SecAlign（94.0%）与 GRPO（61.2%）实现大幅度降低（Table 1）。
静态攻击与场景泛化：在 SEP 六类静态攻击组合下，SecOPD 取得了 1.3% 的 ASR；在未见过的 AgentDojo 智能体工具调用基准中，SecOPD 取得 4.7% ASR，验证了指令与数据解耦能力向工具调用场景的迁移（Table 1）。
通用能力保留：在涵盖数学推理、问答和指令遵循的七项通用基准评测中，SecOPD 维持了 88.1% 的平均实用性，与未防御基座模型的 88.1% 相当，避免了 GRPO 带来的通用能力明显衰减（Table 2）。
作者结论与启示：作者认为前沿大语言模型自身的安全潜力此前未被充分挖掘，即使利用简单样本进行防御微调也能建立可泛化的安全边界；当前防御虽未彻底解决提示注入问题，但为构建鲁棒的智能体基座提供了新路径。
完整解读
评测与基准arXiv:2609.08258 · 9月8日
研究实测五套 Agent 记忆系统均不执行撤销标记
评测智能体记忆软撤回是否生效，并提出陈旧检索防护
测试
GPT-5.5、Grok-4、DeepSeek-V4-Flash 等 9 个应用层
场景
AI Agent
摘要系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞，证明写回会击穿现有防御，并提出读取端防护作为必要控制手段。
研究定位：该研究首次系统性实证评估了多款主流大语言模型智能体记忆框架在软撤回机制下的运行时安全边界与撤回执行有效性。
核心问题：现代记忆系统普遍采用将陈旧知识标记为无效而非物理删除的软撤回设计，但默认检索机制是否会在读取时拦截失效记录、避免智能体依据作废策略采取危险操作，此前未有深入验证。
评测与防御设计：研究在直接与间接两种插入模式下向 5 款记忆系统写入作废与替代策略，跨越 9 个模型评估其检索暴露与不安全决策表现；针对系统未默认过滤的现状，提出了在检索返回路径进行元数据校验与成对冲突检测的 Stale-Retrieval Guard 组件。
主要实验发现：直接写入且无防御时，两款暴露系统（Graphiti与mem0 exp.）将作废记录全部返回且排在首位，导致智能体平均在 43.1%（699/1,620）的试验中执行不安全行动（Table 6）；即使提示词明确禁止危险操作，模型不安全率仍有 12.9%（Table 8）；存储级过滤虽能在单次交互中将不安全率归零，但在智能体将决策回写记忆库后，3 跳内的不安全率迅速反弹至 83.1%（Table 14）。
作者结论与启示：作者指出记忆系统的安全盲区并非源于外部投毒或数据来源伪造，而是内部合规生命周期中缺乏检索时有效性校验；仅依赖写入来源证明或模型提示词无法抵御作废策略，必须在读取管道上强制实施严格的陈旧记录过滤。
完整解读
防御arXiv:2609.14003 · 9月12日
FlowSeal：用信息流控制阻断 LLM Agent 的隐私泄露
提出FLOWSEAL，在工具边界以信息流控制阻断智能体隐私泄露
测试
DeepSeek-V3.2、DeepSeek-R1、GPT-4.1-mini 等 4 个应用层
场景
AI Agent
摘要作者分析大模型智能体隐私检查与攻击面重合问题，提出外部拦截防御FLOWSEAL并验证有效性。
研究定位：该研究针对个人大模型智能体在协作交互中的隐私保护问题，揭示了依赖提示词进行内部推理防御的结构性脆弱性，并提出了基于信息流控制的系统层防御。
核心问题：现有防御将隐私判断交由智能体在攻击者可控的对话上下文中进行，使得防御执行点与攻击面重合，攻击者可通过任务重构（CWL）、省略披露（SOA）和跨通道解耦（CDA）绕过检查。
防御机制：FLOWSEAL基于数据溯源对敏感记录打标，在工具调用边界部署独立代码拦截器执行三级格策略，并借助隔离的LLM内容检查器做语义去分类，辅以协作API引导智能体正常交互。
关键实验结果：在SPR基准（DeepSeek-V3.2）上，FLOWSEAL将CWL的条目泄漏率从SPR-D2的52.2%降至0.5%，SOA从75.6%降至2.3%，CDA从43.8%降至2.2%；良性任务实用率保持在72.4%；在真实Gmail与Notion的MCP测试中将SOA泄漏率降至0.0%。
消融与开销：工具拦截器是防御核心（禁用后CWL泄漏率回升至28.4%）；相较无防御设置，FLOWSEAL每轮仅增加0.017美元成本与37%的延迟。
作者结论与启示：作者认为，通过将安全执行移至对抗性重构无法触及的外部层，智能体可以获得更稳定的隐私保护，未来需推动操作系统、工具层与模型对齐的多层纵深防御。
完整解读
评测与基准arXiv:2609.19587 · 9月17日
红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器
红队评估编码智能体的阻断监视器，并提出Auto Mode++加固
测试
Opus 5、Opus 4.8、Opus 4.7 等 8 个应用层
场景
编程 Agent
摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。
定位与核心问题：本研究系统评估了生产级代码智能体阻断监视器在面对具有持续对抗意图的智能体时的表现，重点关注防止智能体造成外发权重等不可逆灾难性破坏的能力。
方法与防御设计：研究梳理出监视器注入、多上下文攻击、覆盖漏洞和策略失效四类攻击形态；针对上述隐患，作者提出了包括heredoc轮次隔离、Unicode转义、强制监控工作目录编辑、压缩摘要意图审查以及三阶段分层审查在内的Auto Mode ++防御方案。
主要实验发现：
在基准评估中，生产环境默认的Auto Mode和Guardian在Opus 5攻击下四类攻击平均ASR分别达65%和72%（Figure 1）。
注入攻击在扁平化文本渲染下呈现较高失效率，攻击者利用换行伪造可使Auto Mode的注入ASR达78.4%，而采用heredoc框架与转义的Auto Mode ++将其抑制至1.6%（Figure 5a）。
动作碎片化攻击效果明显，随着多智能体协同数量由2个增至20个，Opus 5的ASR由约30%提升至88%；单智能体恶意压缩20次后ASR升至85%（Figure 7）。
Auto Mode ++将四类攻击平均ASR由65%降低至9%（Figure 1），同时在4,000个良性SWE-chat动作上保持误报率低于1%、单步延迟约1.2秒（Figure 8）。
作者启示与结论：作者认为针对单步注入与工作目录覆盖漏洞的工程防御成本较低且具有防御效果；然而，防范跨越会话与压缩边界的多上下文攻击必须依赖具备全局上下文感知能力的智能体审查，这与交互式部署的延迟要求存在固有张力，在可接受成本下防范多上下文攻击仍是一个开放问题。
完整解读
防御arXiv:2609.07529 · 9月7日
CoER：用对抗协同演化与精炼防御自适应间接提示注入
提出CoER，用对抗共进化与精炼训练智能体抵御自适应间接提示注入
测试
Qwen3.5-9B、MAGIC (Qwen2.5-7B)、Lifelong Defender i2 RR 等 9 个应用层
场景
AI Agent
- 模型加固
- 提示注入
摘要CoER针对自适应IPI结合双边对抗共进化与强教师精炼，在七领域将Qwen3.5-9B的自适应ASR降至0.22%。
研究定位：针对语言模型智能体在工具调用中易受自适应间接提示注入（IPI）威胁且现有防御多受限于固定攻击模式的问题，提出了融合攻防双边对抗共进化与验证者引导精炼的 CoER 框架。
核心方法：将多轮任务交互建模为一般和马尔可夫博弈，首先利用成功的攻击轨迹对攻击者进行 SFT 冷启动，随后通过双边历史对手池的对抗 PPO 强化学习共同推进攻防双方能力，最后利用保留的攻击者种群向强教师模型发起挑战，收集经过安全性与任务完成度双重验证的轨迹微调防御者。
核心实验结果：
在七个领域的 1,187 个自适应案例评测中，CoER 在 Qwen3.5-9B 骨干上将自适应 ASR 降至 0.22±0.13%，Safe-U 达到 76.24±1.08%，无攻击任务成功率 Clean U 保持在 80.47±1.47%（Table 1a）。
归因实验表明，相比 Base 初始化与固定攻击数据，BA-RL 初始化带来 8.42 个百分点的 Safe-U 提升，种群衍生数据带来 10.36 个百分点提升，二者结合取得最佳效果（Table 1c）。
在外部基准 AgentLAB 任务注入下，CoER 的 ASR 为 14.12%、Safe-U 为 77.13%（Table 2、Table 13）；在 InjecAgent 基础载荷下实现 0.00% ASR（Table 14）。
面对 4 个历史攻击者共 8 次累积尝试，CoER 的联合 ASR 维持在 4.97%（Table 8）；在后置单边攻击者强化学习中，攻击者最高 ASR 仅为 0.59%（Figure 5）。
结论与启示：作者认为对抗共进化能够有效提升攻击与防御策略空间，并将自适应攻击发现与经验证的教师演示相结合，为复杂工具调用场景下的智能体安全防御提供了可行路径。
完整解读
防御arXiv:2609.18411 · 9月16日
可验证行动卡片 VAC：为智能体浏览器提供可信人在回路确认
提出VAC，用真实操作参数与来源隔离保护智能体浏览器确认
测试
gpt-oss-120b、Gemini-2.5-Flash、GPT-4.1 等 6 个应用层
场景
网页与电脑操作
摘要论文针对人在回路弹窗易受骗问题，提出提取 DOM 真实参数的外置验证卡 VAC，在跨模型评测中将攻击成功率完全归零。
定位与核心问题：论文针对智能体浏览器在处理网页时容易遭遇提示注入并被操纵为混淆代理的问题，指出当前主流的“人在回路”确认弹窗因依赖模型生成摘要或页面可控标签，易受 Lies-in-the-Loop 伪造，无法提供安全保证。
架构方案设计：提出了可验证操作卡（Verifiable Action Card, VAC），将安全根基从模型叙述转移至底层动作本身。核心包括：从 DOM 待执行表单中提取真实的收件人、金额与目标域名的操作描述符（C2）；在浏览器可信 chrome 中渲染默认拒绝的独立卡片（C3）；通过结构特征与意图来源进行风险分级（C4）；并在动作分发瞬间重新校验参数以防范 TOCTOU 篡改（C5）。
主要实验结果：
在跨 5 个开源模型的评测中，无门控时攻击成功率平均为 78%（各模型介于 68% 至 100%），VAC 将所有模型的攻击成功率降至 0%（Table 8、10）。
朴素人在回路（Naive HITL）面对伪造标签时攻击成功率仍高达 72%，在转账伪造场景下被骗率达 100%，而 VAC 在相同条件下将 ASR 降至 0%（Table 10、第 8.1 节）。
VAC 在 293 次评测中保持了 78% 的良性任务完成率，误报拦截率为 0%，平均每个良性任务仅需 0.94 次确认（Table 10）。
面对提交时篡改参数的自适应 TOCTOU 攻击与虚假归因攻击，无门控与 Naive HITL 均告失守，VAC 借助执行绑定与域名级归因实现了拦截（Table 9）。
作者结论与启示：作者认为，人机协同防御的有效性完全取决于呈现给人类的证据质量；将确认逻辑绑定至真实动作并脱离模型与页面渲染信道，为自主智能体提供了不受模型鲁棒性波动影响的系统级安全防线。
完整解读

已经到底了