AI 安全 Stackelberg 模型中的防御充分性研究

研究将 AI 系统防御建模为防御者主导的 Stackelberg 博弈，防御者投入主动发现与被动修复，攻击者选择搜索强度。理论证明：若每个未解决攻击都有持续被发现的机会、修复有效且后续更新保留既有防护，则有限攻击面可以概率 1 被防御；并给出完成时间界，扩展到攻击面增长、修复跨相关攻击泛化及多种发现机制的情形。数值实验刻画了防御者不投入、只投入一种或同时投入两种能力的均衡区间，并显示更快修复可缩短被攻陷时长但不降低被攻陷概率。

AdvSim2Real 用任务与注入对手共同演化训练网页智能体

AdvSim2Real 提出在冻结的网页世界模型中让任务课程、注入对手与智能体共同演化，以提升网页智能体对页面植入指令的鲁棒性。课程只奖励智能体约一半时间能解决的任务，对手只奖励能把判定成功翻转为失败的注入。训练后 4B 智能体的任务完成率在有攻击和无攻击下均上升，并能抵御训练中未见过的前沿模型对手，能力提升也迁移到真实浏览器。在 150 个网页任务上，面对这一未见对手，AdvSim2Real 相对基础智能体把完成率提升 33.6%。

AgentTrap：面向自主渗透测试 Agent 的有状态反馈欺骗蜜罐

研究者提出 AgentTrap，一种面向自主渗透测试 Agent 的闭环蜜罐，通过哨兵端点避免误伤正常流量、基于被保护应用的状态化欺骗，以及行为引导的升级策略来维持交互并收集 Agent 侧行为证据。在部署的 Web 应用中，研究团队用真实应用端点与独立蜜罐端点、三种防御策略对八种自主渗透测试 Agent 进行评测。相比无防御，AgentTrap 将真实目标的总体攻击成功率从 95.8% 降至 79.2%，并在 18.8% 的运行中成功诱导出攻击方 API key，效果优于静态欺骗与固定升级策略。轨迹分析显示，Agent 抵御此类反制的能力同时取决于模型层面对欺骗性请求的识别和架构层面对敏感资源的隔离。

COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

剑桥大学等机构的研究者提出 COBRA，一种针对计算机使用 Agent（CUA）分支引导攻击的系统级防御架构。作者指出，Dual-LLM 模式虽能保证控制流完整性，但在图形环境中计划必须按运行时网页内容分支，攻击者可构造不可信数据把 Agent 推向预先批准的危害路径，而无需注入新指令。为此作者构建 STEER-Bench，覆盖 9 个领域 101 个任务，测得分支引导攻击对标准 CUA 的攻击成功率为 94.4%，对原版 Dual-LLM 为 89.5%。COBRA 在规划阶段为每个分支预先固定目的地、端点和工具参数约束，由 Branch Resolution Hub 校验运行时分支与参数，并在 HTTP 与 MCP 代理处强制执行。代码已开源于 GitHub。

推荐理由论文把分支引导攻击归为数据流完整性问题，并给出在 HTTP 与 MCP 边界施加分支级约束的架构，附开源代码与多基准结果。

面向安全 AI 渗透测试智能体：安全威胁、护栏与架构视角

针对 LLM 驱动的自主渗透测试智能体，研究者系统分析了其智能体架构、信任边界与攻击面，提出覆盖 LLM 生命周期攻击、智能体架构攻击和跨领域行为攻击的威胁分类体系。研究指出，具备持久记忆、真实世界行动能力和长时程推理的渗透测试智能体带来不同于传统对话式 LLM 的安全隐患，现有对话 AI 护栏机制可能不足以保障其安全，并梳理了现有护栏的局限与关键研究空白，探讨面向下一代 AI 攻防系统的专用、上下文感知与架构感知护栏方向。

SCOPE：训练有能力且安全的计算机使用智能体

针对仅以任务成功为目标的训练无法让计算机使用智能体（CUA）形成可靠安全行为的问题，研究者提出 SCOPE，联合后训练任务执行能力与安全感知决策，并配套 SCOPE-Gen 自动生成可验证任务及其环境风险变体，构建含能力演示、安全续行与明确拒答的 SATraj-OS 轨迹数据集。以 Qwen3.5-9B 为起点，SCOPE-RL 在 OSWorld 上取得 54.17% 任务成功率、在 OS-BLIND 上取得 64.30% 攻击规避率，综合能力—安全得分 58.80%，为所评估智能体中最高。消融显示拒答轨迹贡献了大部分攻击规避增益，风险处理轨迹则在相近攻击规避水平下保留更高任务效用。

SkillSecurer：检测并修补 AI Agent 技能中的提示注入漏洞

研究者提出 SkillSecurer，一个全智能体框架，用于生成、检测、定位并修复 AI Agent 技能中的安全风险。其红方智能体跨九类威胁生成上下文兼容的注入并记录具体改动，蓝方智能体分析完整技能包、给出有依据的证据并提出补丁；在受控实例上，验证器将发现与补丁同记录的注入比对，实现注入级评估。使用最佳后端 LLM 时，SkillSecurer 是唯一实现 100% 注入检测率的扫描器。作者随后分析某技能库中的热门技能，发现超过 17% 的被检技能存在潜在漏洞，并在实测部分技能时触发了真实事件。结论认为，上下文感知的 LLM 分析能提供可靠的注入定位与可操作的修复，而不止于技能层面的标记。

MOMAT：面向量化 LLM 低功耗越狱防御的多图集混合框架

研究者提出 MOMAT（Mixture of Multiple Atlases），一种面向边缘设备上量化大语言模型的硬件增强安全框架，用于缓解量化削弱对齐防护后模型易被越狱攻击的问题。每个 atlas 对应有害或良性样本集与策略模板的语义聚类，实现领域局部化的 RAG 防护，以缓解大规模异构安全数据库中的维度灾难与语义稀疏问题。MOMAT 对每个提示词从所有 atlas 中检索 top-k 相似特征，交由轻量 MoE 检测器判断，并用 CiM 加速的相似度引擎完成低功耗图集内检索。其 CiM 检索将 100 条查询的批处理从 15,052.44 ms 加速到 3,207.21 ns，能耗从 8.1×10^7 μJ 降至 3.32 μJ，相比基于 DRAM 的 Raspberry Pi 基线约降低 2.5×10^5 倍能耗。

Aletheia：面向编码 Agent 规则的权限最小化测试框架

Aletheia 是一个针对编码 Agent 仓库指令文件的权限最小化测试框架，用于发现恶意规则在生成正确补丁的同时索取凭据访问或数据传输权限。它把规则请求的权限翻译为带类型语言并合成可执行沙箱配置，在完整权限和逐项移除权限的独立限制下运行同一条未修改的规则与任务；若在严格削减权限后仍通过功能测试，就得到该权限可被舍弃的见证，再结合任务上下文诊断可疑请求。作者形式化了配置合成及见证与强制限制之间的条件。在共享重构任务上，Aletheia 执行并检出全部 314 条 AIShellJack 攻击输入，对五个良性模板无误报；在 80 条人工核验的良性 GHAgentFiles 规则中产生 3 个误报（3.75%）。