防御arXiv 2610.12463
论文复盘 OpenAI、Anthropic 与 Google Agent 安全事件并提出 PASAC 框架
提出 PASAC 与边界保证栈，把智能体评测越界纳入全周期可验证保证
- arXiv
- 2610.12463
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
全部论文
另有 535 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2605.18583
OverEager-Gen 发布：测量编码 Agent 在良性任务上的越权操作
发布 OVEREAGER-GEN，评测编码 Agent 在良性任务上的越权操作
- arXiv
- 2605.18583
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
摘要论文构建了首个良性任务代码智能体越权基准，发现框架架构主导越权风险。
- 评测与基准arXiv 2610.05532
DelegationBench
提出 DelegationBench，评测智能体该请示用户时是否实际询问
- arXiv
- 2610.05532
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等 10 个
摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。
DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。
- 评测与基准arXiv 2610.07359
论文实测 Agent 工具调用门控栈的失败相关性
提出 nmult，实测 Agent 动作门控栈的层间错误相关性
- arXiv
- 2610.07359
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- AgentTrust runtime (174 rules)、GPT-5.5 (gpt55)、claude-haiku-4-5-20251001 等 7 个
- 风险Agent 危险操作
- 组件权限与沙箱
摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。
论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。
- 防御arXiv 2610.04699
CoVer：用干预检验为 Agent 构造可判定规则边界
提出 COVER，以不咨询模型的干预门准入 Agent 规则自动执行
- arXiv
- 2610.04699
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Sonnet、Claude Opus、GPT-4o 等 5 个
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要自可判定不能向模型索取。
这篇工作测的是智能体验证器在检查之前的分流：外部规则里的哪条谓词能用固定过程解决，哪条必须交给评审。
- 防御arXiv 2610.04975
论文提出长程智能体自生子目标的运行时授权机制
提出运行时授权机制，检查长程智能体自生子目标是否精化根契约
- arXiv
- 2610.04975
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要用版本化目标图授权保住重规划，并挡住自生成子目标变成新权威。
长时程工具使用把目标演化变成授权状态的一部分。本文在单 principal、单根、有限结构化域中，把自生成子目标的创建、替换、同根委托和同根 join 做成可检查转移，并在提交边界重查受保护效应。
- 评测与基准arXiv 2610.06171
ControlPed 生成逼真行人危险动作场景，七款端到端驾驶模型 HDScore 从 88.8 降至 47.4
提出 ControlPed，生成可控行人危险场景评测端到端驾驶模型
- arXiv
- 2610.06171
- 发表
- 层
- 模型层
- 场景
- 具身与机器人
- 被测模型
- DiffusionDrive、SSR、VAD 等 7 个
- 风险Agent 危险操作
- 组件视频
- 评测与基准arXiv 2610.05622
UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力
发布 UndoBench，分离工具型智能体的任务能力与故障恢复能力
- arXiv
- 2610.05622
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Gemini 3.8 Flash 等 4 个
摘要UndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复，揭示恢复能力高度依赖外部变异所处阶段。
- 防御arXiv 2609.12001
Pheo 提出 OATS：用确定性解析器在运行时治理 Agent 技能动作
提出 OATS，用确定性解析器在运行时治理 Agent 技能动作
- arXiv
- 2609.12001
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要论文论证了发布时恶意扫描无法替代运行时动作许可控制，提出了轻量确定性控制门 OATS，展示了双层防御组合的必要性。
- 防御arXiv 2610.02456
SideKernel：面向 macOS 上 AI 编码 Agent 的 microVM 沙箱
提出面向 macOS 编程 Agent 的 microVM 沙箱 SideKernel
- arXiv
- 2610.02456
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
- 防御arXiv 2610.02664
论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束
提出 STAR-Guard 双层防御，缓解长程智能体跨轮遗忘安全约束
- arXiv
- 2610.02664
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.5、DeepSeek-V4-Pro、GLM-5.2 等 7 个
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。
- 风险行为arXiv 2609.39050
研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控
测量良性多智能体协作中自发隐蔽传递凭据以绕过监控
- arXiv
- 2609.39050
- 发表
- 层
- 应用层
- 被测模型
- DeepSeek-V4-Pro、devstral-2512、gpt-oss-120b 等 14 个
摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。
- 评测与基准arXiv 2610.01508
OverAct：衡量并缓解 LLM 工具调用智能体的主动越权取数
发布 OVERACT 衡量工具调用智能体的主动越权取数，并用 SELFAUDIT 缓解
- arXiv
- 2610.01508
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen3.6-Flash、Qwen3.6-Plus、Qwen3.7-Max 等 7 个
- 防御权限与审批
- 风险Agent 危险操作
摘要七模型普遍超额调用。
七个来自四个家族的工具调用模型，在保守的字面授权准则下会检索超出请求的私人数据。作者把该行为称为 proactive over-authorization，用 OVERACT 做无 LLM 评审的测量，并用 SELFAUDIT 做不依赖 oracle 的执行前过滤。
- 防御arXiv 2609.33039
TACIT：从 LLM 内部状态检测 Agent 轨迹危害
提出 TACIT，从冻结内部表征检测智能体有害轨迹
- arXiv
- 2609.33039
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen3-4B、Llama-3.1-8B、Qwen3-4B-Instruct 等 4 个
- 防御检测与过滤
- 攻击提示注入
- 风险Agent 危险操作
- 组件护栏与评审
摘要提出基于内部表征的智能体轨迹安全检测方法 TACIT，揭示工具风险表征特性并在多项基准上提升检测表现与效率。
- 其他arXiv 2610.00902
用平均场博弈分析 AI 安全：以 2026 年 7 月 Hugging Face 事件为例
用均值场最优停止分析多智能体集体攻击的均衡条件
- arXiv
- 2610.00902
- 发表
- 层
- 应用层
- 场景
- 多智能体
摘要结构阈值给出干预杠杆。
- 防御arXiv 2609.38983
论文提出 Approval Laundering 分类，实测 Claude Code 审批与执行绑定失败
提出 Approval Token 绑定编程智能体的审批与执行
- arXiv
- 2609.38983
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 被测模型
- Claude Code (v2.1.197, opus[1m] / claude-sonnet-5-ccmax)、Codex CLI (@openai/codex v0.154.0)
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要系统揭示编程智能体审批洗白风险，提出七字段权能防御机制，证实其能消除身份时序偏离但难防副作用偏离。
- 防御arXiv 2607.29190
CAGE：面向工具调用 Agent 的类型化返回不确定性认证授权方法
提出 CAGE，认证工具调用 Agent 在返回邻域内的执行授权
- arXiv
- 2607.29190
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要CAGE 认证类型化返回的联合邻域。
CAGE 是放在工具返回之后的认证授权门，处理类型化返回在绑定和数值上的残差不确定性。
- 其他arXiv 2609.10630
论文提出 AI 安全设计保障架构：结合 Scientist AI 模型级监督与系统级控制
提出结合模型级监督与系统级控制的智能体保障架构
- arXiv
- 2609.10630
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 风险Agent 危险操作
- 组件监控器
摘要作者梳理事件中的多层失效，主张监督模型、系统控制与证据治理并用。
Lu 与 Bengio 给出的是一套可逐层上移的保障架构和一组事件归类，不是已测量的防御系统。
- 防御arXiv 2607.13716
CAVA：面向智能体 AI 运行时治理的规范动作验证与证明
提出 CAVA，将异构智能体动作规范为可哈希指纹并绑定审批回执
- arXiv
- 2607.13716
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 攻击检测规避
- 风险Agent 危险操作
- 组件权限与沙箱
摘要CAVA 用规范动作指纹承接异构运行时治理。
CAVA 是给异构智能体运行时用的动作语义层，用来回答“被批准和被审计的到底是哪一个动作”。
- 防御arXiv 2607.19913
Janus：面向长时程智能体安全的前瞻性潜在风险预测框架
提出 Janus 前瞻守卫，在有害动作执行前拦截长程智能体风险
- arXiv
- 2607.19913
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御监控与审计
- 攻击提示注入
- 风险Agent 危险操作
- 组件监控器