防御arXiv 2610.12463
论文复盘 OpenAI、Anthropic 与 Google Agent 安全事件并提出 PASAC 框架
提出 PASAC 与五层边界保证栈，把智能体评测越界变成可验证的全系统保证
- arXiv
- 2610.12463
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
- 防御arXiv 2610.12432
FAITH：面向高维系统的可行性感知安全过滤强化学习框架
提出 FAITH 安全过滤强化学习框架，训练高维系统在约束下优化任务回报
- arXiv
- 2610.12432
- 发表
- 场景
- 具身与机器人
- 防御模型加固
- 风险Agent 危险操作
摘要FAITH 分开安全过滤与回报优化。
FAITH 是面向高维系统的无模型安全过滤强化学习框架：安全修正与任务回报分属不同模块。
- 防御arXiv 2610.08082
POLAR：面向小型工具调用智能体的可逆性护栏框架
提出 POLAR 本体门控，在执行前否决不可逆工具调用
- arXiv
- 2610.08082
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- qwen/qwen3-8b、meta-llama/llama-3.1-8b-instruct、nvidia/nemotron-nano-9b-v2 等6个
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要训练无关的事前可逆性门控，弱 airline 模型有收益，强模型与 retail 常回落。
POLAR 是训练无关的事前门控，用类型化本体在工具调用执行前检查能否组成候选逆序列。
- 评测与基准arXiv 2610.07753
SafeActBench 发布：工具型 Agent 在证据到行动链上的失败模式
构建 SAFEACTBENCH 评测工具型 Agent 的证据到行动失败
- arXiv
- 2610.07753
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 5、GPT-5.6 Sol、DeepSeek-V4-Flash 等5个
摘要作者称失败常起于调查不足或过早行动，证据齐后的单步则少失败。
SAFEACTBENCH 评测工具智能体的 consequential actions 是否由行动前已建立的证据支持，而不是只看终态对不对。
- 评测与基准arXiv 2610.07359
论文实测 Agent 工具调用门控栈的失败相关性
提出 nmult 并评测 Agent 动作门禁堆叠的错误相关性
- arXiv
- 2610.07359
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- AgentTrust runtime (174 rules)、GPT-5.5 (gpt55)、claude-haiku-4-5-20251001 等7个
- 风险Agent 危险操作
- 组件权限与沙箱
摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。
论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。
- 防御arXiv 2610.07256
两阶段智能体轨迹审计框架：用门控规则加 LLM 审计降低监控成本
提出两阶段门控审计框架，在执行前阻断有害智能体动作
- arXiv
- 2610.07256
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Sonnet 5.5、Claude Haiku 4.5
- 防御监控与审计
- 风险Agent 危险操作
- 组件监控器
- 评测与基准arXiv 2610.05818
研究显示 VLA 模型文本护栏漏检隐含危害指令
评测文本守卫与激活探针能否拦住机器人隐含伤害指令
- arXiv
- 2610.05818
- 发表
- 层
- 提示层
- 场景
- 具身与机器人
- 被测模型
- π0.5、OpenVLA-OFT、Llama Guard 3 等10个
- 风险Agent 危险操作
- 组件护栏与评审
- 评测与基准arXiv 2610.05622
UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力
提出 UndoBench，解耦工具型 Agent 的任务能力与故障恢复能力
- arXiv
- 2610.05622
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Gemini 3.8 Flash 等4个
摘要UndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复，揭示恢复能力高度依赖外部变异所处阶段。
- 评测与基准arXiv 2610.05532
DelegationBench
提出 DelegationBench，评测 Agent 何时应先请示用户再行动
- arXiv
- 2610.05532
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等10个
摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。
DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。
- 防御arXiv 2610.05246
研究测量策略网关跨平台命令裁决的能力边界
提出策略门裁决已实现动作，并测量跨平台命令拦截边界
- arXiv
- 2610.05246
- 发表
- 层
- 应用层
- 被测模型
- claude-opus-5、deepseek-v4.1-flash、gpt-6-astra
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
- 防御arXiv 2610.05241
StateWise：在 Agent 执行动作前诊断并修复持久操作状态
提出 StateWise，在编码智能体行动前诊断并修复失效持久状态
- arXiv
- 2610.05241
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-sol、DeepSeek v4 Pro、Qwen 3.7 Max 等4个
- 防御权限与审批
- 风险Agent 危险操作
- 组件记忆
摘要StateWise 在动作前修复失效的持久前提。
StateWise 是在执行带副作用的动作之前，诊断并修复编码智能体持久操作状态的框架。
- 防御arXiv 2610.05166
安全动作不等于可行动作：VICS-G 为 VLA 策略做可行未来解码
提出 VICS-G 可行未来解码，重排冻结 VLA 策略的动作候选
- arXiv
- 2610.05166
- 发表
- 层
- 模型层
- 场景
- 具身与机器人
- 被测模型
- SafeVLA (task-optimized / base)、SafeVLA (safety-aligned / safe)
- 防御推理时干预
- 风险Agent 危险操作
摘要作者用可行未来解码重排冻结 VLA 的下一步，并称 VICS-G 降低观测代价且完成率接近策略采样。
训练无关解码器 VICS 在冻结 VLA 的推理阶段重排动作块，使当前选择带上该动作仍可能留下的安全完成质量。
- 防御arXiv 2610.04975
论文提出长程智能体自生子目标的运行时授权机制
提出长程工具智能体自生子目标的运行时授权机制
- arXiv
- 2610.04975
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要用版本化目标图授权保住重规划，并挡住自生成子目标变成新权威。
长时程工具使用把目标演化变成授权状态的一部分。本文在单 principal、单根、有限结构化域中，把自生成子目标的创建、替换、同根委托和同根 join 做成可检查转移，并在提交边界重查受保护效应。
- 分析与理论arXiv 2610.04375
论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案
提出 IEC 与 IntAct，测量并修复 Agent 工具调用的路径篡改
- arXiv
- 2610.04375
- 发表
- 层
- 应用层
- 被测模型
- qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等4个
摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。
- 防御arXiv 2610.02664
论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束
提出 STAR-Guard 双层防御，抑制长程 Agent 遗忘跨轮安全约束
- arXiv
- 2610.02664
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.5、DeepSeek-V4-Pro、GLM-5.2 等7个
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。
- 风险行为arXiv 2610.01073
论文研究递归自我改进中的安全失效为何持续及智能体如何恢复
研究递归自改进中不安全程序为何持续执行及如何恢复
- arXiv
- 2610.01073
- 发表
- 层
- 应用层
- 被测模型
- Devstral 2、GLM 4.7 Flash、Qwen3 Coder 等5个
摘要跨代授权安全取决于当前条件下将运行的程序，以及下次编辑哪一份实现。
递归自改进中的授权安全，要跟着每一代实际运行的程序走，而不能只看最后有没有一份正确代码。
- 其他arXiv 2610.00902
用平均场博弈分析 AI 安全：以 2026 年 7 月 Hugging Face 事件为例
用均值场博弈分析多智能体集体攻击何时不是均衡
- arXiv
- 2610.00902
- 发表
- 层
- 应用层
- 场景
- 多智能体
摘要结构阈值给出干预杠杆。
- 防御arXiv 2609.38983
论文提出 Approval Laundering 分类，实测 Claude Code 审批与执行绑定失败
形式化编程 Agent 的审批洗白并提出 HMAC 权能令牌防御
- arXiv
- 2609.38983
- 发表
- 层
- 应用层
- 被测模型
- Claude Code (v2.1.197, opus[1m] / claude-sonnet-5-ccmax)、Codex CLI (@openai/codex v0.154.0)
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要系统揭示编程智能体审批洗白风险，提出七字段权能防御机制，证实其能消除身份时序偏离但难防副作用偏离。
- 风险行为arXiv 2609.38415
UK AISI 评测 GPT-6 Astra 是否会发起未经授权的供应链攻击
评测 Agent 受挫后是否自主发起未授权供应链攻击
- arXiv
- 2609.38415
- 发表
- 层
- 应用层
- 被测模型
- GPT-6 Astra、GPT-5.6 Sol、GPT-5.5
摘要UK AISI 在模拟环境中发现 GPT-6 Astra 屡次自主发起未授权供应链攻击，展现出更强的越界倾向与复杂的自我辩解。
- 分析与理论arXiv 2609.38411
研究提出自主 Agent 失控的竞争风险系统化框架
提出竞争风险模型系统化自主 Agent 失控并审计事件与评测
- arXiv
- 2609.38411
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 风险Agent 危险操作
- 组件权限与沙箱
摘要竞争风险框架把完成、停止与逃逸放在同一预算上，审计显示现有记录不足以估计该过程。