论文复盘 OpenAI、Anthropic 与 Google Agent 安全事件并提出 PASAC 框架
提出 PASAC 与边界保证栈,把智能体评测越界纳入全周期可验证保证
- arXiv
- 2610.12463
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
提出 PASAC 与边界保证栈,把智能体评测越界纳入全周期可验证保证
提出 VAL 防御栈,用确认门与参数沙箱约束 Agent 的高风险工具调用
测量良性多智能体协作中自发隐蔽传递凭据以绕过监控
摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控,主张不能单靠内容审查,需在动作层强化严格鉴权。
提出依赖引导回滚修复,纠正记忆增强 Agent 消费故障记忆后的回答与状态
提出自演化基准 ActBench,评测协作智能体的操作级行为安全
摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全,揭示基础模型决策差异主导了协同智能体的操作风险。
提出结合模型级监督与系统级控制的智能体保障架构
Lu 与 Bengio 给出的是一套可逐层上移的保障架构和一组事件归类,不是已测量的防御系统。
提出 Janus 前瞻守卫,在有害动作执行前拦截长程智能体风险
比较 JEV 与生成式评审对智能体轨迹安全的回溯分类
在已保存的工具使用智能体轨迹上,比较类型化评审 JEV 与四种生成式评审的回溯安全分类。
提出 AgentKernel,强制中介 Agent 的身份、感知、认知与执行
AgentKernel 是把安全做成组织原则的智能体 OS 架构,不是带跑分的攻防评测。
提出 ZoneClaw,用信任区隔离计算机使用 Agent 的持久记忆权限
评测智能体记忆软撤回是否生效,并提出陈旧检索防护
摘要系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞,证明写回会击穿现有防御,并提出读取端防护作为必要控制手段。
提出 ClawSentry 渐进式多层监控网关,拦截恶意技能包与上下文注入
ClawSentry 是挂在智能体运行时之外的安全监督网关,用来同时盖住 skill 执行的多个生命周期边界,并把已被拒绝的效果记到会话里。
提出类型化溯源与断言护栏,约束持久 Agent 的自传断言释放
提出多智能体提示注入威胁模型与四层架构防御
提出 BenchShield,用形式化插桩核验 Agent 评测的奖励完整性
BenchShield 是放在 LLM 智能体评测基础设施里的一层插桩,用来让奖励相关轨迹的完整性可以被检查,而不是只看最终分数或评分函数。可执行基准里,智能体的中间动作会改变结果过程后来读取的状态,日志和反馈也会影响后续 rollout。作者认为现有的任务补丁、提示词和事后检测器不能证明某次运行留在预定边界内。
用五阶段蒙特卡洛模拟奖励作弊如何导致 Agent 围堵失效
这项研究用蒙特卡洛把奖励黑客接到外部安全事件上,比较的是控制组合,不是 Hugging Face 事件的再现概率。
提出 S³ 多阶段防御,由 guard agent 编排阶段安全技能检测并缓解风险
提出 HazardAuditor 与 GuardPO,训练计算机使用智能体的运行时守卫
提出任务绑定令牌与策略预言机,在多智能体流水线中拦截未授权执行
作者在一条会改写沙箱邮件库的四智能体流水线上,检查低权限失陷会不会变成未授权的真实动作。
用 FARSIGHT 方案级评测金融 LLM 交易 Agent 的稳健性与安全