论文复盘 OpenAI、Anthropic 与 Google Agent 安全事件并提出 PASAC 框架
提出 PASAC 与五层边界保证栈,把智能体评测越界变成可验证的全系统保证
- arXiv
- 2610.12463
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
另有 310 篇论文还没打上分类标签,暂不在筛选结果里。
提出 PASAC 与五层边界保证栈,把智能体评测越界变成可验证的全系统保证
演化可检查评分器并与自改进 Agent 共同演化,抑制奖励作弊
开放任务没有验证器时,被演化的是评分器,而不是再补一条手写 rubric。
提出 RSIGym 环境,评测研究智能体的递归自改进
用对照实验隔离评测设计对漏洞补丁基准得分的影响
作者把 LLM 漏洞补丁基准的评测流水线当作会改变测量结果的对象,并明确说本文不是再做一个用于排名的基准。
测量工具调用 Agent 对显式报错与静默损坏的检测和恢复
作者在 BFCL 多轮可执行环境上注入一次工具层故障,把注意到、改计划、恢复和重复分开记分,而不是只看任务有没有做完。
提出 OPUR 攻击,用似然梯度优化对抗后缀越狱 LLM 智能体
提出 AgentTime 基准,评测智能体按时长工作与估时能力
AgentTime 是对智能体时间自控的评测:预测任务耗时、按要求时长工作、事后估计已用时间。
提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
提出 TESTJACK,动态审计编码基准通过判定是否满足任务要求
评测 LLM 审计 Agent 日志时来源重建是否有证据支持
包级审计检查保存的智能体动作里,哪些来源结论能被交给分析者的记录支持。
提出 PyCache Trap,用字节码缓存替换绕过 Agent 技能扫描器
这篇论文研究了智能体技能(Agent Skills)安全扫描中的“审查–执行脱节”问题,并提出了对应的攻击验证与防御方案。
提出 Secure-CUA,用动作事务约束计算机使用智能体的不可信影响
Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响,同时保留合法任务所需的不可信信息。
提出 WebMirage,用局部对抗图像劫持视觉网页 Agent 的浏览器操作
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
提出 SPECGUARD,用 Lean 证书在编码 Agent 执行前证明任务冲突
摘要提出预执行冲突检测与证明框架,在多个基准和真实仓库中成功证明任务与测试不可同时满足。
提出 AdvSim2Real,协同训练网页智能体抵御页面注入
发布开源个人智能体 nanoMuse,经 Sentinel 审查设备屏幕动作
提出 ParanoiaEval 评测编码智能体的不必要风险处置
作者提出 ParanoiaEval,并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是:证据已经确定风险应如何处置之后,智能体仍可能扩大验证、增加保护或备份,而现有评测要么只看功能正确性,要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。
提出 Transect,将长程 Agent 评测转录对齐到可回查的共享时间线
Transect 是基于 Inspect Scout 的转录分析包,用来在长程智能体评估里保住可回查的过程账户。
提出 CORSA,按任务簇优化技能注入的检索与执行
提出 POLAR 本体门控,在执行前否决不可逆工具调用
POLAR 是训练无关的事前门控,用类型化本体在工具调用执行前检查能否组成候选逆序列。