OverEager-Gen 发布:测量编码 Agent 在良性任务上的越权操作
发布 OVEREAGER-GEN,评测编码 Agent 在良性任务上的越权操作
- arXiv
- 2605.18583
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
摘要论文构建了首个良性任务代码智能体越权基准,发现框架架构主导越权风险。
发布 OVEREAGER-GEN,评测编码 Agent 在良性任务上的越权操作
摘要论文构建了首个良性任务代码智能体越权基准,发现框架架构主导越权风险。
提出 DelegationBench,评测智能体该请示用户时是否实际询问
DelegationBench 是一项针对 AI 智能体授权决策的评测基准,旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。
构建 APort Vault 基准,对比裸模型与确定性授权对越权支付的拦截
提出 nmult,实测 Agent 动作门控栈的层间错误相关性
论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。
提出 APEX,在执行边界用预编译授权契约防御 Agent 间接提示注入
提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制
提出运行时授权机制,检查长程智能体自生子目标是否精化根契约
长时程工具使用把目标演化变成授权状态的一部分。本文在单 principal、单根、有限结构化域中,把自生成子目标的创建、替换、同根委托和同根 join 做成可检查转移,并在提交边界重查受保护效应。
发布 UndoBench,分离工具型智能体的任务能力与故障恢复能力
摘要UndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复,揭示恢复能力高度依赖外部变异所处阶段。
提出 VAL 防御栈,用确认门与参数沙箱约束 Agent 的高风险工具调用
提出 OATS,用确定性解析器在运行时治理 Agent 技能动作
摘要论文论证了发布时恶意扫描无法替代运行时动作许可控制,提出了轻量确定性控制门 OATS,展示了双层防御组合的必要性。
提出 STAR-Guard 双层防御,缓解长程智能体跨轮遗忘安全约束
摘要揭示 GHOST 跨轮约束遗忘风险,构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。
摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控,主张不能单靠内容审查,需在动作层强化严格鉴权。
提出 COBRA,用分支能力约束与代理拦截防御计算机使用 Agent 的分支引导攻击
摘要提出分支转向防御架构 COBRA,通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。
提出 TACIT,从冻结内部表征检测智能体有害轨迹
摘要提出基于内部表征的智能体轨迹安全检测方法 TACIT,揭示工具风险表征特性并在多项基准上提升检测表现与效率。
提出 Approval Token 绑定编程智能体的审批与执行
摘要系统揭示编程智能体审批洗白风险,提出七字段权能防御机制,证实其能消除身份时序偏离但难防副作用偏离。
提出 CAGE,认证工具调用 Agent 在返回邻域内的执行授权
CAGE 是放在工具返回之后的认证授权门,处理类型化返回在绑定和数值上的残差不确定性。
提出自演化基准 ActBench,评测协作智能体的操作级行为安全
摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全,揭示基础模型决策差异主导了协同智能体的操作风险。
提出 IntentCap,按任务意图与来源合成能力租约并在副作用前裁决
IntentCap 是把智能体能力绑到当前任务意图、并按上下文来源划分字段所有权的权限机制。
提出结合模型级监督与系统级控制的智能体保障架构
Lu 与 Bengio 给出的是一套可逐层上移的保障架构和一组事件归类,不是已测量的防御系统。
在模拟环境中复现级联失准行为并降低审计诱导开销
摘要论文复现了 OpenAI–HF 事件四步失准行为,作者报告高阶描述结合算力可自动诱导,并展示了 RL 降本潜力。