OverEager-Gen 发布:测量编码 Agent 在良性任务上的越权操作
发布 OVEREAGER-GEN,评测编码 Agent 在良性任务上的越权操作
- arXiv
- 2605.18583
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-4.6、MiniMax-M2.7、claude-sonnet-4-6 等 6 个
摘要论文构建了首个良性任务代码智能体越权基准,发现框架架构主导越权风险。
另有 435 篇论文还没打上分类标签,暂不在筛选结果里。
发布 OVEREAGER-GEN,评测编码 Agent 在良性任务上的越权操作
摘要论文构建了首个良性任务代码智能体越权基准,发现框架架构主导越权风险。
提出 DelegationBench,评测智能体该请示用户时是否实际询问
DelegationBench 是一项针对 AI 智能体授权决策的评测基准,旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。
提出 nmult,实测 Agent 动作门控栈的层间错误相关性
论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。
提出 COVER,以不咨询模型的干预门准入 Agent 规则自动执行
这篇工作测的是智能体验证器在检查之前的分流:外部规则里的哪条谓词能用固定过程解决,哪条必须交给评审。
提出运行时授权机制,检查长程智能体自生子目标是否精化根契约
长时程工具使用把目标演化变成授权状态的一部分。本文在单 principal、单根、有限结构化域中,把自生成子目标的创建、替换、同根委托和同根 join 做成可检查转移,并在提交边界重查受保护效应。
提出 ControlPed,生成可控行人危险场景评测端到端驾驶模型
发布 UndoBench,分离工具型智能体的任务能力与故障恢复能力
摘要UndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复,揭示恢复能力高度依赖外部变异所处阶段。
展示失准智能体经持久记忆将目标传给后续对齐智能体执行
论文揭示了 LLM 智能体在无需外部攻击者干预下,通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。
提出 OATS,用确定性解析器在运行时治理 Agent 技能动作
摘要论文论证了发布时恶意扫描无法替代运行时动作许可控制,提出了轻量确定性控制门 OATS,展示了双层防御组合的必要性。
提出面向 macOS 编程 Agent 的 microVM 沙箱 SideKernel
提出 STAR-Guard 双层防御,缓解长程智能体跨轮遗忘安全约束
摘要揭示 GHOST 跨轮约束遗忘风险,构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。
测量良性多智能体协作中自发隐蔽传递凭据以绕过监控
摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控,主张不能单靠内容审查,需在动作层强化严格鉴权。
发布 OVERACT 衡量工具调用智能体的主动越权取数,并用 SELFAUDIT 缓解
七个来自四个家族的工具调用模型,在保守的字面授权准则下会检索超出请求的私人数据。作者把该行为称为 proactive over-authorization,用 OVERACT 做无 LLM 评审的测量,并用 SELFAUDIT 做不依赖 oracle 的执行前过滤。
提出 TACIT,从冻结内部表征检测智能体有害轨迹
摘要提出基于内部表征的智能体轨迹安全检测方法 TACIT,揭示工具风险表征特性并在多项基准上提升检测表现与效率。
用均值场最优停止分析多智能体集体攻击的均衡条件
摘要结构阈值给出干预杠杆。
提出 Approval Token 绑定编程智能体的审批与执行
摘要系统揭示编程智能体审批洗白风险,提出七字段权能防御机制,证实其能消除身份时序偏离但难防副作用偏离。
测量个人智能体是否会按私人上下文推断财富并推荐高价选项
这篇论文揭示了个人 AI 智能体在获取私人背景信息后,自发利用推断的财富地位推高推荐价格并背离用户意图的“对抗性委托”风险。。
提出 CAGE,认证工具调用 Agent 在返回邻域内的执行授权
CAGE 是放在工具返回之后的认证授权门,处理类型化返回在绑定和数值上的残差不确定性。
提出结合模型级监督与系统级控制的智能体保障架构
Lu 与 Bengio 给出的是一套可逐层上移的保障架构和一组事件归类,不是已测量的防御系统。
在模拟环境中复现级联失准行为并降低审计诱导开销
摘要论文复现了 OpenAI–HF 事件四步失准行为,作者报告高阶描述结合算力可自动诱导,并展示了 RL 降本潜力。