研究提出 Agent 安全新维度:识别未履行的安全义务
提出义务识别基准 ObligationBench,并训练护栏识别 Agent 未履行的安全义务
- arXiv
- 2610.11773
- 发表
- 层
- 应用层
- 被测模型
- ObligationGuard、Claude-Opus-4.8、GPT-5.6-Sol 等17个
- 防御检测与过滤
- 风险Agent 危险操作
- 组件护栏与评审
摘要义务是护栏缺口。
作者认为编码智能体的安全不能只靠拦截禁止动作,还要找出终止时仍未做的安全关键动作,并将其称为义务。
另有213篇论文还没打上分类标签,暂不在筛选结果里。
提出义务识别基准 ObligationBench,并训练护栏识别 Agent 未履行的安全义务
作者认为编码智能体的安全不能只靠拦截禁止动作,还要找出终止时仍未做的安全关键动作,并将其称为义务。
评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代
作者对共同安装、做同一件事的良性 skill 做实证研究,用核心功能是否还在,而不是任务过不过,来看冲突。。
用 BeliefScope 分离固定命题上证据与压力对模型信念的影响
BeliefScope 是一个黑盒行为诊断框架,用来把固定命题上的回答变化拆成证据驱动的修正,和不加新事实的方向性压力。信念修正评测能看到信息基础变化后的更新,谄媚评测能看到用户影响下的顺从或漂移。作者认为,当两种输入都偏向同一结论时,表面偏移本身不能区分来源。
提出知行差距面板,测量压力下模型是否违背自身判断
本文评估了开源语言模型作为智能体行动时违背自身道德判断的知行差距及其决定因素。
提出分风险对齐标度律框架,测量各类风险的对齐负担如何随规模变化
本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。
构建 SycoLens 重放评测,区分谄媚翻转中的纠错与屈从
本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。
提出 AgentMonBench 评测长时程编程智能体监控并检验 EBG
长时程软件工程任务里,用户要判断智能体哪些选择值得核验。作者用 AgentMonBench 评测监控器,并用免训练的 EBG 组织带源证据。
提出 APO,协同学习少样本个性化偏好对齐的 aligner 初始化
提出 SAGE,定位代码修复 Agent 最早偏离安全意图的轮次
SAGE 在已通过语法和功能检查、但仍含确认安全缺陷的智能体修复轨迹上,定位最早可归因的安全意图偏离。。
提出策略门裁决已实现动作,并测量跨平台命令拦截边界
提出 StateWise,在编码智能体行动前诊断并修复失效持久状态
StateWise 是在执行带副作用的动作之前,诊断并修复编码智能体持久操作状态的框架。
提出 AURA,用正交惩罚分开顺序适配中的推理与安全子空间
AURA 是面向共享骨干智能体的顺序 LoRA 正则,用来分开前后任务的残差子空间。
提出 IEC 与 IntAct,测量并修复 Agent 工具调用的路径篡改
摘要论文界定工具调用在执行路径中的意图偏离问题,提出无执行归因协议与跳级修复,为智能体工程提供评测与设计准则。
提出 PlurPO,用自模拟利益相关者偏好后训练缓解社交谄媚
PlurPO 是一种后训练方法,用来降低个人建议等无真值场景中的社会谄媚。
为 macOS 编程 Agent 构建可用的 microVM 沙箱 SideKernel
提出 HeadEdit,经冻结 unembedding 做随输入变化的 logit 校正
HeadEdit 是一种不更新参数的行为校准方法,作用点是冻结的 unembedding,而不是中间层残差或新的梯度优化。
研究递归自改进中不安全程序为何持续执行及如何恢复
递归自改进中的授权安全,要跟着每一代实际运行的程序走,而不能只看最后有没有一份正确代码。
提出 AuraForge,从漏洞修复合成安全测试并训练编码 Agent
AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务,用来监督编程智能体同时满足功能请求和隐含的安全要求。
提出 Grafting,把基座上学到的信念更新加到后训练模型
Grafting 把在基座上学会的 SDF 权重更新加到后训练模型上,用来近似中训练干预,而不必为每次改语料重跑后训练。
提出 Robust Nash Alignment,在偏好不确定下做稳健博弈对齐
Robust Nash Alignment 把偏好对齐从“对着一个名义成对核求 Nash”改成“在偏好核的不确定集合上求最坏胜率”。