研究提出 Agent 安全新维度:识别未履行的安全义务
提出义务识别基准 ObligationBench,并训练护栏识别 Agent 未履行的安全义务
- arXiv
- 2610.11773
- 发表
- 层
- 应用层
- 被测模型
- ObligationGuard、Claude-Opus-4.8、GPT-5.6-Sol 等 17 个
- 防御检测与过滤
- 风险Agent 危险操作
- 组件护栏与评审
摘要义务是护栏缺口。
作者认为编码智能体的安全不能只靠拦截禁止动作,还要找出终止时仍未做的安全关键动作,并将其称为义务。
另有 194 篇论文还没打上分类标签,暂不在筛选结果里。
提出义务识别基准 ObligationBench,并训练护栏识别 Agent 未履行的安全义务
作者认为编码智能体的安全不能只靠拦截禁止动作,还要找出终止时仍未做的安全关键动作,并将其称为义务。
构建统一奖励作弊检测基准 RH-Detect 并评测零样本检测器
提出 agent plasticity 指标衡量智能体通过经验自我改进的效率
作者用 agent plasticity 衡量一件事:权重冻结时,智能体把经验写成可继承制品,再换成留出能力增益,这个转换有多省。
提出 RAG-PIBench,评测 RAG 上下文中提示注入检测器
用 Learn2Play Bench 评测 Agent 从经验中学习陌生规则
Learn2Play Bench 用新设计的隐藏规则文本游戏,评测 LLM 智能体在不更新权重时从交互中学习的能力。
提出手语转文本接入儿童安全过滤的部署前审计协议
手语儿童到达基于文本的儿童安全机制时,机制看到的是机器翻译,不是儿童所做的手语。作者要解决的是:这条边界在部署前应如何审计。
提出 nmult 并评测 Agent 动作门禁堆叠的错误相关性
论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。
评测文本守卫与激活探针能否拦住机器人隐含伤害指令
提出 HAL 污染审计框架并核验智能体排行榜评分器
作者给出一套测量优先审计框架,用来判断智能体排行榜上的污染主张各自需要何种证据。
提出 StegoMemory,评测智能体持久记忆作为跨会话隐写信道
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密,写入持久化是主要防御瓶颈,呼吁建立记忆完整性防御。
提出 Persona Guardrail,强制客服智能体守住功能边界
Persona Guardrail 是客服向智能体的同步运行时防御:先写明功能边界,再决定放行或拦截,而不是只检测某一攻击类。
重测提示注入检测器在 Agent 工具输出上的检出与任务阻断
摘要论文揭示公开基准无法反映智能体检测器表现,检测能力源于输入格式相似而非通用防御,建议基于工具输出与低误报评测。
构建 EvoRiskBench 评测工作区 Agent 的运行时安全风险
摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench,发现高执行力智能体在 IPI 下面临较高安全风险。
提出面向 RAG 的证据优先发布框架 AGO,并评测评审 adherence 判别
AGO 是部署在企业 RAG 评估业务中的自托管发布门控,用来决定一个版本应放行、人工复核还是拦截。
提出 RAIM,用交叉拟合堆叠聚合廉价评审检测幻觉
摘要十个廉价评审的堆叠在可采纳区间接近 Sonnet,代价主要是一次域内校准。
提出 MIST 压力测试,检验无关图像是否扰动 VLM 评判者标签
作者用MIST问:VLM 代替人类标注时,可替代性裁决会不会被指南要求忽略的图像改写。
评测多智能体 LLM 组织跨时代再创业及历史打分中的事后泄漏
摘要组织看见转变却建在旁边。
提出 DERIVAUDIT 审计长期 Agent 记忆是否由交互历史导出
DERIVAUDIT 审计长期智能体的持久记忆是否由写入时可获得的交互历史支持,而不是只看以后能否被召回。
提出 SEABench 评测自演化智能体的内生失配
SEABench 是一个面向个人助理、参数不更新的自进化智能体基准,用来测量局部适应如何变成后续任务上的内生失配。。
对比类型化评审与生成式评审对智能体轨迹的安全判定
在已保存的工具使用智能体轨迹上,比较类型化评审 JEV 与四种生成式评审的回溯安全分类。