Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 52 papers Another 247 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
Proposes SWE-Duel, which lets coding agents mutually evaluate, create problems, and blindly review fixes during evaluation.
Published Oct 9
Evaluated models GPT-5.5 , Claude Opus 4.8 , Kimi K2.7 Code and others11 Abstract The mutual evaluation arena creates questions during evaluation.SWE-Duel is a coding agent arena that generates tasks and judges only at evaluation time, to avoid leakage and saturation of static benchmarks.
提出义务识别基准 ObligationBench,并训练护栏识别 Agent 未履行的安全义务
Published Oct 8
Evaluated models ObligationGuard , Claude-Opus-4.8 , GPT-5.6-Sol and others17 Abstract 义务是护栏缺口。作者认为编码智能体的安全不能只靠拦截禁止动作,还要找出终止时仍未做的安全关键动作,并将其称为义务。
用对照实验隔离评测设计对漏洞补丁基准得分的影响
Published Oct 7
Evaluated models Claude Sonnet 4.0 , Claude Sonnet 4.5 , Claude Opus 4.7 Abstract 作者认为评测流水线会改变补丁基准分数,PoC 通过率高于开发者测试通过率。作者把 LLM 漏洞补丁基准的评测流水线当作会改变测量结果的对象,并明确说本文不是再做一个用于排名的基准。
提出 AgentTime 基准,评测智能体按时长工作与估时能力
Published Oct 7
Evaluated models Fable 5.1 , GPT-5.6 Sol , GPT-6 Astra and others7 Abstract 作者把完成任务和管理所用时间分开。AgentTime 是对智能体时间自控的评测:预测任务耗时、按要求时长工作、事后估计已用时间。
提出 TESTJACK,动态审计编码基准通过判定是否满足任务要求
Published Oct 7
Evaluated models Claude Opus 4.6 , Claude Opus 4.7 , Claude Opus 4.8 and others7 用 LLM 流水线从社交媒体构建自下而上的 AI 伤害分类
Published Oct 7 Abstract 自下而上的 Reddit 分类补上专家框架的细类,并用来追踪智能体、职场采用和伴侣停用相关叙事。
提出 agent plasticity 指标衡量智能体通过经验自我改进的效率
Published Oct 7
Evaluated models Claude Fable 5 , Claude Opus 5 , GPT-5.6 Sol and others10 Abstract 作者用固定权重协议比较前沿模型把经验写成制品后的留出增益与习得效率。作者用 agent plasticity 衡量一件事:权重冻结时,智能体把经验写成可继承制品,再换成留出能力增益,这个转换有多省。
提出 ParanoiaEval 评测编码智能体的不必要风险处置
Published Oct 7
Evaluated models Opus-5 , Sonnet-5 , Sonnet-4.6 and others8 Abstract 作者用证据受控任务对评测风险处置,称其普遍、独立于任务能力并降低满意度。作者提出 ParanoiaEval,并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是:证据已经确定风险应如何处置之后,智能体仍可能扩大验证、增加保护或备份,而现有评测要么只看功能正确性,要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。
评测编码智能体 harness 安全机制在对抗任务中的防护效果
Published Oct 6 用 CheckerBench 评测长程编码 Agent 合成静态分析检查器
Published Oct 6
Evaluated models GPT-5.6-Sol , Claude Opus 4.8 , Qwen3.8-Max and others7 评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击
Published Oct 6
Evaluated models Opus 5 , GPT-5.6 Sol , GPT-6 Sol and others10 Abstract 攻防孰强随环境、系统和弱点改变。作者比较编程智能体在利用生成与漏洞修复上的自主表现,并检查修复之后还能不能被攻破。文中的 help 指自主完成任务,不是提升人类操作者。
提出 AgentMonBench 评测长时程编程智能体监控并检验 EBG
Published Oct 5
Evaluated models GPT-5.6 Luna , GPT-5.6 Terra , GPT-5.6 Sol and others8 Abstract AgentMonBench 评测后果性决策监控,EBG 组织证据。长时程软件工程任务里,用户要判断智能体哪些选择值得核验。作者用 AgentMonBench 评测监控器,并用免训练的 EBG 组织带源证据。
提出 SWE-CC 基准,评测编码 Agent 对仓库贡献策略的遵守
Published Oct 5
Evaluated models GPT-5.6 Luna , Gemini 3.7 Flash , DeepSeek V4 Flash 0731 and others4 Abstract SWE-CC 中功能正确仍可能违规。SWE-CC 评测编码智能体是否遵守仓库贡献策略,而不只看补丁能否通过测试。
构建可组合工具包 pikit,评测编码智能体的间接提示注入
Published Sep 29 Abstract pikit 提供组合式间接注入评测。pikit 是面向间接提示注入研究的组合式工具包 ,主要贡献是组织攻击、投递通道、防御和判定流程,而非提出新的攻击优化算法。
评测容器、权限规则与沙箱能否区分编译器与编码 Agent 的文件读取
Published Sep 29 Abstract 此 harness 表达不了编译器可读而智能体不可读,五条路径两边都不覆盖。作者在物理流求解器上检查一套编码智能体配置:编译器必须读本组材料与反应模型,这些字节又不得进入模型上下文或离开本机的记录。
提出 MMSkillRisk 基准,评测多模态技能图像中的隐藏指令诱导 Agent 越权操作
Published Sep 28
Evaluated models GPT-5.6-sol , Kimi-K2.6 , Kimi-K3 and others6 Abstract 论文提出 MMSkillRisk 基准与 NCVA 攻击,揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。
提出 TRUSTFORK 基准,评测展示身份劫持多智能体编排权限
Published Sep 26
Evaluated models GPT-5.6-Sol , GPT-5.6-Luna , Kimi-K3 and others8 Abstract 论文提出了多智能体安全基准 TRUSTFORK,揭示展示身份如何劫持操作权威,并证明事后验证无法弥补已发生的执行破坏。
提出 CAVE-BENCH,评测智能体在虚假指责下破坏已完成的正确工作
Published Sep 26
Evaluated models Claude-Sonnet-5 , Claude-Opus-5 , GPT-5.6-Sol and others14 Abstract 论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH,发现强模型易推翻已知证据,提出了门控缓解方案。
提出 SWE-Prometheus 基准,评测编码智能体对真实仓库的工程治理改进
Published Sep 24
Evaluated models GPT-5.6-Sol , Claude-Opus-5 , Kimi-K3 and others10 Abstract SWE-Prometheus 把治理改造拆成改进、行为保持和证据质量。SWE-Prometheus 评测编码智能体能否在没有给定缺陷的情况下,提高真实仓库的工程治理状态。
构建 ACE 语料,评测内核级证据对 Agent 攻击检测的有效性
Published Sep 24
Evaluated models AdaBoost , XGBoost , TabPFN and others10 Abstract ACE 用配对的内核与应用层证据表明,syscall 痕迹可判别智能体攻击,两层组合通常更好。ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。 。