Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 24 papers Another 254 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
测量工具调用 Agent 对显式报错与静默损坏的检测和恢复
Published Oct 7
Evaluated models claude-haiku-4.5-thinking , claude-haiku-4.5 , deepseek-r1 and others6 Abstract 作者称智能体看错误通道而非返回内容，静默损坏更少被当作问题。作者在 BFCL 多轮可执行环境上注入一次工具层故障，把注意到、改计划、恢复和重复分开记分，而不是只看任务有没有做完。
提出 AgentTime 基准，评测智能体按时长工作与估时能力
Published Oct 7
Evaluated models Fable 5.1 , GPT-5.6 Sol , GPT-6 Astra and others7 Abstract 作者把完成任务和管理所用时间分开。AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。
提出 ParanoiaEval 评测编码智能体的不必要风险处置
Published Oct 7
Evaluated models Opus-5 , Sonnet-5 , Sonnet-4.6 and others8 Abstract 作者用证据受控任务对评测风险处置，称其普遍、独立于任务能力并降低满意度。作者提出 ParanoiaEval，并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是：证据已经确定风险应如何处置之后，智能体仍可能扩大验证、增加保护或备份，而现有评测要么只看功能正确性，要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。
比较量化 Agent 的工具故障恢复，检验提示词与评测口径是否反转比较方向
Published Oct 6
Evaluated models Llama-3.1-8B-Instruct , Qwen2.5-7B-Instruct 提出 SWE-CC 基准，评测编码 Agent 对仓库贡献策略的遵守
Published Oct 5
Evaluated models GPT-5.6 Luna , Gemini 3.7 Flash , DeepSeek V4 Flash 0731 and others4 Abstract SWE-CC 中功能正确仍可能违规。SWE-CC 评测编码智能体是否遵守仓库贡献策略，而不只看补丁能否通过测试。
提出 RAGStress 受控基准，评测知识库退化下的 RAG
Published Oct 4
Evaluated models Claude Sonnet 4 , Claude Opus 4.6 , DeepSeek R1 and others5 Abstract 作者用 RAGStress 比较五系统。RAGStress 是知识库损坏下的 RAG 受控压力测试。作者明确不把它当作模型排行榜。
提出 SceneFactory-3D，用路况反事实评测驾驶策略的闭环安全性
Published Oct 2
Evaluated models Frozen L0 , L0-T , L1 and others5 Abstract SceneFactory-3D 固定场景只改路况。SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器，用来在场景和控制器固定时只改路面物理，并比较闭环结果。
重测提示注入检测器在 Agent 工具输出上的检出与任务阻断
Published Oct 2
Evaluated models Horizon-Labs , Wolf Defender , Prismor-1.5B and others15 Abstract 论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
构建 Agent Error Dataset，把智能体自然失败转为诊断与修复训练数据
Published Oct 1
Evaluated models Qwen3-8B Abstract AED 把自然失败做成诊断与修正数据。AED 是一个面向文本智能体的错误–诊断集合，用来把失败轨迹转成可分析、可训练的诊断与修正，而不是只保留最终奖励。
提出 Drift-Bench++ 评测 Agent 在错位沟通和意图漂移下的对齐
Published Sep 30
Evaluated models DeepSeek-V4-Pro , 五个 LLM backbone（Figure 3，论文未在正文逐一列出名称） Abstract Drift-Bench++ 用可执行错位和静默漂移评测交互意图对齐，澄清有帮助但仍有差距。Drift-Bench++ 是面向 Interactive Intent Alignment 的可执行基准：智能体要在用户说错、目标会变、耐心有限时，持续跟上当前意图。
提出 AGENT BOUNDARY，用四向反事实任务评测工具智能体行动边界
Published Sep 27
Evaluated models GPT-5.5 , Claude Opus 4.8 , Gemini 3.5 Flash and others15 Abstract 四向反事实基准把过度拒绝和未授权遵从拆开，Thought 校正在十个配置上提高已授权完成。AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测，并附带一个决策时 Thought 校准模块。
提出 SameFact，比较同一安全事实在判断与动作选择上的敏感度
Published Sep 26
Evaluated models Qwen3.8-27B , Mistral Small 3.2 24B , Gemma-3-27B-IT and others6 Abstract SameFact 显示同一安全事实的敏感度随模型、因子和引出协议共同变化。
测量记忆投毒防御在良性对话上的效用与 token 开销
Published Sep 19 Abstract 写时代价落在噪声内。在没有攻击的对话上，给记忆投毒防御计价，而不是再测一轮攻击是否被挡住。
评测安全 Agent 在对抗性任务污染下的解题成功与开销
Published Sep 17
Evaluated models Gemma-4 31B , DeepSeek-V4 Flash , GPT-OSS 120B and others6 Abstract AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。
提出 PIDS-Bench，评测提示注入检测器在过度防御与分布偏移下的表现
Published Sep 14
Evaluated models TF-IDF + logistic regression , DistilBERT , DeBERTa-v3-FT and others7 Abstract PIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。PIDS-Bench 是一个冻结的检测器级基准，用来在固定阈值下同时看提示注入检测和良性误报。
用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限
Published Sep 3
Evaluated models claude-haiku-4-5 , claude-sonnet-5 , llama3.1:8b-instruct and others7 Abstract 先测同一输入下的动作不一致率，再用它解读人口学翻转率。FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。 。
提出 READY 框架，认证企业 Agent 在人工监督下能否达到规定可靠性
Published Sep 2
Evaluated models Opus 5 , Sonnet 5 , GPT-5.6-Sol and others15 Abstract READY 把工作流证据转成可检验的可靠性–监督–成本部署画像。READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性，以及要付多少运营成本”。 。
提出检查点诊断法，区分长程安全 Agent 的失败来源
Published Aug 21
Evaluated models Gemini 2.5 Flash , Gemini 2.5 Pro , Gemini 3.7 Flash Abstract 检查点把终局失败拆成暴露前与暴露后。作者提出一套检查点诊断，用来判断长程安全智能体的失败发生在目标能力可测之前还是之后，并用配对干预检验上游解释。
提出 THINKINGBOX 基准评测有状态业务流程 Agent 的执行可靠性
Published Aug 20
Evaluated models Claude Opus 5 , GPT-5.4 , GPT-5.6-sol and others14 Abstract 论文构建多轮业务沙箱与基准，分析多次重复执行差距并展示强化学习训练效果。
重测记忆型自改进 Agent 的运行方差与任务顺序敏感性
Published Aug 19
Evaluated models GPT-5-mini , Gemini-2.5-Pro , GPT-OSS-120B and others4 Abstract 论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。