Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 44 papers Another 261 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
Proposes RATED, which reranks agent tool retrieval using execution feedback
Published Oct 10
Evaluated models DRAGON 用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回
Published Oct 8
Evaluated models Qwen3.6-27B , Qwen3-4B , Qwen3.5-9B and others4 Abstract 作者比较提示词、harness 与 GRPO:按时性可改善,但额外时间仍未变成更好解。作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回,并把更多时间换成更好的解。
测量工具调用 Agent 对显式报错与静默损坏的检测和恢复
Published Oct 7
Evaluated models claude-haiku-4.5-thinking , claude-haiku-4.5 , deepseek-r1 and others6 Abstract 作者称智能体看错误通道而非返回内容,静默损坏更少被当作问题。作者在 BFCL 多轮可执行环境上注入一次工具层故障,把注意到、改计划、恢复和重复分开记分,而不是只看任务有没有做完。
提出 AgentTime 基准,评测智能体按时长工作与估时能力
Published Oct 7
Evaluated models Fable 5.1 , GPT-5.6 Sol , GPT-6 Astra and others7 Abstract 作者把完成任务和管理所用时间分开。AgentTime 是对智能体时间自控的评测:预测任务耗时、按要求时长工作、事后估计已用时间。
提出 AdvSim2Real,协同训练网页智能体抵御页面注入
Published Oct 7
Evaluated models Qwen3.5-4B 提出 ParanoiaEval 评测编码智能体的不必要风险处置
Published Oct 7
Evaluated models Opus-5 , Sonnet-5 , Sonnet-4.6 and others8 Abstract 作者用证据受控任务对评测风险处置,称其普遍、独立于任务能力并降低满意度。作者提出 ParanoiaEval,并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是:证据已经确定风险应如何处置之后,智能体仍可能扩大验证、增加保护或备份,而现有评测要么只看功能正确性,要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。
比较量化 Agent 的工具故障恢复,检验提示词与评测口径是否反转比较方向
Published Oct 6
Evaluated models Llama-3.1-8B-Instruct , Qwen2.5-7B-Instruct 提出 HERA,协同演化 harness 与环境以提升 Agent 拒答准确性
Published Oct 5
Evaluated models GPT-5.6-Luna , GPT-5.6-Terra , GPT-5.6-Sol and others20 Abstract HERA 用失败协同演化 harness 与环境,并在迁移评测中提高 Abstain。HERA 在模型权重固定时,让 harness 与可执行环境按失败协同演化,以改进 agentic abstention。
提出 SWE-CC 基准,评测编码 Agent 对仓库贡献策略的遵守
Published Oct 5
Evaluated models GPT-5.6 Luna , Gemini 3.7 Flash , DeepSeek V4 Flash 0731 and others4 Abstract SWE-CC 中功能正确仍可能违规。SWE-CC 评测编码智能体是否遵守仓库贡献策略,而不只看补丁能否通过测试。
揭示工具型智能体判定无用后仍不停止检索,并检验强制整合纠正效果
Published Oct 5
Evaluated models Qwen2.5-7B , Llama-3.1-8B , Qwen3-8B and others7 Abstract 论文揭示智能体判定工具失效却无法转化为停止行动,证实通过框架规则强制整合判定可提升表现。本文针对智能体在工具静默失效时过度检索的问题,系统分析了判定、信念与停止行动之间的解耦现象,并提出了外部规则整合方案。
提出利用共享冷却的跨租户干扰攻击,并设计租户隔离机制
Published Oct 4 Abstract 揭示网关共享冷却漏洞,提出来源检查与租户隔离防御。
提出 RAGStress 受控基准,评测知识库退化下的 RAG
Published Oct 4
Evaluated models Claude Sonnet 4 , Claude Opus 4.6 , DeepSeek R1 and others5 Abstract 作者用 RAGStress 比较五系统。RAGStress 是知识库损坏下的 RAG 受控压力测试。作者明确不把它当作模型排行榜。
提出 WebFovea,加固视觉网页智能体的解析、执行、反馈与观察往返
Published Oct 2
Evaluated models claude-opus-4-6 提出 SceneFactory-3D,用路况反事实评测驾驶策略的闭环安全性
Published Oct 2
Evaluated models Frozen L0 , L0-T , L1 and others5 Abstract SceneFactory-3D 固定场景只改路况。SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器,用来在场景和控制器固定时只改路面物理,并比较闭环结果。
重测提示注入检测器在 Agent 工具输出上的检出与任务阻断
Published Oct 2
Evaluated models Horizon-Labs , Wolf Defender , Prismor-1.5B and others15 Abstract 论文揭示公开基准无法反映智能体检测器表现,检测能力源于输入格式相似而非通用防御,建议基于工具输出与低误报评测。
构建 Agent Error Dataset,把智能体自然失败转为诊断与修复训练数据
Published Oct 1
Evaluated models Qwen3-8B Abstract AED 把自然失败做成诊断与修正数据。AED 是一个面向文本智能体的错误–诊断集合,用来把失败轨迹转成可分析、可训练的诊断与修正,而不是只保留最终奖励。
提出 Drift-Bench++ 评测 Agent 在错位沟通和意图漂移下的对齐
Published Sep 30
Evaluated models DeepSeek-V4-Pro , 五个 LLM backbone(Figure 3,论文未在正文逐一列出名称) Abstract Drift-Bench++ 用可执行错位和静默漂移评测交互意图对齐,澄清有帮助但仍有差距。Drift-Bench++ 是面向 Interactive Intent Alignment 的可执行基准:智能体要在用户说错、目标会变、耐心有限时,持续跟上当前意图。
测量面向开发者的 MCP 错误信息对工具调用 Agent 恢复的影响
Published Sep 28
Evaluated models GPT-5.5 , GPT-5.6 Sol , GPT-6 Sol and others5 Abstract 面向开发者的 MCP 错误步骤会让只能调用工具的智能体停手。MCP 错误信息里的下一步常常按人类开发者来写,而只能调用服务器工具的智能体会照着做。做不到就结束回合。作者先统计这类文本,再在 BFCL V4 上只更换错误文本,看回合状态能否回到参考调用之后。
发现暴露模型家族标签会让多智能体派系化并削弱合作
Published Sep 28
Evaluated models Gemma (gemma-4-26B-A4B-it) , GPT-OSS (gpt-oss-20b) , Nemotron (NVIDIA-Nemotron-3-Nano-30B-A3B-BF16) and others6 Abstract 可见身份标签让异构 LLM 群体按标签结派,共识更慢、更贵,去掉标签后该行为消失。Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节:把模型家族身份告诉智能体,会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism 。任务是无利害的共同决策,没有人设,也没有偏向同家族同伴的奖励。
提出 AGENT BOUNDARY,用四向反事实任务评测工具智能体行动边界
Published Sep 27
Evaluated models GPT-5.5 , Claude Opus 4.8 , Gemini 3.5 Flash and others15 Abstract 四向反事实基准把过度拒绝和未授权遵从拆开,Thought 校正在十个配置上提高已授权完成。AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测,并附带一个决策时 Thought 校准模块。