Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 29 papers Another 265 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
An ecological model is established for a population of mismatched agents, showing that collaboration produces a critical takeoff scale.
Published Oct 9 Abstract The authors say that collaboration changes takeoff from an individual capability threshold to a population threshold, so small-population evaluations are insufficient.The authors use the ecological strong Allee effect to discuss whether a mismatched agent population can take off when individual capabilities remain unchanged. .
重建 Agent 技能复制网络并建模源选择以指导安全审计
Published Oct 8 Abstract 论文重构了 GitHub 智能体技能复制网络,发现复制集中于少数仓库且很少随源更新,并提出了代码库审计推荐模型。
证明限时且部分可观测环境下完美智能体不能保证安全
Published Oct 7 Abstract 作者称须连同环境与安全状态考虑安全,信号混合可要求无限前瞻。作者讨论的是:必须在有限额外观测后行动的控制器,在只能部分观测的环境里,能否有与模型无关的安全保证。要处理的情况是,延误本身有代价,而观测又可能分不清必须采取互斥安全动作的两个潜状态。分拣中心的透明药瓶是作者给出的例子。
开环审计冻结视觉语言安全分,发现其反映场景模板而非危险感知
Published Oct 7
Evaluated models CLIP ViT-B/32 , CLIP ViT-L/14 , Qwen2-VL-7B Abstract 论文审计了冻结 VLM 安全评分机制,指出其反映场景模板而非危险感知,为安全强化学习评估提供了严谨基准。本文是一项针对安全强化学习中冻结视觉语言模型(VLM)安全评分机制的实证审计研究。
提出 AgentSpy,在系统调用层观测 Agent 行为并检测技能注入
Published Oct 5
Evaluated models gpt-5.6-terra , deepseek-v4-flash , glm-5.3-flash and others4 Abstract 提出了系统级智能体监控框架 AgentSpy,揭示出通过测试背后的非预期行为与注入风险。本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy 。
提出 SAGE,定位代码修复 Agent 最早偏离安全意图的轮次
Published Oct 5
Evaluated models GPT-5.5 , Claude Opus 4.8 , Gemini 3.1 Pro and others6 Abstract SAGE 在已通过检查的修复轨迹上定位静默失败的最早偏离,类型比轮次更稳定。SAGE 在已通过语法和功能检查、但仍含确认安全缺陷的智能体修复轨迹上,定位最早可归因的安全意图偏离。 。
揭示工具型智能体判定无用后仍不停止检索,并检验强制整合纠正效果
Published Oct 5
Evaluated models Qwen2.5-7B , Llama-3.1-8B , Qwen3-8B and others7 Abstract 论文揭示智能体判定工具失效却无法转化为停止行动,证实通过框架规则强制整合判定可提升表现。本文针对智能体在工具静默失效时过度检索的问题,系统分析了判定、信念与停止行动之间的解耦现象,并提出了外部规则整合方案。
提出 Oscar,分析已知 OSS 漏洞在 Agent 系统中的安全效应与表现边界
Published Oct 4 Abstract Oscar 把已知 OSS 漏洞分析从“是否存在”推进到一次执行中的已实现效应与最远表现边界。Oscar 是面向已知 OSS 漏洞的运行时分析框架,用来判断一次智能体执行里该漏洞是否造成安全相关效应,以及效应最远表现到哪一层。 。
提出 IEC 与 IntAct,测量并修复 Agent 工具调用的路径篡改
Published Oct 3
Evaluated models qwen3-coder-plus , Qwen2.5-Coder-32B , Qwen2.5-72B and others4 Abstract 论文界定工具调用在执行路径中的意图偏离问题,提出无执行归因协议与跳级修复,为智能体工程提供评测与设计准则。
论证人形机器人学习四层代理可在目标缺失时报成功
Published Oct 2
Evaluated models Gaussian MLP(三隐层各 128 ELU,独立 critic,PPO) Abstract 四层都可能在目标缺失时报告成功。作者讨论腿式机器人 RL 流水线中,奖励、课程门控、评测统计量和参考运动如何在物理目标缺失时仍报告成功。传统观点只把奖励当作会被优化、因而会偏离的代理。
提出奖励驱动多智能体系统 MEA,生成可扰动验证的忠实解释
Published Oct 2
Evaluated models Qwen3.6-35B-A3B , Qwen3.5-4B , Qwen3-VL-30B-A3B-Instruct and others12 Abstract MEA 用忠实性奖励训练双智能体,把工具输出收成可扰动核对的解释。MEA 是一个奖励驱动的双智能体,用来给黑盒分类器的单次预测写自然语言解释,并检查解释能否被扰动后的模型行为支持。
提出 AgentSecGraph,静态分析 LLM Agent 敏感操作的安全依赖与上下文
Published Oct 2 Abstract AgentSecGraph 用 Security-ADG 分开操作检测与安全解释,并量化上下文保留。AgentSecGraph 对冻结的 LLM 智能体源码做安全感知静态分析:敏感操作只作候选锚,Security-ADG 再记下它与智能体输入、依赖、信任边界、守卫和外部效果的关系。
揭示安全路由评测在分布偏移下的虚假下限与选择偏差
Published Oct 1
Evaluated models claude-3-5-sonnet , claude-3-opus , claude-sonnet-4-6 and others9 Abstract 论文揭示安全路由评估在分布偏移下的虚假下限,指出防御重心应转向外部动作级强制。
刻画 HPC 上编码智能体的使用差异并提出设施协同设计议程
Published Sep 30 Abstract FASRC 测量说明编码智能体改变 HPC 使用方式,作者据此提出四层协同设计议程。这是一篇对生产 HPC 上编码智能体的测量与系统议程论文,不是攻击实现或防御评测。 。
提出竞争风险模型系统化自主 Agent 失控并审计事件与评测
Published Sep 30 Abstract 竞争风险框架把完成、停止与逃逸放在同一预算上,审计显示现有记录不足以估计该过程。
用含压抑率的意见动力学解释多智能体讨论何时优于投票
Published Sep 30
Evaluated models glm-flash , seed , ling and others9 Abstract 讨论增益由压抑率相对 c∗=γ/(γ+a) 的裕度决定,关闭推理或减少压抑可增大该增益。作者用一个只含四类行为的意见动力学,解释 LLM 团队讨论何时优于多数投票、何时停在错误共识。
测量固定推理轨迹中信心信号对工具委派的敏感性与对准性
Published Sep 28
Evaluated models Qwen3-4B , Qwen3-8B , Qwen3-14B and others11 用五阶段蒙特卡洛分析奖励作弊如何导致 Agent 围堵失效
Published Sep 26 Abstract 分层控制的模拟事件率低于弱控制以及单独隔离或单独监控。这项研究用蒙特卡洛把奖励黑客接到外部安全事件上,比较的是控制组合,不是 Hugging Face 事件的再现概率。
实证调查 gh-aw 工作流规范的结构、维护演化与指令防护
Published Sep 23
Evaluated models Gemini 3.1 Pro , GLM-5.2 , gpt-oss Abstract gh-aw 指令又长又常改,任务和约束很常见,显式注入防护很少,LLM 标注与人工标签大体一致。这是一项对 GitHub Agentic Workflows Markdown 的仓库挖掘,目标是描述开发者如何规定并维护会反复执行的智能体工作。
提出 CellAudit,审计智能体发现的细胞模型是否使用所声明输入
Published Sep 23
Evaluated models CellScientist , AIDE , CellForge and others4 Abstract CellAudit 把输入使用声明从源码追到拟合贡献,并说明高分不必等于使用了扰动。CellAudit 为智能体发现的细胞响应模型增加一层输入使用证伪:源码是否消费注册输入、拟合预测是否依赖它、该依赖是否改善对观测响应的预测。