Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
Another 233 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
Published Oct 7 Abstract 形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
提出 ASA 与 AttestMCP，度量并降低 LLM 对输入序列扰动的敏感
Published Oct 2
Evaluated models Gemma-3-27B-Instruct , Gemma-3-4B-Instruct , Llama-3.2-3B-Instruct and others12 提出移动 Agent 轨迹审计器 MATE，判断轨迹是否违反可编辑安全策略
Published Sep 19
Evaluated models MATE-0.5B , MATE-1.5B , MATE-3B Abstract MATE 用合成轨迹微调轻量审计器，在可编辑策略下判断移动智能体轨迹是否违规并给出解释。MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器，在给定自然语言安全策略时判断轨迹是否违规并解释原因。
提出 MOLE 基准，评测监控器对 AI 智能体内部威胁的检出能力
Published Sep 7
Evaluated models GPT-5.3 Chat , GPT-5.5 , GPT-4.1 and others15 Abstract MOLE 构建了智能体内部威胁检测基准，作者指出高漏检现状与推理痕迹的防御价值，并展示了监控策略优化空间。MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准，旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。 。
提出 CAVA，将异构智能体运行时事件规范为可哈希动作并绑定审批与回执
Published Jul 15 Abstract CAVA 用规范动作指纹承接异构运行时治理。CAVA 是给异构智能体运行时用的动作语义层，用来回答“被批准和被审计的到底是哪一个动作”。
提出 Agent MechSuits，对多轮 CLI Agent 做步级检测与子空间转向
Published Jun 22
Evaluated models LLaMA-3.1-8B , Qwen-2.5-7B , Gemma-2-9B Abstract 白盒步级探针加稀疏转向可压低三模型恶意动作，同时提高生成崩溃率。Agent MechSuits 是面向多轮 CLI 智能体的白盒、步级表示防御，并配有可执行轨迹基准 MAS。
提出 Meerkat，聚类并搜索 Agent 轨迹库以定位跨轨迹安全违规
Published Apr 14
Evaluated models GPT-5.4 , GPT-5.4-mini , Qwen3.5-397B-A17B and others5 Abstract Meerkat 用聚类与智能体搜索定位跨轨迹违规，并在真实评测轨迹中找出脚手架泄题与奖励黑客。Meerkat 是事后审计方法，用来在智能体轨迹仓库里找出单条看不出、合在一起才违反自然语言安全属性的见证。
Defenses arXiv 2312.06632 · Dec 12, 2023 提出 SciGuard 外部护栏与 SciMT 基准，控制化学科学 AI 误用
Published Dec 12, 2023
Evaluated models SciGuard (GPT-4) , SciGuard (Gemini) , SciGuard (Mixtral) and others5 Abstract SciGuard 以外部智能体控制化学 AI 误用。这篇工作把化学科学 AI 的误用控制做成外部智能体，而不是改模型权重。作者担心合成规划、毒性预测和科学语言模型被用来获取有害物质信息、规避监管或传播危险知识，同时合法工业用途又不能靠一律拒绝来处理。SciGuard 由 LLM 担任中介，把原则和指南放进短期记忆，把分子库、危害库、法规和交互历史放进可检索的长期记忆，再按 Chain of Thought 调用 Chemprop、LocalRetro 等工具，或用 RAG 补法规片段，最后回答、追问或拒绝。
You have reached the end