Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 12 papers Another 230 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
构建 AGENTDOXX 基准，评测联网搜索 Agent 对匿名访谈的再识别
Published Oct 5
Evaluated models GPT-5.6 Terra , GPT-5 Mini , GPT-4.1 Mini and others10 Abstract 论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。
提出 AgentTrap 有状态蜜罐，欺骗并反击自主渗透测试 Agent
Published Oct 2
Evaluated models AIDA , Claude Code , PentestGPT and others8 提出 LLMLeak，借合法网页抓取把 URL 中的秘密隐蔽外传
Published Oct 1
Evaluated models Meta-Llama-3.3-70B-Instruct , Meta-Llama-4-Scout-17B-16E-Instruct , Meta-Llama-3.1-8B-Instruct and others18 Abstract 作者称第三方外传可发生于正常网页获取，防护需考虑工具请求而不只考虑提示注入。LLMLeak 是利用网页获取请求携带预先编码秘密的隐蔽通道攻击。 它关注恶意软件已能读取数据、却因网络限制或监控无法直接外传的情形。
提出 ORBIT 框架，评测多智能体防御对合谋等威胁的效果
Published Sep 27
Evaluated models GPT-5.4 , Claude Sonnet 4.6 , Qwen3-235B and others5 Abstract ORBIT 用六层配置比较多智能体防御，逐动作监控不迁移到合谋。
测试编程智能体被诱导或自主篡改自身执行轨迹的行为
Published Sep 25
Evaluated models GPT-5.6-Sol , GPT-6-Sol , Opus-5 and others11 Abstract 论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。
提出移动 Agent 轨迹审计器 MATE，判断轨迹是否违反可编辑安全策略
Published Sep 19
Evaluated models MATE-0.5B , MATE-1.5B , MATE-3B Abstract MATE 用合成轨迹微调轻量审计器，在可编辑策略下判断移动智能体轨迹是否违规并给出解释。MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器，在给定自然语言安全策略时判断轨迹是否违规并解释原因。
提出 MOLE 基准，评测监控器对 AI 智能体内部威胁的检出能力
Published Sep 7
Evaluated models GPT-5.3 Chat , GPT-5.5 , GPT-4.1 and others15 Abstract MOLE 构建了智能体内部威胁检测基准，作者指出高漏检现状与推理痕迹的防御价值，并展示了监控策略优化空间。MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准，旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。 。
提出 Agent MechSuits，对多轮 CLI Agent 做步级检测与子空间转向
Published Jun 22
Evaluated models LLaMA-3.1-8B , Qwen-2.5-7B , Gemma-2-9B Abstract 白盒步级探针加稀疏转向可压低三模型恶意动作，同时提高生成崩溃率。Agent MechSuits 是面向多轮 CLI 智能体的白盒、步级表示防御，并配有可执行轨迹基准 MAS。
提出 Meerkat，聚类并搜索 Agent 轨迹库以定位跨轨迹安全违规
Published Apr 14
Evaluated models GPT-5.4 , GPT-5.4-mini , Qwen3.5-397B-A17B and others5 Abstract Meerkat 用聚类与智能体搜索定位跨轨迹违规，并在真实评测轨迹中找出脚手架泄题与奖励黑客。Meerkat 是事后审计方法，用来在智能体轨迹仓库里找出单条看不出、合在一起才违反自然语言安全属性的见证。
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
Published Apr 3
Evaluated models Qwen2.5-72B-Instruct , Qwen2.5-Coder-32B-Instruct , Qwen3-32B and others12 Abstract AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。
提出 SafeArena 基准，评测网页 Agent 是否执行故意有害任务
Published Mar 7, 2025
Evaluated models GPT-4o , Claude-3.5-Sonnet , Qwen-2-VL-72B and others5 Abstract SafeArena 用配对任务和 ARIA 评测网页智能体的故意滥用。SafeArena 评测自主网页智能体是否会执行用户故意给出的恶意网页任务。 。
Defenses arXiv 2312.06632 · Dec 12, 2023 提出 SciGuard 外部护栏与 SciMT 基准，控制化学科学 AI 误用
Published Dec 12, 2023
Evaluated models SciGuard (GPT-4) , SciGuard (Gemini) , SciGuard (Mixtral) and others5 Abstract SciGuard 以外部智能体控制化学 AI 误用。这篇工作把化学科学 AI 的误用控制做成外部智能体，而不是改模型权重。作者担心合成规划、毒性预测和科学语言模型被用来获取有害物质信息、规避监管或传播危险知识，同时合法工业用途又不能靠一律拒绝来处理。SciGuard 由 LLM 担任中介，把原则和指南放进短期记忆，把分子库、危害库、法规和交互历史放进可检索的长期记忆，再按 Chain of Thought 调用 Chemprop、LocalRetro 等工具，或用 RAG 补法规片段，最后回答、追问或拒绝。
You have reached the end