Translation in progress Some entries still include text in the original language.
Oct 13 · Tuesday
Another 216 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 AgentTrap 有状态蜜罐,欺骗并反击自主渗透测试 Agent
Published Oct 2
Evaluated models AIDA , Claude Code , PentestGPT and others8 提出 LLMLeak,借合法网页抓取把 URL 中的秘密隐蔽外传
Published Oct 1
Evaluated models Meta-Llama-3.3-70B-Instruct , Meta-Llama-4-Scout-17B-16E-Instruct , Meta-Llama-3.1-8B-Instruct and others18 Abstract 作者称第三方外传可发生于正常网页获取,防护需考虑工具请求而不只考虑提示注入。LLMLeak 是利用网页获取请求携带预先编码秘密的隐蔽通道攻击。 它关注恶意软件已能读取数据、却因网络限制或监控无法直接外传的情形。
测试编程智能体被诱导或自主篡改自身执行轨迹的行为
Published Sep 25
Evaluated models GPT-5.6-Sol , GPT-6-Sol , Opus-5 and others11 Abstract 论文评估了本地智能体的轨迹防篡改能力,发现其可因外部指令或奖励追求而清除执行证据,亟需建立独立拦截记录机制。这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。
提出移动 Agent 轨迹审计器 MATE,判断轨迹是否违反可编辑安全策略
Published Sep 19
Evaluated models MATE-0.5B , MATE-1.5B , MATE-3B Abstract MATE 用合成轨迹微调轻量审计器,在可编辑策略下判断移动智能体轨迹是否违规并给出解释。MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器,在给定自然语言安全策略时判断轨迹是否违规并解释原因。
提出 CGMIA,检测代码生成基准样本是否泄漏进训练集
Published Sep 9
Evaluated models Qwen2.5-Coder (3B) , CodeGemma (2B) , DeepSeek-Coder (1.3B) and others5 Abstract CGMIA 融合相似度、通过率、困惑度与 CodeBERT,在模拟泄漏上优于八个 MIA 基线。CGMIA 用成员推断检测代码生成基准是否泄入 LLM 训练集,使评测不依赖对训练语料的直接访问。
提出 Skill-as-API,隔离多智能体协作中的 skill 正文与系统提示词
Published Sep 1 Abstract 协议把 skill 正文留在所有者侧,四层限制发现内容、权限期限和注入拼接。Skill-as-API 是面向智能体软件工程的协调协议,用来在跨组织调用时把 skill 的代码和系统提示词留在所有者进程。作者针对三条威胁:经通道或命名空间抽取专有方法,用注入让被调用模型输出系统提示词,以及协作结束后权限继续保留。
提出 Agent MechSuits,对多轮 CLI Agent 做步级检测与子空间转向
Published Jun 22
Evaluated models LLaMA-3.1-8B , Qwen-2.5-7B , Gemma-2-9B Abstract 白盒步级探针加稀疏转向可压低三模型恶意动作,同时提高生成崩溃率。Agent MechSuits 是面向多轮 CLI 智能体的白盒、步级表示防御,并配有可执行轨迹基准 MAS。
提出 AgentHazard 基准,评测计算机使用智能体的执行层有害行为
Published Apr 3
Evaluated models Qwen2.5-72B-Instruct , Qwen2.5-Coder-32B-Instruct , Qwen3-32B and others12 Abstract AgentHazard 评估了计算机使用智能体的执行安全,作者认为模型层对齐无法可靠保障智能体层面的安全性。AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准,重点探究多步工具调用下局部合理动作累积引发的危害。
Defenses arXiv 2312.06632 · Dec 12, 2023 提出 SciGuard 外部护栏与 SciMT 基准,控制化学科学 AI 误用
Published Dec 12, 2023
Evaluated models SciGuard (GPT-4) , SciGuard (Gemini) , SciGuard (Mixtral) and others5 Abstract SciGuard 以外部智能体控制化学 AI 误用。这篇工作把化学科学 AI 的误用控制做成外部智能体,而不是改模型权重。作者担心合成规划、毒性预测和科学语言模型被用来获取有害物质信息、规避监管或传播危险知识,同时合法工业用途又不能靠一律拒绝来处理。SciGuard 由 LLM 担任中介,把原则和指南放进短期记忆,把分子库、危害库、法规和交互历史放进可检索的长期记忆,再按 Chain of Thought 调用 Chemprop、LocalRetro 等工具,或用 RAG 补法规片段,最后回答、追问或拒绝。
You have reached the end