Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 15 papers Another 254 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出危害窗口与区间指标，统一评测分解攻击和提示注入下的智能体滥用监视
Published Oct 5
Evaluated models Gemma 4 26B-A4B , Qwen3.6 27B , Qwen3.5 27B and others12 Abstract 统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
提出 DART，用去噪表征转移检测多轮智能体攻击并注入提醒
Published Sep 30
Evaluated models Qwen3-8B , Qwen3-14B , Qwen3-32B and others6 提出 ORBIT 框架，评测多智能体防御对合谋等威胁的效果
Published Sep 27
Evaluated models GPT-5.4 , Claude Sonnet 4.6 , Qwen3-235B and others5 Abstract ORBIT 用六层配置比较多智能体防御，逐动作监控不迁移到合谋。
测试编程智能体被诱导或自主篡改自身执行轨迹的行为
Published Sep 25
Evaluated models GPT-5.6-Sol , GPT-6-Sol , Opus-5 and others11 Abstract 论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。
提出移动 Agent 轨迹审计器 MATE，判断轨迹是否违反可编辑安全策略
Published Sep 19
Evaluated models MATE-0.5B , MATE-1.5B , MATE-3B Abstract MATE 用合成轨迹微调轻量审计器，在可编辑策略下判断移动智能体轨迹是否违规并给出解释。MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器，在给定自然语言安全策略时判断轨迹是否违规并解释原因。
提出 MOLE 基准，评测监控器对 AI 智能体内部威胁的检出能力
Published Sep 7
Evaluated models GPT-5.3 Chat , GPT-5.5 , GPT-4.1 and others15 Abstract MOLE 构建了智能体内部威胁检测基准，作者指出高漏检现状与推理痕迹的防御价值，并展示了监控策略优化空间。MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准，旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。 。
提出 ClawSentry 多层监控网关，在技能准入和运行时拦截恶意技能与隐藏指令
Published Aug 21
Evaluated models Codex/GPT-5.4 , Codex/GPT-5.5 , Claude Code/GLM-5.1 and others6 Abstract ClawSentry 用包准入、三级运行时门控和反绕过，压低 skill 攻击并保住干净任务。ClawSentry 是挂在智能体运行时之外的安全监督网关，用来同时盖住 skill 执行的多个生命周期边界，并把已被拒绝的效果记到会话里。
提出 S³，用 guard agent 编排阶段安全技能防御智能体多阶段风险
Published Aug 3
Evaluated models DeepSeek-V4-Pro , DeepSeek-V4-Flash 提出 Janus 前瞻守卫，在长程智能体执行有害动作前拦截潜在风险
Published Jul 22
Evaluated models Vanguard 提出嵌入推断攻击 EIA，在黑盒 IR 中识别所用嵌入模型
Published Jul 1
Evaluated models e5-small , e5-small-v2 , e5-base and others19 Abstract EIA 用无序文档集的差异从候选中识别嵌入模型，并给出 reranker 与阈值下的计数。EIA 是在黑盒 IR 上识别所用嵌入模型的攻击。 。
提出 Agent MechSuits，对多轮 CLI Agent 做步级检测与子空间转向
Published Jun 22
Evaluated models LLaMA-3.1-8B , Qwen-2.5-7B , Gemma-2-9B Abstract 白盒步级探针加稀疏转向可压低三模型恶意动作，同时提高生成崩溃率。Agent MechSuits 是面向多轮 CLI 智能体的白盒、步级表示防御，并配有可执行轨迹基准 MAS。
提出 Meerkat，聚类并搜索 Agent 轨迹库以定位跨轨迹安全违规
Published Apr 14
Evaluated models GPT-5.4 , GPT-5.4-mini , Qwen3.5-397B-A17B and others5 Abstract Meerkat 用聚类与智能体搜索定位跨轨迹违规，并在真实评测轨迹中找出脚手架泄题与奖励黑客。Meerkat 是事后审计方法，用来在智能体轨迹仓库里找出单条看不出、合在一起才违反自然语言安全属性的见证。
提出 NeuroFilter，用激活探针过滤智能体多轮隐私攻击
Published Jan 21
Evaluated models GPT-OSS 20B , Qwen 2.5 32B Instruct , Llama 3.3 70B and others8 Attacks arXiv 2512.01335 · Dec 1, 2025 提出 EmoRAG，向查询与知识库注入同一表情以劫持 RAG 检索
Published Dec 1, 2025
Evaluated models SPECTER , Contriever , Qwen2-7B and others11 Abstract EmoRAG 用表情联动查询与库文本。EmoRAG 测量 RAG 对符号扰动的反应：同一表情同时出现在查询和库文本里时，检索会偏离语义匹配。作者要检查的是，检索是否真由语义相关性决定。
Defenses arXiv 2505.23559 · May 29, 2025 提出 SafeScientist 四层监控，阻止科研智能体执行高风险或不伦理任务
Published May 29, 2025
Evaluated models GPT-4o , GPT-4.1 , GPT-3.5-turbo and others5 Abstract 四层监控加科研安全基准。SafeScientist 是带四层监控的科研智能体框架，并用 SciSafetyBench 评测科学场景中的任务安全。
You have reached the end