Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 29 papers Another 313 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 BRANCH 方法，用分支搜索绕过多扫描器护栏
Published Oct 8
Evaluated models Meta Llama Guard 3 8B , Meta Llama Guard 7B , Meta Llama Guard 3 1B and others18 提出 OPUR 攻击，用似然梯度优化对抗后缀越狱 LLM 智能体
Published Oct 7
Evaluated models Llama-3.1-8B-Instruct , Ministral-8B-Instruct-2410 提出 SAFESHIELD，组织小语言模型部署时的安全决策
Published Oct 6
Evaluated models Qwen3-4B-Instruct Abstract SAFESHIELD 用可审计决策轨迹组织 SLM 部署时的四项安全决策，并报告协调依赖影响端到端结果。SAFESHIELD 是面向小语言模型的部署时安全框架，把运行时安全从单项审核改写成可检查的决策过程。
提出 Inspect Robots，在真实机器人上评测具身模型的能力与拒答
Published Oct 5
Evaluated models Astra（GPT-6 Astra） , GPT-6 Sol , GPT-5.6 Sol and others7 提出危害窗口与区间指标，统一评测分解攻击和提示注入下的智能体滥用监视
Published Oct 5
Evaluated models Gemma 4 26B-A4B , Qwen3.6 27B , Qwen3.5 27B and others12 Abstract 统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
评测 ReAct 工具调用对多模态模型拒答有害请求的削弱
Published Oct 3
Evaluated models Gemini-2.5-Pro , Gemini-3.1-Pro-Preview , Claude Opus 4.6 and others13 Abstract 论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。
提出 Persona Guardrail，强制客服智能体守住功能边界
Published Oct 2
Evaluated models Qwen3-30B-A3B , Qwen3-VL-30B , Qwen3-8B and others5 Abstract Persona Guardrail 用功能边界做同步输入输出校验，并在 PAGE 与生产延迟预算下给出评测。Persona Guardrail 是客服向智能体的同步运行时防御：先写明功能边界，再决定放行或拦截，而不是只检测某一攻击类。
提出 CBM，用模型路由与多模型协作缓解群体偏见
Published Oct 2
Evaluated models Qwen/Qwen2.5-32B-Instruct , Qwen/Qwen2.5-14B-Instruct , google/gemma-2-9b-it and others7 Abstract CBM 用路由挑选模型并按拓扑协作，在若干设定下降低 BBQ 偏见分。CBM 是一个推理时的多模型去偏框架：用路由为查询选模型，再按拓扑协作，以降低社会偏见分。
提出只训练或篡改多智能体潜在通信链路来提高有害遵从
Published Sep 30
Evaluated models Llama-3.2-3B-Instruct , Qwen2.5-3B-Instruct , Gemma-3-1B-IT and others7 Abstract 潜在链路本身即可改变冻结智能体系统的安全，奖励既能攻击也能修复。学习得到的潜在通信链路会改变由冻结、对齐智能体组成的系统是否遵从有害请求。 。作者研究三种拓扑：双智能体、三级顺序协作，以及双专家加汇总。
比较智能体对话中共振与说服对信念激进化的效果
Published Sep 30
Evaluated models Llama-3.1-8B-Instruct , Qwen3-8B Abstract 两智能体实验中，作者称共振比说服更能激进化，并会波及相关信念。作者用两个 LLM 智能体的对话，考察一方能否把另一方扮演的人格信念推向更极端。
提出闭环自适应红队框架 CART，评测模型与 Agent 的安全失败
Published Sep 23
Evaluated models Claude Opus 4.8 , GPT-5.5 , Grok 4.3 and others7 Abstract CART 把红队做成可审计的闭环搜索，在三类评测上比静态回放发现更多失败与更高平均风险。CART 把自动红队从一次清单式打分，改成带预算、可追溯的闭环搜索。
系统梳理智能体执行链路中的越狱攻击与防御并比较推理时防御
Published Sep 11
Evaluated models Qwen3.5-4B , Llama-3.1-8B-Instruct Abstract SoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。
评测多智能体委托结构如何放大模型的安全拒答失效
Published Aug 26
Evaluated models Claude-Sonnet-4.6 , GPT-5 , Gemini-3.1-Pro and others6 Abstract 论文揭示多智能体层级委托会导致单模型安全对齐失效，多项前沿模型有害执行大幅增加且单层防御难以奏效。
形式化跨不可关联身份的分解攻击并评测状态化防御边界
Published Aug 18
Evaluated models Granite Guardian 3.1 2B 提出 EvoBreak，以良性任务组合诱导自进化 Agent 的持久经验并削弱安全边界
Published Aug 3
Evaluated models GPT-5-mini , Llama-3.1-8B-Instruct 构建 SciHazard 基准，评测科研智能体与 LLM 的科学危险能力
Published Jul 21
Evaluated models WebThinker + DeepSeek-R1 , InternAgent , Gemini Deep Research and others19 Abstract SciHazard 用分解评分测科学滥用风险，作者称智能体抬高了可执行危害。SciHazard 是一个科学滥用风险基准，配一个把危害拆开再合成的自动分数。
提出 SeTox 检索增强框架，检测中文新词的隐性毒性
Published Jul 5
Evaluated models SeTox-Qwen2.5-7B Abstract SeTox 用检索把公共共识接入静态 LLM，以检测中文毒性新词。SeTox 研究中文新词上的隐性毒性检测：词表加检索增强，使静态 LLM 在不重训练的情况下利用公开网页上下文。
提出工作流级越狱，让编程 Agent 在开发任务中写入有害示例
Published Jul 5
Evaluated models Claude Sonnet 4.6 , Claude Haiku 4.5 , Gemini 3.1 Pro and others4 Abstract 作者报告 Copilot 后端会在编码工作流中生成其在单轮条件下通常拒绝的有害答案。这是一项生产 IDE 编码智能体的工作流越狱研究 ，受测对象是 Copilot 的四个模型后端，而非评测流水线中的名义目标。
提出 SciTrace，为科学发现智能体加入跨阶段安全推理与工具轨迹核验
Published Jun 6
Evaluated models Llama-3.1-70B-Instruct , Qwen2.5-72B-Instruct , DeepSeek-V3 and others4 Abstract SciTrace 把安全推理织入科学智能体各阶段，在 SciSafetyBench 上提高安全指标并保持输出质量。SciTrace 是加在科学发现智能体流水线上的安全框架，不是再在各阶段出口放一个独立过滤器。
提出 CITA 三阶段框架，生成可绕过毒性检测器的中文隐式毒性文本
Published May 21
Evaluated models Tencent , Baidu , Gemini 3.1 Pro and others11