Translation in progress Some entries still include text in the original language.
Oct 13 · Tuesday
All papers Found 28 papers Another 216 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 OPUR 攻击，用似然梯度优化对抗后缀越狱 LLM 智能体
Published Oct 7
Evaluated models Llama-3.1-8B-Instruct , Ministral-8B-Instruct-2410 提出 PEV 攻击，在输入嵌入上加高斯噪声越狱开源模型
Published Oct 6
Evaluated models Llama-3.1-8B-Instruct , Qwen2.5-1.5B-Instruct , Phi-4-mini-3.8B and others6 Abstract PEV 用 embedding 高斯噪声，在六个模型上越狱 JailbreakBench 全部提示。PEV 是对 open-weight LLM 的 embedding 噪声越狱。
提出 ReSA，从对齐模型行为恢复安全奖励并在解码时反转
Published Oct 6
Evaluated models Llama3.1-8B-Instruct , Gemma-7B-Instruct , Qwen2.5-7B-Instruct and others9 Abstract ReSA 用最大熵 IRL 从对齐模型行为恢复代理安全奖励，并在解码时反转以诱导有害输出。ReSA 是一种对抗攻击：从对齐模型的可观察行为恢复代理安全奖励，再在解码时把该奖励反过来用。 。
提出 CRIME 框架，组合良性 Agent 技能诱发恶意行为
Published Oct 5
Evaluated models DeepSeek-V4-Flash , GPT-4o-mini , GPT-4o and others6 Abstract 良性技能经 DCA 或 ACA 组合后可产生恶意环境后果，单独审查对不上。CRIME 把公共技能库中各自通过审查的技能配成两两组合，看联合执行能否实现指定恶意任务。 。
提出工具型 Agent 的自适应攻击 DART 与预执行防御 SAGE
Published Sep 28
Evaluated models GPT-5.6 Luna , GPT-5.6 Terra , Gemini 3.8 Flash and others5 Abstract 论文提出状态控制框架 SEAD、攻击 DART 与防御 SAGE，实验显示执行反馈与环境探测在攻防交互中具有关键作用。
提出能力洗钱攻击，拆分任务向对齐模型套取能力
Published Sep 14
Evaluated models GPT-5.5 , Claude Opus 4.8 , Grok-4.3 and others7 Abstract 作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。
提出 FLOWSEAL，用工具级信息流控制阻断智能体隐私泄露
Published Sep 12
Evaluated models DeepSeek-V3.2 , GPT-4.1-mini , Gemini-Flash-2.5 Abstract 作者分析大模型智能体隐私检查与攻击面重合问题，提出外部拦截防御 FLOWSEAL 并验证有效性。
揭示推理加深引发的对齐坍塌，用 Reasoning Trap 放大越狱
Published Sep 8
Evaluated models Qwen3-8B , Qwen3-14B , Llama2-7B and others8 Abstract 更深推理提升题目准确率，同时提高扰动下的相对损失。作者研究扩展推理是否以对齐稳健性为代价，提出 ALR、RT 与 RRA。 。
提出 RedEvoAgent，演化攻击技能对黑盒智能体做自动红队
Published Aug 28
Evaluated models MiniMax-M2.5 , DeepSeek-V4-Flash , Qwen3.5-35B Abstract RedEvoAgent 用验证棘轮演化可读攻击技能，在两种产品级 harness 上多数设置高于固定工具与红队基线。RedEvoAgent 是面向产品级 black-box 智能体的自动红队方法，用一份可演化、人类可读的攻击技能编排多个越狱工具。 。
训练自博弈红队智能体 GPT-Red，规模化生成提示注入与越狱攻击
Published Jul 29
Evaluated models GPT-5.6 , GPT-5.5 , GPT-5.4 and others8 提出 AHA 自动科研循环，发现生产 Agent 的可复用漏洞概念
Published Jul 13
Evaluated models Minimax-M2.7 , Kimi-K2.6 , Deepseek-V4-Pro and others5 Abstract 论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。
提出工作流级越狱，让编程 Agent 在开发任务中写入有害示例
Published Jul 5
Evaluated models Claude Sonnet 4.6 , Claude Haiku 4.5 , Gemini 3.1 Pro and others4 Abstract 作者报告 Copilot 后端会在编码工作流中生成其在单轮条件下通常拒绝的有害答案。这是一项生产 IDE 编码智能体的工作流越狱研究 ，受测对象是 Copilot 的四个模型后端，而非评测流水线中的名义目标。
提出 CodeSpear 越狱，借语法约束解码生成恶意代码，并给出 CodeShield 防御
Published Jun 10
Evaluated models Qwen2.5-Coder-7B , Qwen2.5-Coder-32B , Qwen2.5-7B and others10 Abstract 论文发现语法约束解码会破坏自然语言安全对齐，提出 CodeSpear 越狱攻击与基于蜜罐代码对齐的 CodeShield 防御。
提出 CFD 跨会话分解攻击，利用工件来源缺口绕过工具型 Agent 的本地检查
Published Jun 8
Evaluated models GPT-4.1 , GPT-5-nano , Claude-3.5-Sonnet and others6 Abstract CFD 用无指令 artifact 把越狱拆到跨会话。CFD 针对工具型 LLM 智能体：利用 artifact 来源不被跟踪这一部署失败模式，把有害目标拆开后延迟组合。
提出 TRACE 框架，用分解与可演化多轮策略诱导智能体执行有害工作流
Published May 29
Evaluated models Codex , Claude Code , GPT-5.5 and others6 提出 HMNS，通过注意力头掩码与零空间注入实现机制级越狱
Published Apr 12
Evaluated models LLaMA-2-7B-Chat , Phi-3-Medium-4K-Instruct , LLaMA-3.1-70B and others6 提出 SWhisper，用近超声波向语音驱动 LLM 隐蔽注入越狱提示
Published Mar 14
Evaluated models Meta-Llama-3.1-8B-Instruct , Gemma-3-4B , Qwen2.5-7B-Instruct and others9 Propose Blindfold, jailbreaking embodied LLMs with action-level manipulation
Published Mar 2
Evaluated models Llama-3.1-8B , DeepSeek-R1-14B , Gemma-3-27B and others8 Abstract Blindfold jailbreaks embodied LLMs with action-level proxy planning, and the authors claim it can bypass semantic checks and is effective in both simulation and real-world settings.Blindfold is a no-box attack against embodied LLM planning modules, rewriting malicious intent into seemingly benign action sequences.
提出 CoT Forgery，经用户消息或工具输出注入伪造推理
Published Feb 23
Evaluated models gpt-oss-20b , gpt-oss-120b , o4-mini and others11 Abstract 提示注入被作者解释为角色感知失败：听起来像某角色，就在表示里成为该角色。作者把提示注入解释成角色感知失败：标签划出的权限没有进入模型的内部几何。
提出 ShallowJail，在推理时用转向向量改写隐藏状态实现越狱
Published Feb 7
Evaluated models Qwen3-4B-Instruct-2507 , Qwen2.5-7B-Instruct , Llama-3.1-8B-Instruct