全部论文

RefusalBench：拒答率为何会误排前沿 LLM 在生物研究提示上的安全水平

提出 RefusalBench，评测生物研究提示上的拒答率与安全校准

arXiv

2605.21545

发表

5月20日

层

模型层

场景

模型与 API

测试

Nemotron 3 Super 120B、Claude Opus 4.7、Claude Opus 4.6 等 15 个

• 风险拒答失当

研究者提出 SN-Guided Diffusion，利用扩散大模型安全神经元实现离线越狱

提出 SN-Guided Diffusion，利用安全神经元实现离线越狱

arXiv

2608.07430

发表

8月8日

层

提示层

场景

模型与 API

攻击者

黑盒、白盒

测试

Llama-3-8B-Instruct、Llama-3.2-1B-Instruct、Qwen2.5-7B-Instruct 等 15 个

• 攻击越狱
• 技术梯度与表征优化
• +1+1

自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

arXiv

2602.08877

发表

2月10日

层

模型层

场景

模型与 API

测试

Llama 3.3 70B Instruct、Llama 3.1 8B Instruct、Gemma 2 9B Instruct 等 4 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升

用代价曲线评估恶意微调防御在持续训练下的衰减

arXiv

2605.14605

发表

5月14日

层

训练与数据层

场景

模型与 API

测试

Llama-2-7B-chat、Llama-3.1-8B-Instruct、Llama-2-13B-chat 等 8 个

• 防御模型加固
• 攻击模型篡改
• 组件微调与开源权重

研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

arXiv

2607.03968

发表

7月5日

层

应用层

场景

编程 Agent

攻击者

黑盒、无盒

测试

Llama 3.1-8B、Claude Sonnet 4.6、Claude Haiku 4.5 等 5 个

• 攻击越狱
• 技术多轮渐进
• +1+1

CredLeak-Bench

提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露

arXiv

2610.08871

发表

10月6日

层

应用层

场景

网页与电脑操作

测试

Llama-3.1-8B-Instruct、Claude Sonnet 5、Claude Opus 4.8 等 7 个

• 攻击提示注入

新论文称 Lean 验证不能为 OpenAI 的 Navier-Stokes 自然语言证明背书

论证 Lean 编译通过不能保证自然语言数学证明语义忠实

arXiv

2610.08144

发表

10月6日

层

模型层

场景

模型与 API

测试

Meta Atlas autoformaliser、ChatGPT-6 (Astra Ultra)、OpenAI Navier-Stokes formalisation AI

研究者提出模型生物体多目标验证框架并给出训练建议

提出模型生物多目标验证与合并训练方法以减少能力损伤

arXiv

2610.10203

发表

10月7日

层

训练与数据层

场景

模型与 API

测试

llama-3.1-8b-it、gemma-2-2b-it、olmo-2-1b 等 8 个

SafeEvo：从拒答回路视角解释大模型安全对齐机制与演化

用 SafeEvo 提取拒绝电路，并提出 SCA 仅微调该电路

arXiv

2610.09600

发表

10月7日

层

训练与数据层

场景

模型与 API

测试

Llama-3-8B、Qwen-2.5-7B、Mistral-7B-v0.1 等 4 个

• 防御模型加固
• 风险拒答失当

PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

arXiv

2610.10276

发表

10月7日

层

模型层

场景

模型与 API

测试

Llama-3.1-8B-Instruct、Llama-4-Scout、Qwen2.5-3B-Instruct 等 8 个

• 防御推理时干预
• 攻击越狱

人格层级模型解释微调 LLM 的上下文泛化

提出人格层级模型并设计 PPR 抑制奖励作弊的跨上下文泛化

arXiv

2610.09384

发表

10月7日

层

模型层

场景

模型与 API

测试

Llama-3.1-8B-Instruct、Qwen3-4B

• 防御模型加固
• 风险奖励作弊

论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

提出 IEC 协议与 IntAct，定位并修复 Agent 工具调用的静默篡改

arXiv

2610.04375

发表

10月3日

层

应用层

场景

编程 Agent

测试

Hermes-3-Llama-3.1-70B、qwen3-coder-plus、Qwen2.5-Coder-32B 等 4 个

SLIP：无需外部攻击模型的多轮自我越狱

提出无外部攻击模型的多轮自我越狱方法 SLIP

arXiv

2601.02670

发表

1月6日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Llama-3.3-70B-Instruct、Llama-3.1-8B-Instruct、GPT-5.1 等 11 个

• 攻击越狱
• 技术多轮渐进
• +1+1

研究：后训练配方决定大模型是否违背自身道德判断行事

提出知行差距面板，测量压力下模型是否违背自身判断

arXiv

2610.08670

发表

10月7日

层

模型层

场景

模型与 API

测试

Llama-3.1-8B-Instruct、Llama-3.1-8B、OLMo-3-7B-Instruct 等 7 个

• 风险失准与价值偏离

研究：LLM 潜在空间去偏方向主要编码置信度而非公平性

分析 LLM 去偏激活方向，发现其编码置信度而非公平性

arXiv

2610.08559

发表

10月6日

层

模型层

场景

模型与 API

测试

Llama-3.1-8B、Llama-3.1-8B-Instruct、Falcon3-7B-Base 等 8 个

• 防御推理时干预
• 风险偏见与歧视

研究者提出答案侧后门：让模型自生成触发词绕过安全拒答

提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答

arXiv

2610.07723

发表

10月6日

层

训练与数据层

场景

模型与 API

测试

Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3、Gemma-7B-it 等 4 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件微调与开源权重
• +2+2

研究发现类型化决策模型主要按选项标签而非定义作答

揭示类型化决策模型按选项标签而非定义规则作答

arXiv

2610.02586

发表

10月1日

层

提示层

场景

模型与 API

测试

Llama-3.1-8B-Instruct、von、Qwen2.5-0.5B 等 6 个

• 组件护栏与评审

论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

提出操作有效性契约，审计激活监控的告警策略

arXiv

2610.04575

发表

10月3日

层

应用层

场景

网页与电脑操作

测试

Llama-3.2-3B、Qwen2.5-7B-Instruct、Qwen2.5-7B 等 4 个

• 防御监控与审计
• 组件监控器

Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月

提出企业级检测系统 ADR，检测编程 Agent 的提示注入与恶意 MCP

arXiv

2605.17380

发表

5月

层

应用层

场景

编程 Agent

测试

Llama Guard 3-8B、GPT-4o、Claude Sonnet 4 等 4 个

• 防御检测与过滤
• 攻击提示注入
• 组件MCP 与技能
• +3+3

研究者提出 CAP 指标与 CSFD 算法，发现越狱通过压制安全特征绕过拒答

提出 CAP 指标与 CSFD 算法，发现被抑制的安全特征

arXiv

2610.05541

发表

10月5日

层

模型层

场景

模型与 API

测试

Llama-3.2-1B、Gemma-2-2B、Qwen3-8B 等 5 个

• 风险拒答失当