全部论文

RefusalBench：拒答率为何会误排前沿 LLM 在生物研究提示上的安全水平

提出 RefusalBench，评测生物研究提示上的拒答率与安全校准

arXiv

2605.21545

发表

5月20日

层

模型层

场景

模型与 API

测试

Nemotron 3 Super 120B、Claude Opus 4.7、Claude Opus 4.6 等 15 个

• 风险拒答失当

研究者提出 SN-Guided Diffusion，利用扩散大模型安全神经元实现离线越狱

提出 SN-Guided Diffusion，利用安全神经元实现离线越狱

arXiv

2608.07430

发表

8月8日

层

提示层

场景

模型与 API

攻击者

黑盒、白盒

测试

Phi-3-Mini-4K-Instruct、Qwen2.5-7B-Instruct、LLaDA-8B-Instruct 等 15 个

• 攻击越狱
• 技术梯度与表征优化
• +1+1

AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入

提出 AudioHijack，用不可感知对抗音频对语音模型实施听觉提示注入

arXiv

2604.14604

发表

4月16日

层

应用层

场景

AI Agent

测试

Phi-4-Multimodal、Phi-4-Multimodal-instruct、SpeechGPT 等 15 个

• 攻击提示注入
• 技术梯度与表征优化
• 组件音频
• +1+1

研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升

用代价曲线评估恶意微调防御在持续训练下的衰减

arXiv

2605.14605

发表

5月14日

层

训练与数据层

场景

模型与 API

测试

Zephyr-7B-β、Llama-2-7B-chat、Qwen3-8B 等 8 个

• 防御模型加固
• 攻击模型篡改
• 组件微调与开源权重

研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准

系统研究 LLM 智能体记忆投毒并构建基准 MPBench

arXiv

2606.04329

发表

6月3日

层

应用层

场景

AI Agent

测试

Deberta-v3-base、GPT-OSS-120B、Meta-Llama-3.1-70B-Instruct 等 6 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +1+1

CONTRA：研究者用配置树搜索对个人化 Agent 做红队测试

提出 CONTRA，用树搜索修改良性配置以诱发 Agent 恶意动作

arXiv

2607.03220

发表

7月3日

层

应用层

场景

AI Agent

测试

Nemotron-Cascade-2、Gemma4-31b、Gemma4-e4b 等 6 个

• 技术自动化搜索

WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

arXiv

2610.09240

发表

10月7日

层

应用层

场景

网页与电脑操作

测试

Phi-3-Vision-4B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉
• +1+1

MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露

评估多租户智能体共享向量记忆的跨用户泄露与主动桥接

arXiv

2610.04195

发表

10月3日

层

应用层

场景

AI Agent

测试

all-MiniLM-L6-v2、Gemini 2.5 Flash、Claude Sonnet 4.5 等 5 个

• 攻击提取与窃取
• 技术诱导选用
• 组件记忆
• +2+2

研究发现基础模型仅靠固定开头 token 即可达到 RL 级推理表现

证明短开头词可唤醒基模型推理，且效应来自训练数据

arXiv

2610.06851

发表

10月5日

层

训练与数据层

场景

模型与 API

测试

SmolLM3-3B、Olmo-3-7B、Olmo-3-32B 等 10 个

• 组件推理链

研究者提出 grafting 方法：跨检查点移植模型信念

提出 Grafting，把基座上学到的信念更新加到后训练模型

arXiv

2610.00767

发表

9月30日

层

训练与数据层

场景

模型与 API

测试

Nemotron Super 120B、Qwen3-14B、Llama-3.3-70B-Instruct 等 6 个

• 防御模型加固
• 风险失准与价值偏离

研究：模型掌握评测设计知识后安全基准分数更高

微调注入评测特征知识，测量隐式评测觉察造成的安全分数虚增

arXiv

2605.28591

发表

5月27日

层

模型层

场景

AI Agent

测试

Llama 3.3 Nemotron Super 49B v1.5、Qwen3 32B、GLM 4.7 Flash 等 5 个

• 风险欺骗与谋划

Tail-Influence Sampling：面向 CVaR 策略评估的尾部影响采样

提出 Tail-Influence Sampling，按尾部影响分配查询以估计策略下尾 CVaR

arXiv

2609.38096

发表

9月29日

层

应用层

场景

LLM 应用

测试

Phi-4-mini-instruct、Qwen3-4B-Instruct-2507、Granite-4.2-8B 等 6 个

HDI 攻击：篡改 GraphRAG 辅助结构可致 88–94% 攻击成功率

提出 HDI 攻击以篡改 GraphRAG 辅助结构破坏检索

arXiv

2610.02373

发表

10月1日

层

应用层

场景

LLM 应用

测试

Microsoft GraphRAG、HippoRAG2、text-embedding-3-small 等 4 个

• 攻击投毒与后门
• 组件RAG

HakemBench：土耳其语类型化决策基准发布

发布 HakemBench，评测土耳其语定型决策的质量、校准与选择性自动化

arXiv

2610.02293

发表

10月2日

层

模型层

场景

模型与 API

测试

open-jev (DeBERTa-v3-large)、Gemini 3.8 Flash、GPT-5.6 Sol 等 11 个

PlurPO：用多元偏好优化缓解社交谄媚

提出 PlurPO，用自模拟利益相关者偏好后训练缓解社交谄媚

arXiv

2610.02568

发表

10月2日

层

训练与数据层

场景

模型与 API

测试

Phi-4、Qwen3-8B、Llama 3.1 8B 等 5 个

• 防御模型加固
• 风险失准与价值偏离

研究揭示无触发投毒审计缺口：事实答对不等于决策正确

揭示无触发虚假训练下事实回答与下游决策的审计差距

arXiv

2610.02886

发表

10月2日

层

训练与数据层

场景

模型与 API

测试

SmolLM2-1.7B、Qwen2.5-0.5B、Qwen2.5-1.5B 等 9 个

• 攻击投毒与后门

Whiteout：用混淆样本阻止 LLM 泄露个人敏感信息

提出 Whiteout，用伪装样本微调覆盖个人敏感信息关联

arXiv

2610.02418

发表

10月1日

层

训练与数据层

场景

模型与 API

攻击者

黑盒、白盒

测试

Phi-3-mini、Phi-4、Llama 3.2 等 7 个

• 防御模型加固
• 攻击提取与窃取

OLMo-Detect：面向 LLM 成员推断的多阶段混淆控制基准

提出基准 OLMo-Detect 评测 LLM 成员推断

arXiv

2610.02986

发表

10月2日

层

模型层

场景

模型与 API

测试

SmolLM2-1.7B、OLMo 2 1B、OLMo 2 7B 等 9 个

• 攻击提取与窃取

HackTrace：用生成状态监督检测代码生成中的奖励作弊

提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

arXiv

2610.03055

发表

10月2日

层

应用层

场景

编程 Agent

测试

CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个

• 防御监控与审计
• 风险奖励作弊
• 组件监控器

研究显示少样本微调可绕过安全层局部冻结与修复防御

检验层冻结与奇异方向截断能否挡住少样本有害微调

arXiv

2610.00320

收录

10月5日

层

训练与数据层

场景

模型与 API

攻击者

白盒

测试

Phi-3-mini-4k、Llama-3.1-8B-Instruct、Llama-3.1-Tulu-3-8B-DPO 等 10 个

• 防御模型加固
• 攻击模型篡改
• 组件微调与开源权重