全部论文

RefusalBench：拒答率为何会误排前沿 LLM 在生物研究提示上的安全水平

提出 RefusalBench，评测生物研究提示上的拒答率与安全校准

arXiv

2605.21545

发表

5月20日

层

模型层

场景

模型与 API

测试

Nemotron 3 Super 120B、Claude Opus 4.7、Claude Opus 4.6 等 15 个

• 风险拒答失当

AudioHijack 框架对 13 个语音大模型实现隐蔽音频提示注入

提出 AudioHijack，用不可感知对抗音频对语音模型实施听觉提示注入

arXiv

2604.14604

发表

4月16日

层

应用层

场景

AI Agent

测试

Phi-4-Multimodal、Phi-4-Multimodal-instruct、SpeechGPT 等 15 个

• 攻击提示注入
• 技术梯度与表征优化
• 组件音频
• +1+1

研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准

系统研究 LLM 智能体记忆投毒并构建基准 MPBench

arXiv

2606.04329

发表

6月3日

层

应用层

场景

AI Agent

测试

Deberta-v3-base、GPT-OSS-120B、Meta-Llama-3.1-70B-Instruct 等 6 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +1+1

CONTRA：研究者用配置树搜索对个人化 Agent 做红队测试

提出 CONTRA，用树搜索修改良性配置以诱发 Agent 恶意动作

arXiv

2607.03220

发表

7月3日

层

应用层

场景

AI Agent

测试

Nemotron-Cascade-2、Gemma4-31b、Gemma4-e4b 等 6 个

• 技术自动化搜索

WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

arXiv

2610.09240

发表

10月7日

层

应用层

场景

网页与电脑操作

测试

Phi-3-Vision-4B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个

• 攻击提示注入
• 技术跨模态载荷
• 组件视觉
• +1+1

RA-Det：利用鲁棒性不对称检测 AI 生成图像

提出 RA-Det，利用鲁棒性不对称检测 AI 生成图像

arXiv

2603.01544

发表

3月2日

层

应用层

场景

LLM 应用

测试

SDXL、ProGAN、StyleGAN2 等 15 个

• 防御检测与过滤
• 攻击恶意使用
• 组件护栏与评审
• +1+1

研究者提出 Staged Decoding 与 SFT 数据集，减少大推理模型推理轨迹中的隐私泄露

提出 Staged Decoding 与指令跟随训练，减少推理轨迹隐私泄露

arXiv

2602.24210

发表

2月28日

层

模型层

场景

模型与 API

测试

Phi 4 3.8B、Phi 4 14B、Qwen 3 1.7B 等 6 个

• 防御模型加固
• 攻击提取与窃取
• 组件推理链

PyINE：用可验证 Python 执行轨迹研究推理模型的捷径与监督

提出 PyINE 基准，训练捷径跟随模型并比较监督者

arXiv

2610.04737

发表

10月3日

层

模型层

场景

模型与 API

测试

nemotron-3-nano-30B、Qwen3-4B-Instruct、shortcut-following model organism 等 14 个

• 组件监控器
• +1+1

MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露

评估多租户智能体共享向量记忆的跨用户泄露与主动桥接

arXiv

2610.04195

发表

10月3日

层

应用层

场景

AI Agent

测试

all-MiniLM-L6-v2、Gemini 2.5 Flash、Claude Sonnet 4.5 等 5 个

• 攻击提取与窃取
• 技术诱导选用
• 组件记忆
• +2+2

研究者提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露

提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露

arXiv

2610.05826

发表

10月5日

层

应用层

场景

LLM 应用

测试

all-MiniLM-L6-v2

• 防御指令与数据隔离
• 攻击投毒与后门
• 组件RAG

VERA：结构化审计发现约 60% 正确漏洞判定伴随虚构推理

提出 VERA，结构化审计漏洞推理中的虚构主张

arXiv

2610.06366

发表

10月5日

层

模型层

场景

编程 Agent

测试

nemotron-3-nano、sonnet-5、gemma-4-26b 等 11 个

• 风险幻觉与编造
• 组件推理链

研究评测五款开源文生图模型的有害内容生成与审核缺口

评测文生图模型的有害内容生成能力与审核检测缺口

arXiv

2610.06503

发表

10月5日

层

模型层

场景

模型与 API

测试

SDXL、Stable Diffusion 3.5 Large、FLUX.1-dev 等 12 个

• 防御检测与过滤
• 攻击恶意使用
• 组件图像生成
• +1+1

MBZUAI 提出可校准的真实图像认证方法

提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动

arXiv

2610.05870

发表

10月5日

层

应用层

场景

LLM 应用

攻击者

白盒

测试

SD2.1、SD3、SD3.5 等 10 个

• 防御检测与过滤
• 攻击检测规避
• 组件图像生成
• +1+1

研究：模型掌握评测设计知识后安全基准分数更高

微调注入评测特征知识，测量隐式评测觉察造成的安全分数虚增

arXiv

2605.28591

发表

5月27日

层

模型层

场景

AI Agent

测试

Llama 3.3 Nemotron Super 49B v1.5、Qwen3 32B、GLM 4.7 Flash 等 5 个

• 风险欺骗与谋划

Tail-Influence Sampling：面向 CVaR 策略评估的尾部影响采样

提出 Tail-Influence Sampling，按尾部影响分配查询以估计策略下尾 CVaR

arXiv

2609.38096

发表

9月29日

层

应用层

场景

LLM 应用

测试

Phi-4-mini-instruct、Qwen3-4B-Instruct-2507、Granite-4.2-8B 等 6 个

HDI 攻击：篡改 GraphRAG 辅助结构可致 88–94% 攻击成功率

提出 HDI 攻击以篡改 GraphRAG 辅助结构破坏检索

arXiv

2610.02373

发表

10月1日

层

应用层

场景

LLM 应用

测试

Microsoft GraphRAG、HippoRAG2、text-embedding-3-small 等 4 个

• 攻击投毒与后门
• 组件RAG

HakemBench：土耳其语类型化决策基准发布

发布 HakemBench，评测土耳其语定型决策的质量、校准与选择性自动化

arXiv

2610.02293

发表

10月2日

层

模型层

场景

模型与 API

测试

open-jev (DeBERTa-v3-large)、Gemini 3.8 Flash、GPT-5.6 Sol 等 11 个

OLMo-Detect：面向 LLM 成员推断的多阶段混淆控制基准

提出基准 OLMo-Detect 评测 LLM 成员推断

arXiv

2610.02986

发表

10月2日

层

模型层

场景

模型与 API

测试

SmolLM2-1.7B、OLMo 2 1B、OLMo 2 7B 等 9 个

• 攻击提取与窃取

HackTrace：用生成状态监督检测代码生成中的奖励作弊

提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

arXiv

2610.03055

发表

10月2日

层

应用层

场景

编程 Agent

测试

CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个

• 防御监控与审计
• 风险奖励作弊
• 组件监控器

Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器

提出 PRETEXT 白盒攻击，迭代改写技能文本以绕过 Agent 技能扫描器

arXiv

2609.39607

发表

9月30日

层

应用层

场景

AI Agent

攻击者

白盒

测试

all-MiniLM-L6-v2、glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507) 等 4 个

• 攻击检测规避
• 技术自动化搜索
• 组件MCP 与技能
• +2+2