全部论文

AgentHazard：评估计算机使用智能体有害行为的基准

提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

arXiv

2604.02947

发表

4月3日

层

应用层

场景

网页与电脑操作、编程 Agent

测试

Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个

• 攻击恶意使用

OLMo-Detect：面向 LLM 成员推断的多阶段混淆控制基准

提出基准 OLMo-Detect 评测 LLM 成员推断

arXiv

2610.02986

发表

10月2日

层

模型层

场景

模型与 API

测试

OLMo 2 1B、OLMo 2 7B、OLMo 2 13B 等 9 个

• 攻击提取与窃取

研究者提出自蒸馏方法让 LLM 遵循上下文水印指令

提出 SDLP 与 GRPO，训练模型遵循上下文水印指令

arXiv

2608.29030

发表

8月29日

层

训练与数据层

场景

模型与 API

测试

GPT-5.4、GPT-5.4-mini、GPT-5.4-nano 等 14 个

• 防御水印与溯源
• 攻击恶意使用

aiXamine：跨维度评测 LLM 安全、安全（security）与隐私权衡

提出 aiXamine 黑盒基准，统一评测 LLM 安全、稳健与隐私权衡

arXiv

2608.20554

发表

8月21日

层

模型层

场景

模型与 API

测试

openai/gpt-5-mini、openai/gpt-4o、anthropic/claude-haiku-4.5 等 15 个

• 攻击越狱
• 风险拒答失当
• +2+2

研究者提出 COVER：在语言预算下选择源语言实现跨语言遗忘

提出 COVER，在语言预算下选择源语言实现跨语言知识遗忘

arXiv

2609.40286

发表

10月1日

层

训练与数据层

场景

模型与 API

测试

Tiny Aya Global、Qwen3-4B-Instruct-2507、Llama-3.2-3B-Instruct

• 防御模型加固
• 攻击提取与窃取

PrivDrift：审计活跃 LLM 对话中话题漂移下的用户秘密泄露

提出 PrivDrift 基准，审计话题漂移后的用户秘密复述

arXiv

2609.30094

发表

9月25日

层

提示层

场景

模型与 API

测试

GPT-OSS-120B、DeepSeek-R1、Qwen3-VL-235B

• 攻击提取与窃取
• 技术角色扮演与说服

IDUnlearn-Bench：面向视觉语言模型的个体级遗忘基准

提出 IDUnlearn-Bench，评测 VLM 个体级遗忘后的身份残留

arXiv

2609.33481

发表

9月27日

层

训练与数据层

场景

模型与 API

测试

Qwen3-VL-2B、Qwen3-VL-4B、Qwen3-VL-8B 等 6 个

• 防御模型加固
• 攻击提取与窃取
• 组件视觉

VEX-Bench：评测 LLM 生成虚假信息的核验复杂度

提出 VEX-Bench 评测 LLM 生成虚假信息的核查复杂度

arXiv

2609.35028

发表

9月28日

层

提示层

场景

模型与 API

测试

Claude Sonnet 4.5、Gemini 3.1 Pro、GPT-5.4 等 7 个

• 攻击恶意使用

机器遗忘在 ASR 中是否有效：arXiv 论文评估现有算法与评测工具

arXiv

2609.34092

发表

9月28日

层

训练与数据层

场景

模型与 API

测试

E-Branchformer

• 防御模型加固
• 攻击提取与窃取
• 组件音频