危险能力 · 论文

规避与投毒攻击对恶意软件数据漂移检测器的实证分析

用通用扰动对恶意软件分类器及漂移检测器做规避与后门投毒

arXiv

2608.03642

发表

8月4日

层

模型层

场景

模型与 API

测试

MLP 100-100、CADE (CAE 512-384-256-128)、CADE (CAE 512-128-32-8) 等 6 个

• 攻击检测规避
• 技术梯度与表征优化
• +2+2

EXE-Bench：为真实可用性对 AI Windows 恶意软件检测器进行权衡排名

提出 EXE-Bench 比较 Windows 恶意软件检测器的可用性权衡

arXiv

2607.24177

发表

7月27日

层

模型层

场景

模型与 API

测试

EmberGBDT、BBDnn、BBDnnFDRS 等 15 个

• 攻击检测规避

研究者发布面向 EU AI Act 行为准则的系统性风险指数与仪表盘

构建 Systemic Risk Index 流水线，把公开基准映到四类系统风险并评测

arXiv

2609.28335

发表

9月24日

层

模型层

场景

AI Agent

测试

Claude Sonnet 5、Claude Haiku 4.5、GPT-5.6 Luna Pro 等 15 个

• 风险危险能力
• +1+1

KaliBench：面向 Kali Linux 网络安全工具使用的细粒度基准

提出 KaliBench，评测模型把安全意图译成 Kali 命令的能力

arXiv

2610.02206

发表

10月1日

层

模型层

场景

模型与 API

测试

Llama3.1-Instruct 8B、Qwen3 8B、Qwen3 8B thinking 等 15 个

• 风险危险能力

OpenMTB-Audit：LLM 分子肿瘤委员会安全评测暴露过度拒答

构建分子肿瘤委员会审计基准，测量临床过度拒答

arXiv

2610.01497

发表

10月2日

层

模型层

场景

模型与 API、LLM 应用

测试

GPT-4o (gpt-4o-2024-08-06)、GPT-4o-mini (gpt-4o-mini-2024-07-18)

PlanBench 评测：o1 规划能力大幅提升但仍未饱和

用 PlanBench 评测推理模型能否完成规划

arXiv

2409.13373

发表

2024年9月20日

层

模型层

场景

模型与 API

测试

o1-preview、o1-mini、Claude 3.5 (Sonnet) 等 13 个

SciRisk-Bench：面向 AI4Science 安全的风险维度感知基准

提出 SciRisk-Bench，按风险维度与学科评测 AI4Science 安全

arXiv

2606.18936

发表

6月17日

层

模型层

场景

模型与 API

测试

kimi-k2.6、glm-5.1、gemini-3-flash-preview 等 14 个

• 风险幻觉与编造
• +1+1

Reference-Grafting 在提取沙袋行为隐藏能力上追平微调

提出参考嫁接，在推理阶段用激活干预诱导沙袋隐藏能力

arXiv

2608.29458

发表

8月30日

层

模型层

场景

模型与 API

攻击者

白盒

测试

Qwen2.5-1.5B、Qwen2.5-3B、Qwen2.5-14B 等 15 个

• 攻击模型篡改

FUSE：面向大语言模型危险能力的模块化评测框架

提出 FUSE 框架，评测大语言模型的化生危险能力

arXiv

2609.02168

发表

9月2日

层

模型层

场景

模型与 API

测试

Claude-3-Haiku、Claude-Opus-4、Claude-Opus-4.5 等 13 个

• 攻击越狱
• 风险危险能力

AV-SafetyBench：面向文本到音视频生成的安全基准

提出 AV-SafetyBench 评测文生音视频模型的不安全生成

arXiv

2609.06991

发表

9月7日

层

模型层

场景

模型与 API

测试

LTX-2.3、Ovi-1.1、JavisDiT++ 等 7 个

• 风险拒答失当
• 组件图像生成
• +1+1