危险能力 · 论文

KaliBench：面向 Kali Linux 网络安全工具使用的细粒度基准

提出 KaliBench，评测模型把安全意图译成 Kali 命令的能力

arXiv

2610.02206

发表

10月1日

层

模型层

场景

模型与 API

测试

Gemma-3-it 27B、Llama3.1-Instruct 8B、Qwen3 8B 等 15 个

• 风险危险能力

AuraForge：为训练安全编码 Agent 扩展安全监督

提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体

arXiv

2610.00850

发表

10月2日

层

训练与数据层

场景

编程 Agent

测试

Gemini 3.1 Pro、Qwen3.5-4B、Muse Spark 1.3 等 11 个

• 防御模型加固
• 风险Agent 危险操作

PlanBench 评测：o1 规划能力大幅提升但仍未饱和

用 PlanBench 评测推理模型能否完成规划

arXiv

2409.13373

发表

2024年9月20日

层

模型层

场景

模型与 API

测试

Gemini 1.5 Pro、Gemini 1 Pro、o1-preview 等 13 个

微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力

arXiv

2609.15383

发表

9月14日

层

应用层

场景

编程 Agent

攻击者

黑盒

测试

Gemma-4-31B、Gemma-4-12B、GPT-5.5 等 7 个

• 攻击恶意使用
• 风险危险能力
• 技术多轮渐进

SciRisk-Bench：面向 AI4Science 安全的风险维度感知基准

提出 SciRisk-Bench，按风险维度与学科评测 AI4Science 安全

arXiv

2606.18936

发表

6月17日

层

模型层

场景

模型与 API

测试

gemini-3-flash-preview、gemma-4-31b-it、gemini-2.5-flash 等 14 个

• 风险幻觉与编造
• +1+1

上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险

提出生物红队模型 Intern-BioBreaker，多轮越狱诱导模型输出可操作生物危害

arXiv

2607.18056

发表

7月20日

层

提示层

场景

模型与 API

测试

Gemini 3.5 Flash、Gemini 3.1 Pro Preview、DeepSeek-V3 等 14 个

• 攻击越狱
• 技术自动化搜索
• +1+1

FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

建立越狱原语分类与双重危害基准，评测模型抵御常见越狱的能力

arXiv

2608.03070

发表

8月4日

层

提示层

场景

模型与 API

测试

Gemini 3.1 Pro、Claude Fable 5、Claude Opus 4.8 等 8 个

• 攻击越狱
• 组件护栏与评审

Reference-Grafting 在提取沙袋行为隐藏能力上追平微调

提出参考嫁接，在推理阶段用激活干预诱导沙袋隐藏能力

arXiv

2608.29458

发表

8月30日

层

模型层

场景

模型与 API

攻击者

白盒

测试

Gemma-2-2B、Gemma-2-9B、Gemma-2-27B 等 15 个

• 攻击模型篡改