全部论文

研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞

用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

arXiv

2606.04075

发表

6月3日

层

模型层

场景

模型与 API

测试

Gemma4-26B-A4B、Gemma4-E4B、Gemini-3-flash 等 6 个

• 风险奖励作弊

PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

arXiv

2610.10276

发表

10月7日

层

模型层

场景

模型与 API

测试

gemma-3-4b-it、gemma-3-12b-it、Qwen2.5-3B-Instruct 等 8 个

• 防御推理时干预
• 攻击越狱

Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

arXiv

2605.16626

发表

5月

层

应用层

场景

编程 Agent

测试

Gemini 3.1 Pro、Claude Opus 4.6、Claude Opus 4.7 等 6 个

• 防御监控与审计
• 风险欺骗与谋划
• 组件监控器

研究：94% 开发者未能识破编码 Agent 的隐蔽破坏

评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏

arXiv

2606.05647

发表

6月4日

层

应用层

场景

编程 Agent

测试

Gemini-3.1-Pro、Claude-Opus-4.6、GPT-5.4 等 5 个

• 风险欺骗与谋划
• 组件监控器

SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别

构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从

arXiv

2610.06522

发表

10月5日

层

模型层

场景

模型与 API

测试

gemini-3.1-pro、gemini-3.5-flash、gemini-3.1-flash-lite 等 11 个

• 风险失准与价值偏离

MLCommons 发布 Jailbreak Benchmark v1.0

构建 MLCommons 越狱基准以测量模型的单轮越狱韧性

arXiv

2610.02827

发表

10月2日

层

提示层

场景

模型与 API

测试

Gemma 3N E4B Instruct、Gemma 4 31B Instruct、LFM2-24B-A2B 等 8 个

• 攻击越狱

研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容

提出 FAITHCONFLICT，测量对齐训练导致模型静默改写相悖输入

arXiv

2610.00568

发表

10月1日

层

模型层

场景

模型与 API

测试

Gemma-3-12B、Gemma-3-27B、Llama-3.1-8B-Instruct 等 13 个

SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性

提出 SkillSafe-Bench，评测技能合并模型的自适应越狱鲁棒性

arXiv

2608.08542

发表

8月9日

层

提示层

场景

模型与 API

测试

Gemma-2-9B、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 6 个

• 攻击越狱
• 组件微调与开源权重

论文发现安全监控器主要拦截模型本就会拒答的请求

评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检

arXiv

2609.05797

发表

9月5日

层

提示层

场景

模型与 API

测试

Gemma-4-31B-IT、Qwen3-32B、Llama Guard 3 8B 等 6 个

• 防御检测与过滤
• 风险拒答失当
• 组件护栏与评审
• +1+1

MemoReason 基准

提出 MemoReason 基准，测量参数记忆对上下文推理的影响

arXiv

2609.35312

发表

9月28日

层

模型层

场景

模型与 API

测试

Gemma-4-26B-A4B-it、GPT-OSS-20B、GPT-OSS-120B 等 9 个

研究提出 Fact-Ablated Evaluation，揭示 LLM 事实核查更依赖参数知识

提出 FAE 衡量事实核查对证据的依赖，并用 REAL 训练这种依赖

arXiv

2609.08943

发表

9月9日

层

训练与数据层

场景

模型与 API

测试

Gemini-2.5-flash-lite、GPT-4o-mini、Qwen-2.5-32B-Instruct 等 7 个

• 防御模型加固

Mandela-Bench：36 个多模态模型更依赖记忆而非观察图像

构建 Mandela-Bench，评测多模态模型是否凭记忆接受篡改图像

arXiv

2609.32763

发表

9月27日

层

模型层

场景

模型与 API

测试

Gemini-3.8-Flash、Gemma-4-31B、GPT-5.6 等 15 个

• 风险幻觉与编造
• 组件视觉

SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准

提出 SinoGlyphBench，用配对字形混淆诊断中文审核稳定性

arXiv

2609.05843

发表

9月5日

层

提示层

场景

模型与 API

测试

Gemini 3.1 Pro Preview、Gemini 3.5 Flash、GPT-5.4 mini 等 12 个

• 攻击检测规避
• 技术编码与混淆
• 组件护栏与评审
• +1+1

VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力

提出 VLoc Bench，评测智能体仅凭弱点类型在完整仓库中定位漏洞

arXiv

2609.15939

发表

9月15日

层

应用层

场景

编程 Agent

测试

Gemini 3 Pro、Gemini 2.5 Flash、Gemini 3.1 Flash Lite 等 15 个

• 风险危险能力

PatchBench：马里兰大学团队发布 C/C++ 漏洞修补评测基准

提出 PATCHBENCH，评测编程智能体对 C/C++漏洞的真实修补能力

arXiv

2609.04075

发表

9月4日

层

应用层

场景

编程 Agent

测试

OpenHands + Gemini 3.5 Flash、OpenHands + Gemini 3.1 Pro、Codex + GPT-5.6 Sol 等 11 个

研究者提出预算受限的 LLM 重复评测框架，优先深挖隐藏失败

提出预算化发现框架，优先深评更可能隐藏失败的安全提示词

arXiv

2609.32547

发表

9月26日

层

模型层

场景

模型与 API

测试

Gemma 3n E4B、google/gemma-3n-E4B-it、Qwen 2.5 7B 等 6 个

• 风险拒答失当

SAGO：从稳定性而非准确率出发的多维度大模型泛化评测

提出 SAGO，以语义等价变体上的逐例行为稳定性评测大模型泛化

arXiv

2610.01428

发表

10月1日

层

模型层

场景

模型与 API

测试

Gemma-2B-IT、Gemma-7B-IT、Gemma-4-E4B-IT 等 11 个

KaliBench：面向 Kali Linux 网络安全工具使用的细粒度基准

提出 KaliBench，评测模型把安全意图译成 Kali 命令的能力

arXiv

2610.02206

发表

10月1日

层

模型层

场景

模型与 API

测试

Gemma-3-it 27B、Llama3.1-Instruct 8B、Qwen3 8B 等 15 个

• 风险危险能力

SciSlopBench：评测并缓解 AI 生成论文中的科学灌水

构建 SciSlopBench 评测科学灌水，并用 SciSlopHarness 约束修订

arXiv

2610.00531

发表

10月2日

层

模型层

场景

模型与 API

测试

DetectGPT (t5-3b)、Binoculars (Falcon-7B)、NTS 等 8 个

• 风险幻觉与编造

FIGS：在不惩罚共情的前提下评测多轮谄媚

提出 FIGS 双轴基准，评测多轮对话中的谄媚与校准性共情

arXiv

2609.39863

发表

10月1日

层

模型层

场景

模型与 API

测试

Gemini 3.8 Flash、DeepSeek V4.1 Flash、GLM 5.3 等 8 个

• 风险失准与价值偏离