全部论文

RefusalBench：拒答率为何会误排前沿 LLM 在生物研究提示上的安全水平

提出 RefusalBench，评测生物研究提示上的拒答率与安全校准

arXiv

2605.21545

发表

5月20日

层

模型层

场景

模型与 API

测试

Claude Opus 4.7、Claude Opus 4.6、Claude Opus 4.5 等 15 个

• 风险拒答失当

OverEager-Gen 发布：测量编码 Agent 在良性任务上的越权操作

发布 OVEREAGER-GEN，评测编码 Agent 在良性任务上的越权操作

arXiv

2605.18583

发表

5月19日

层

应用层

场景

编程 Agent

测试

GLM-4.6、MiniMax-M2.7、claude-sonnet-4-6 等 6 个

• 风险Agent 危险操作

研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞

用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

arXiv

2606.04075

发表

6月3日

层

模型层

场景

模型与 API

测试

Qwen3-30B-A3B、Qwen3.5-4B、Qwen3.5-9B 等 6 个

• 风险奖励作弊

研究提出 Confidence Game 模型

测量委托收费激励下模型策略性虚报任务信心

arXiv

2610.09371

发表

10月7日

层

模型层

场景

模型与 API

测试

gpt-oss-120b

• 风险欺骗与谋划

研究显示前沿模型智能体在测试时自行形成隐蔽信道

展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

arXiv

2609.32701

发表

9月26日

层

应用层

场景

多智能体

测试

GPT-5.6 Sol、Terra、Luna 等 6 个

• 风险欺骗与谋划
• 组件监控器

研究：后训练配方决定大模型是否违背自身道德判断行事

提出知行差距面板，测量压力下模型是否违背自身判断

arXiv

2610.08670

发表

10月7日

层

模型层

场景

模型与 API

测试

OLMo-3-7B-Instruct、Llama-3.1-8B-Instruct、Tulu 3 等 7 个

• 风险失准与价值偏离

SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别

构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从

arXiv

2610.06522

发表

10月5日

层

模型层

场景

模型与 API

测试

opus-5、sonnet-5、sonnet-4.6 等 11 个

• 风险失准与价值偏离

BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信

arXiv

2610.06748

发表

10月5日

层

应用层

场景

多智能体

测试

GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个

• 攻击恶意使用
• 风险欺骗与谋划

研究：GRPO 表面特征奖励让 Qwen3-8B 法律推理准确率从 0.500 跌至 0.072

展示表面特征奖励驱动的法律模型以策略性弃答进行奖励投机

arXiv

2610.06439

发表

10月5日

层

训练与数据层

场景

模型与 API

测试

Qwen3-8B

• 风险奖励作弊

犯罪学框架测试生成式 AI 的奖励作弊

测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距

arXiv

2610.04793

发表

10月4日

层

应用层

场景

编程 Agent

测试

Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol 等 7 个

• 风险奖励作弊

研究用 GRPO 强化晶体生成模型

展示晶体生成强化学习利用奖励与社区指标作弊

arXiv

2610.03880

收录

10月6日

层

训练与数据层

场景

模型与 API

测试

OMatG、OMatGRPO、Chemeleon2 等 8 个

• 风险奖励作弊

研究：LLM 智能体间的数值信号与协调行为

测量多智能体博弈中数值信号的结构及其对合作的影响

arXiv

2610.03033

发表

10月2日

层

应用层

场景

多智能体

测试

GPT-4o (gpt-4o-2024-11-20)、Mistral Large (mistral-large-2512)、Claude Haiku 4.5 (claude-haiku-4-5-20251001) 等 4 个

• 风险欺骗与谋划

研究将 on-policy distillation 视为隐式奖励优化，揭示奖励作弊导致的训练崩溃

揭示在策略蒸馏的训练崩溃是对教师偏置的奖励投机

arXiv

2610.03185

发表

10月2日

层

训练与数据层

场景

模型与 API

测试

JustRL-1.5B、DeepScaleR-1.5B-Preview、Qwen3-4B 等 8 个

• 风险奖励作弊

论文：低监控读数不能证明行为受控

检验监控器低读数能否作为代码奖励作弊已受控的证据

arXiv

2610.03458

发表

10月2日

层

模型层

场景

编程 Agent

测试

Llama-3.1-8B-Instruct

• 风险奖励作弊
• 组件监控器
• +1+1

研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控

测量良性多智能体协作中自发隐蔽传递凭据以绕过监控

arXiv

2609.39050

发表

9月30日

层

应用层

场景

多智能体、编程 Agent

测试

DeepSeek-V4-Pro、devstral-2512、gpt-oss-120b 等 15 个

• 风险欺骗与谋划
• 组件监控器
• +1+1

研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容

提出 FAITHCONFLICT，测量对齐训练导致模型静默改写相悖输入

arXiv

2610.00568

发表

10月1日

层

模型层

场景

模型与 API

测试

Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Tulu-3-8B 等 13 个

扩大模型生成蒸馏数据会让教师隐性特质更易被学生继承

检验扩大离任务蒸馏数据后教师隐性特质是否更易被学生继承

arXiv

2608.26958

发表

8月27日

层

训练与数据层

场景

模型与 API

测试

Qwen2.5-7B-Instruct、Qwen2.5-3B-Instruct、Qwen2.5-32B-Instruct 等 7 个

斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定

度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定

arXiv

2609.33220

发表

9月27日

层

训练与数据层

场景

模型与 API

测试

Qwen2.5-1.5B、Qwen2.5-7B、Qwen2.5-14B 等 11 个

• 防御模型加固
• 风险欺骗与谋划

Truthful AI 提出价值泄漏评估：模型答案被自身价值观悄然左右

提出价值泄漏评估，测量模型回答受自身价值倾向的隐蔽影响

arXiv

2607.14345

发表

7月16日

层

模型层

场景

模型与 API

测试

Claude Opus 4.8、Claude Opus 4.7、Claude Opus 4.6 等 15 个

• 风险失准与价值偏离
• 组件推理链

斯坦福等团队发现长程交互中 LLM 智能体自发串谋

测量长程多智能体在交互中自发串通并联合违背用户协议

arXiv

2609.24967

发表

9月22日

层

应用层

场景

多智能体

测试

Gemini-3.1-Flash-Lite、Gemini-3.7-Flash、GPT-5.6-Luna 等 10 个

• 风险欺骗与谋划