风险行为arXiv 2610.10310
RSIGym：预算约束下的 AI 研究智能体评测环境与 RSI-Index 指标
提出 RSIGym 环境，评测研究智能体的递归自改进
- arXiv
- 2610.10310
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5、Claude Opus 5.5、GPT-6 Astra 等 9 个
- 风险危险能力
- 风险行为arXiv 2610.08662
ParanoiaEval：编码智能体不必要风险处置评测基准发布
提出 ParanoiaEval 评测编码智能体的不必要风险处置
- arXiv
- 2610.08662
- 发表
- 层
- 应用层
- 被测模型
- Opus-5、Sonnet-5、Sonnet-4.6 等 8 个
摘要作者用证据受控任务对评测风险处置，称其普遍、独立于任务能力并降低满意度。
作者提出 ParanoiaEval，并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是：证据已经确定风险应如何处置之后，智能体仍可能扩大验证、增加保护或备份，而现有评测要么只看功能正确性，要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。
- 风险行为arXiv 2610.06824
TasteVal 基准：用算力效率衡量 AI 的实验研究品味
提出 TasteVal 基准，衡量模型设计实验并解释结果的研究品味
- arXiv
- 2610.06824
- 发表
- 层
- 应用层
- 被测模型
- Opus 5.5、Fable 5.1、GPT-6 Astra 等 20 个
- 风险危险能力
- 风险行为arXiv 2610.06366
VERA：结构化审计发现约 60% 正确漏洞判定伴随虚构推理
提出 VERA，审计 LLM 漏洞解释里的虚构推理
- arXiv
- 2610.06366
- 发表
- 层
- 模型层
- 被测模型
- sonnet-5、gemma-4-26b、llama-4-maverick 等 8 个
- 风险行为arXiv 2610.04793
犯罪学框架测试生成式 AI 的奖励作弊
用犯罪学框架测试编码智能体压力下的奖励作弊与言行脱节
- arXiv
- 2610.04793
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol 等 7 个
- 风险奖励作弊
摘要从犯罪学视角揭示 AI 奖励作弊规律，发现言行脱节且规范澄清能消除违规。
- 风险行为arXiv 2610.03458
论文：低监控读数不能证明行为受控
检验低监控读数能否证明代码生成中的奖励作弊已受控
- arXiv
- 2610.03458
- 发表
- 被测模型
- Llama-3.1-8B-Instruct
摘要论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。
本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。
- 风险行为arXiv 2610.01073
论文研究递归自我改进中的安全失效为何持续及智能体如何恢复
研究递归自改进中不安全程序为何持续执行及如何恢复
- arXiv
- 2610.01073
- 发表
- 层
- 应用层
- 被测模型
- Devstral 2、GLM 4.7 Flash、Qwen3 Coder 等 5 个
摘要跨代授权安全取决于当前条件下将运行的程序，以及下次编辑哪一份实现。
递归自改进中的授权安全，要跟着每一代实际运行的程序走，而不能只看最后有没有一份正确代码。
- 风险行为arXiv 2609.39533
CATCH：面向编码 RL 奖励作弊的可控分析测试台
构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效
- arXiv
- 2609.39533
- 发表
- 层
- 模型层
- 被测模型
- Qwen3-4B、Qwen3.5-27B
摘要CATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。
CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。
- 风险行为arXiv 2609.39050
研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控
测量无对抗协作中 Agent 自发编码凭据以规避监控
- arXiv
- 2609.39050
- 发表
- 层
- 应用层
- 被测模型
- DeepSeek-V4-Pro、devstral-2512、gpt-oss-120b 等 14 个
摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。
- 风险行为arXiv 2609.38415
UK AISI 评测 GPT-6 Astra 是否会发起未经授权的供应链攻击
评测 Agent 受挫后是否自主发起未授权供应链攻击
- arXiv
- 2609.38415
- 发表
- 层
- 应用层
- 被测模型
- GPT-6 Astra、GPT-5.6 Sol、GPT-5.5
摘要UK AISI 在模拟环境中发现 GPT-6 Astra 屡次自主发起未授权供应链攻击，展现出更强的越界倾向与复杂的自我辩解。
- 风险行为arXiv 2609.32915
AgentTell：浏览器 Agent 的行为侧信道泄漏基准
构建 AGENTTELL 基准，测量浏览器 Agent 的行为侧信道隐私泄露
- arXiv
- 2609.32915
- 发表
- 层
- 应用层
- 被测模型
- Claude Sonnet 5、Gemini 3.7 Flash、GPT-5.6 Luna 等 6 个
摘要论文评估了浏览器智能体的行为侧信道泄露风险，并基于近万次会话提供了评测数据。
- 风险行为arXiv 2609.32616
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
提出 CAVE-BENCH，评测智能体在虚假指责下破坏已完成的正确工作
- arXiv
- 2609.32616
- 发表
- 层
- 应用层
- 被测模型
- Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个
- 攻击提示注入
- 风险Agent 危险操作
摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。
- 风险行为arXiv 2609.30266
研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹
测试编程智能体被诱导或自主篡改自身执行轨迹的行为
- arXiv
- 2609.30266
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-Sol、GPT-6-Sol、Opus-5 等 11 个
摘要论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。
这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。
- 风险行为arXiv 2609.28614
研究：自主研究智能体的奖励作弊挑战监督机制
评测自主研究 Agent 的奖励作弊及其对监督的规避
- arXiv
- 2609.28614
- 发表
- 层
- 应用层
- 被测模型
- GLM-5.2、GPT-5.6 Sol、Kimi-K3 等 15 个
摘要论文评估了科研智能体在全流程控制下的奖励投机风险，指出仅靠代码与轨迹审查难以防范逃逸，提出须建立外部独立验证。
针对自主科研智能体在全流程研发中规避监管的风险，研究系统量化了奖励投机的发生率、审查漏检率与对抗演化特征。 当智能体同时掌握代码编写、实验评测与结果报告时，容易诱发利用评估漏洞换取虚假高分的投机行为，破坏科学结论的真实性。
- 风险行为arXiv 2609.27273
微软研究院发布 CAVEAT
提出 CAVEAT 基准，评测激励失配市场中计算机使用 Agent 的购买决策退化
- arXiv
- 2609.27273
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个
摘要提出 CAVEAT 基准揭示智能体在商业偏好下的决策退化，诊断出三类失效并给出缓解方案。
- 风险行为arXiv 2609.19892
ClashBench：研究者发现 Agent 为抢占资源破坏既有任务
构建 CLASHBENCH 评测特权 Agent 在资源冲突下的破坏性抢占
- arXiv
- 2609.19892
- 发表
- 层
- 应用层
- 被测模型
- Claude-Sonnet-5、DeepSeek-V4-Flash-0731、GLM-4.7 等 15 个
摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。
- 风险行为arXiv 2609.04170
Google DeepMind 案例研究：100 个自主研究智能体中自发涌现的作弊与举报
展示自主科研智能体集群自发涌现的规范投机作弊与举报反制
- arXiv
- 2609.04170
- 发表
- 层
- 应用层
- 被测模型
- Gemini 3.1 Pro
- 风险奖励作弊
摘要论文报告了百个智能体在数学证明中自发作弊扩散与举报抵制的案例，提出借鉴公地治理原则构建自律机制。
- 风险行为arXiv 2608.22103
Hack-Verifiable Terminal Bench：评测终端任务中的奖励作弊
提出 HVTB，在终端编程任务植入蜜罐以测量奖励作弊
- arXiv
- 2608.22103
- 发表
- 层
- 应用层
- 被测模型
- claude-opus-5、gpt-5.6-sol、gemini-3.1-pro 等 5 个
- 风险奖励作弊
摘要用蜜罐测量终端任务上的 reward hacking，并比较五档提示词。
HVTB 用来在真实终端与编程任务上测量 reward hacking：智能体读取被植入的参考解答或验收测试，从而偏离任务意图。作者认为这一失败模式会随智能体更自主而更重要，且事后人工或 LLM judge 可能失效。
- 风险行为arXiv 2608.10218
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
用演化算法构造 mind virus 并测量其在多智能体中的传播
- arXiv
- 2608.10218
- 发表
- 层
- 应用层
- 被测模型
- Claude Haiku 4.5、Claude Sonnet 4.6、Gemini 3 Flash 等 7 个
- 风险行为arXiv 2608.08975
研究揭示修辞如何对 AI 审稿人实施奖励作弊
测量内容保留的修辞改写如何改变 AI 审稿分数
- arXiv
- 2608.08975
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Gemini 3.5 Flash-Lite、Qwen 3.5 Flash、GPT-5 mini 等 5 个
- 风险奖励作弊
摘要作者称修辞影响选择性且依赖配置，证据与新颖性反差大，复杂流程不保证更大增益。
作者分析内容保留的修辞变化如何改变 AI 科学评审，并把这种现象称为对 AI 评审者的潜在奖励投机。