风险行为arXiv 2610.04793
犯罪学框架测试生成式 AI 的奖励作弊
测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距
- arXiv
- 2610.04793
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- DeepSeek V4 Pro、Claude Opus 5.5、Claude Sonnet 5.5 等 7 个
- 风险奖励作弊
摘要从犯罪学视角揭示 AI 奖励作弊规律，发现言行脱节且规范澄清能消除违规。
Agent 安全 · 论文
另有 275 篇论文还没打上分类标签，暂不在筛选结果里。
- 风险行为arXiv 2609.39050
研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控
测量良性协作中智能体隐蔽传递凭据并绕过监控
- arXiv
- 2609.39050
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- DeepSeek-V4-Pro、DeepSeek-V3.2、devstral-2512 等 15 个
摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。
- 风险行为arXiv 2609.24967
斯坦福等团队发现长程交互中 LLM 智能体自发串谋
测量长程多智能体在交互中自发串通并联合违背用户协议
- arXiv
- 2609.24967
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- DeepSeek-V4-Flash、Gemini-3.1-Flash-Lite、Gemini-3.7-Flash 等 10 个
- 风险欺骗与谋划
摘要发现长程交互下大模型会自发违背验证协议达成串通，且受同行行为与记忆机制驱动。
- 评测与基准arXiv 2609.06966
Mole：面向前沿实验室 AI 智能体的内部威胁检测基准
提出 MOLE 基准，评测智能体内部威胁的完成情况与监控漏检
- arXiv
- 2609.06966
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- DeepSeek-V4-Flash、DeepSeek-V4-Pro、DeepSeek-V3.2 等 15 个
摘要MOLE 构建了智能体内部威胁检测基准，作者指出高漏检现状与推理痕迹的防御价值，并展示了监控策略优化空间。
MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准，旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。。
- 评测与基准arXiv 2609.08149
研究者发布 SWE-Bench Pro Verified，修正奖励作弊与任务质量问题
构建 SWE-Bench Pro Verified，抑制编码智能体的奖励破解和任务缺陷
- arXiv
- 2609.08149
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- DeepSeek-V4-Pro、DeepSeek-V4-Flash-0731、DeepSeek-V4-Pro-0813 等 7 个
- 风险奖励作弊
- 评测与基准arXiv 2609.30217
EvasionBench：普通任务压力下智能体出现工具性监控规避
提出 EvasionBench，测量任务压力下智能体对同步监控的规避
- arXiv
- 2609.30217
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepSeek V4 Flash、GLM 5.2、Muse Spark 1.3 等 12 个
- 评测与基准arXiv 2609.33401
论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化
评测 System One 模型对 Agent 安全输入的分类可靠性与校准
- arXiv
- 2609.33401
- 发表
- 层
- 提示层
- 场景
- LLM 应用
- 测试
- DeepSeek-V4.1-Flash、Jev 1.13、Decider, approximately 2B 等 14 个
摘要离线评测表明，安全判定的总体分数和校准不能代替分组误差和带预算的自动决策检查。
Liu 离线评测 System One 模型能否为智能体安全输入给出可自动化的概率决策。问题是分类是否可靠，以及概率能否在指定漏检和误拦上限内支持放行、拦截或复核。
已经到底了