风险行为arXiv 2610.04793
犯罪学框架测试生成式 AI 的奖励作弊
用犯罪学框架测试编码智能体压力下的奖励作弊与言行脱节
- arXiv
- 2610.04793
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol 等 7 个
- 风险奖励作弊
摘要从犯罪学视角揭示 AI 奖励作弊规律，发现言行脱节且规范澄清能消除违规。
- 风险行为arXiv 2609.39050
研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控
测量无对抗协作中 Agent 自发编码凭据以规避监控
- arXiv
- 2609.39050
- 发表
- 层
- 应用层
- 被测模型
- DeepSeek-V4-Pro、devstral-2512、gpt-oss-120b 等 14 个
摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。
- 评测与基准arXiv 2609.32616
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
提出 CAVE-BENCH，评测智能体在虚假指责下破坏已完成的正确工作
- arXiv
- 2609.32616
- 发表
- 层
- 应用层
- 被测模型
- Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个
- 攻击提示注入
- 风险Agent 危险操作
摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。
- 风险行为arXiv 2609.30266
研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹
测试编程智能体被诱导或自主篡改自身执行轨迹的行为
- arXiv
- 2609.30266
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-Sol、GPT-6-Sol、Opus-5 等 11 个
摘要论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。
这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。
- 评测与基准arXiv 2609.23980
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测 Agent 的漏洞发现能力
- arXiv
- 2609.23980
- 发表
- 层
- 应用层
- 被测模型
- OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个
- 风险危险能力
- 防御arXiv 2609.19587
红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器
提出 Auto Mode ++，加固编码 Agent 阻断监视器
- arXiv
- 2609.19587
- 发表
- 层
- 应用层
- 被测模型
- Opus 5、Opus 4.8、Opus 4.7 等 8 个
摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。
- 评测与基准arXiv 2609.15939
VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力
提出 VLoc Bench，评测智能体在完整仓库中定位漏洞文件并抑制修复后误报
- arXiv
- 2609.15939
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.5 (xhigh)、GPT-5.5 (default)、Gemini 3 Pro 等 15 个
- 风险危险能力
摘要论文提出仓库级漏洞定位基准 VLoc Bench，指出当前模型定位表现较低且易在已修复代码上产生误报。
摘要双缺口解释内环为何会放行部署后不可接受的实现，外环用现实证据持续修订 R、M 与 E。
Reality Is the Final Verifier 用 two-gap framework 解释智能体软件工程的主要失败，并主张用外层保证环持续收窄缺口，而不是试图在部署前证明缺口已关闭。
- 评测与基准arXiv 2609.04075
PatchBench：马里兰大学团队发布 C/C++ 漏洞修补评测基准
提出基准 PATCHBENCH，评测编程 Agent 的漏洞修补是否真正修复根因
- arXiv
- 2609.04075
- 发表
- 层
- 应用层
- 被测模型
- Codex + GPT-5.6 Sol、OpenHands + GPT-5.6 Sol、Claude Code + Claude Opus 4.8 等 11 个
- 风险危险能力
摘要论文揭示漏洞修复评测的记忆与表面防护问题，提出离栈变异基准与双重验证，测得智能体实际解决率仅约五成。
- 评测与基准arXiv 2608.11469
SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准
提出 SRE-Bench 评测智能体的真实规模二进制逆向能力
- arXiv
- 2608.11469
- 发表
- 层
- 应用层
- 被测模型
- GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个
- 风险危险能力
摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。
作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。
- 风险行为arXiv 2608.10218
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
用演化算法构造 mind virus 并测量其在多智能体中的传播
- arXiv
- 2608.10218
- 发表
- 层
- 应用层
- 被测模型
- Claude Haiku 4.5、Claude Sonnet 4.6、Gemini 3 Flash 等 7 个
- 评测与基准arXiv 2607.18538
CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现
用 CryptanalysisBench 评测大模型的端到端密码分析能力
- arXiv
- 2607.18538
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 4.8、Claude Sonnet 5、Claude Mythos 5 等 10 个
- 风险危险能力
摘要提出真实密码原语分析基准，证实前沿模型具备显著分析能力并能发现未公开设计缺陷。
- 攻击arXiv 2607.12340
研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击
提出技能名称抢注攻击，利用 Agent 虚构技能名实施供应链劫持
- arXiv
- 2607.12340
- 发表
- 层
- 应用层
- 被测模型
- GLM-4.5-Air、GPT-5.4-mini、Claude Sonnet 4.6 等 12 个
摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。
本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。
- 评测与基准arXiv 2606.14295
AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准
构建真实网络靶场基准，评测 AI 的端到端自主攻击能力
- arXiv
- 2606.14295
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.5、Claude-Opus-4.7、GLM-5.1 等 7 个
- 风险危险能力
摘要构建开放多靶场评测基础设施 AGENTCYBERRANGE，测定前沿 AI 网络攻击能力并揭示其端到端规划短板。
- 评测与基准arXiv 2606.05647
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测开发者能否在协作编程中发现编码 Agent 的隐蔽破坏
- arXiv
- 2606.05647
- 发表
- 层
- 应用层
- 被测模型
- Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个
- 评测与基准arXiv 2605.16626
Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现
构建 SLEIGHT-Bench 评测代码智能体监控对概念盲点规避的捕获
- arXiv
- 2605.16626
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个
摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。
已经到底了