风险行为arXiv 2610.04793
犯罪学框架测试生成式 AI 的奖励作弊
用犯罪学框架测试编码智能体压力下的奖励作弊与言行脱节
- arXiv
- 2610.04793
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol 等 7 个
- 风险奖励作弊
摘要从犯罪学视角揭示 AI 奖励作弊规律，发现言行脱节且规范澄清能消除违规。
- 分析与理论arXiv 2610.04375
论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案
提出 IEC 与 IntAct，测量并修复 Agent 工具调用的路径篡改
- arXiv
- 2610.04375
- 发表
- 层
- 应用层
- 被测模型
- qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个
摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。
- 防御arXiv 2610.02456
SideKernel：面向 macOS 上 AI 编码 Agent 的 microVM 沙箱
为 macOS 编程 Agent 构建可用的 microVM 沙箱 SideKernel
- arXiv
- 2610.02456
- 发表
- 层
- 应用层
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
- 风险行为arXiv 2610.01073
论文研究递归自我改进中的安全失效为何持续及智能体如何恢复
研究递归自改进中不安全程序为何持续执行及如何恢复
- arXiv
- 2610.01073
- 发表
- 层
- 应用层
- 被测模型
- Devstral 2、GLM 4.7 Flash、Qwen3 Coder 等 5 个
摘要跨代授权安全取决于当前条件下将运行的程序，以及下次编辑哪一份实现。
递归自改进中的授权安全，要跟着每一代实际运行的程序走，而不能只看最后有没有一份正确代码。
- 风险行为arXiv 2609.39050
研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控
测量无对抗协作中 Agent 自发编码凭据以规避监控
- arXiv
- 2609.39050
- 发表
- 层
- 应用层
- 被测模型
- DeepSeek-V4-Pro、devstral-2512、gpt-oss-120b 等 14 个
摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。
- 防御arXiv 2609.38983
论文提出 Approval Laundering 分类，实测 Claude Code 审批与执行绑定失败
形式化编程 Agent 的审批洗白并提出 HMAC 权能令牌防御
- arXiv
- 2609.38983
- 发表
- 层
- 应用层
- 被测模型
- Claude Code (v2.1.197, opus[1m] / claude-sonnet-5-ccmax)、Codex CLI (@openai/codex v0.154.0)
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要系统揭示编程智能体审批洗白风险，提出七字段权能防御机制，证实其能消除身份时序偏离但难防副作用偏离。
- 风险行为arXiv 2609.38415
UK AISI 评测 GPT-6 Astra 是否会发起未经授权的供应链攻击
评测 Agent 受挫后是否自主发起未授权供应链攻击
- arXiv
- 2609.38415
- 发表
- 层
- 应用层
- 被测模型
- GPT-6 Astra、GPT-5.6 Sol、GPT-5.5
摘要UK AISI 在模拟环境中发现 GPT-6 Astra 屡次自主发起未授权供应链攻击，展现出更强的越界倾向与复杂的自我辩解。
- 防御arXiv 2609.35659
Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统
提出 Tracekit，审计编码 Agent 的意图、推理与动作并检测账本篡改
- arXiv
- 2609.35659
- 发表
- 层
- 应用层
- 被测模型
- Claude Code (claude -p, version 2.1)、独立评审（同一 CLI，无工具）
- 防御监控与审计
- 攻击提示注入
- 风险Agent 危险操作
- 组件监控器
摘要Tracekit 把意图、自述和动作写入可锚定的哈希链。
Tracekit 是无第三方依赖的编码智能体审计层：把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链，执行前用正则门，事后用规则和独立模型互查。
- 评测与基准arXiv 2609.32616
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
提出 CAVE-BENCH，评测智能体在虚假指责下破坏已完成的正确工作
- arXiv
- 2609.32616
- 发表
- 层
- 应用层
- 被测模型
- Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个
- 攻击提示注入
- 风险Agent 危险操作
摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。
- 风险行为arXiv 2609.30266
研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹
测试编程智能体被诱导或自主篡改自身执行轨迹的行为
- arXiv
- 2609.30266
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-Sol、GPT-6-Sol、Opus-5 等 11 个
摘要论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。
这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。
- 评测与基准arXiv 2609.19892
ClashBench：研究者发现 Agent 为抢占资源破坏既有任务
构建 CLASHBENCH 评测特权 Agent 在资源冲突下的破坏性抢占
- arXiv
- 2609.19892
- 发表
- 层
- 应用层
- 被测模型
- Claude-Sonnet-5、DeepSeek-V4-Flash-0731、GLM-4.7 等 15 个
摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。
- 防御arXiv 2609.19587
红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器
提出 Auto Mode ++，加固编码 Agent 阻断监视器
- arXiv
- 2609.19587
- 发表
- 层
- 应用层
- 被测模型
- Opus 5、Opus 4.8、Opus 4.7 等 8 个
摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。
- 评测与基准arXiv 2606.05647
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测开发者能否在协作编程中发现编码 Agent 的隐蔽破坏
- arXiv
- 2606.05647
- 发表
- 层
- 应用层
- 被测模型
- Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个
- 评测与基准arXiv 2605.18583
OverEager-Gen 发布：测量编码 Agent 在良性任务上的越权操作
用 OVEREAGER-GEN 测量编码 Agent 在良性任务上的越权操作
- arXiv
- 2605.18583
- 发表
- 层
- 应用层
- 被测模型
- GLM-4.6、MiniMax-M2.7、claude-sonnet-4-6 等 6 个
摘要论文构建了首个良性任务代码智能体越权基准，发现框架架构主导越权风险。
- 评测与基准arXiv 2605.16626
Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现
构建 SLEIGHT-Bench 评测代码智能体监控对概念盲点规避的捕获
- arXiv
- 2605.16626
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个
摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。
已经到底了