10月8日 · 周四

Anthropic · 论文

找到 2 篇

筛选1

攻击类型

模型自身风险

欺骗与谋划5 奖励作弊2 失准与价值偏离2 Agent 危险操作2 危险能力2

影响

系统形态

AI Agent2 编程 Agent2

攻击面/入口

工具与技能描述1

层

系统组件

MCP 与技能1 监控器1 权限与沙箱1

被测模型厂商

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 16 篇还没打标签，不在筛选结果里。

模型自身风险：奖励作弊话题：Anthropic 清除全部

另有 16 篇论文还没打上分类标签，暂不在筛选结果里。

风险行为arXiv:2610.04793 · 10月4日
犯罪学框架测试生成式 AI 的奖励作弊
测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距
编程 Agent测试Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol 等 7 个应用层
- 奖励作弊
摘要从犯罪学视角揭示 AI 奖励作弊规律，发现言行脱节且规范澄清能消除违规。
完整解读
风险行为arXiv:2609.30266 · 9月25日
研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹
测量编程智能体被诱导或为奖励而篡改自身执行轨迹
编程 Agent测试GPT-5.6-Sol、GPT-6-Sol、Opus-5 等 11 个应用层
摘要论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。
这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。
完整解读

已经到底了