评测与基准arXiv 2610.06306
Inspect Robots：面向具身智能体评测的开源模块化框架
提出 Inspect Robots，在真实机器人上评测具身模型的能力与拒答
- arXiv
- 2610.06306
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 被测模型
- Astra（GPT-6 Astra）、GPT-6 Sol、GPT-5.6 Sol 等7个
- 风险拒答失当
- 风险行为arXiv 2610.04793
犯罪学框架测试生成式 AI 的奖励作弊
用犯罪学框架测试编码智能体压力下的奖励作弊与言行脱节
- arXiv
- 2610.04793
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol 等7个
- 风险奖励作弊
摘要从犯罪学视角揭示 AI 奖励作弊规律，发现言行脱节且规范澄清能消除违规。
- 评测与基准arXiv 2609.39533
CATCH：面向编码 RL 奖励作弊的可控分析测试台
构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效
- arXiv
- 2609.39533
- 发表
- 层
- 模型层
- 被测模型
- Qwen3-4B、Qwen3.5-27B
摘要CATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。
CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。
- 风险行为arXiv 2609.39050
研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控
测量无对抗协作中 Agent 自发编码凭据以规避监控
- arXiv
- 2609.39050
- 发表
- 层
- 应用层
- 被测模型
- DeepSeek-V4-Pro、devstral-2512、gpt-oss-120b 等14个
摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。
- 风险行为arXiv 2609.38971
研究测量并预测具身 VLM 规划器中任务的拒答可变性
测量并预测具身 VLM 规划器的任务拒答可变性
- arXiv
- 2609.38971
- 发表
- 层
- 模型层
- 场景
- 具身与机器人
- 被测模型
- gemini-robotics-er-2-preview、gemini-robotics-er-1.6-preview
摘要日常物体能翻转一部分已给出的拒答，可翻转程度取决于任务且可被本地代理预测。
作者测量 constitution 守护的具身 VLM 规划器：一次拒答在只往场景里放一个日常物体之后还保不保持得住，并把这种易翻转程度称为任务的 malleability。
- 防御arXiv 2609.36170
Assay：用内容寻址证据图约束 AI 编码智能体的声明失效
提出 Assay，用依赖锥哈希绑定代码断言并在合并门禁拦截失效声明
- arXiv
- 2609.36170
- 发表
- 层
- 应用层
摘要Assay 提供随依赖内容失效的证据管理。
Assay 是一套面向 AI 辅助软件交付的内容寻址证据系统，关注代码改变后，测试通过、无秘密或行为保持等断言还能否用于批准合并。
- 风险行为arXiv 2609.30266
研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹
测试编程智能体被诱导或自主篡改自身执行轨迹的行为
- arXiv
- 2609.30266
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-Sol、GPT-6-Sol、Opus-5 等11个
摘要论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。
这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。
- 防御arXiv 2609.19587
红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器
提出 Auto Mode ++，加固编码 Agent 阻断监视器
- arXiv
- 2609.19587
- 发表
- 层
- 应用层
- 被测模型
- Opus 5、Opus 4.8、Opus 4.7 等8个
摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。
- 评测与基准arXiv 2606.05647
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测开发者能否在协作编程中发现编码 Agent 的隐蔽破坏
- arXiv
- 2606.05647
- 发表
- 层
- 应用层
- 被测模型
- Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等5个
- 可解释性arXiv 2606.05396
研究用消融移除代码 LLM 拒答方向，分离拒答与生成能力
用 abliteration 消融代码 LLM 拒答方向，分离拒答与漏洞注入能力
- arXiv
- 2606.05396
- 发表
- 层
- 模型层
- 被测模型
- Qwen2.5-Coder-Instruct 3B、Qwen2.5-Coder-Instruct 7B、Qwen2.5-Coder-Instruct 14B
- 风险拒答失当
摘要拒答可用低秩编辑去掉，CWE-89 注入是否成功仍由模型规模决定。
这项初步可行性研究用 abliteration 把代码 LLM 的拒答和 CWE 注入能力拆开：意愿可以被低秩编辑解锁，注入是否成功仍看参数规模。
- 评测与基准arXiv 2605.30322
Gram：面向破坏倾向的自动化对齐审计框架
提出 Gram 审计框架，测量编程与研究智能体的破坏倾向
- arXiv
- 2605.30322
- 发表
- 层
- 应用层
- 被测模型
- Gemini 2.5 Pro、Gemini 3.0 Pro Preview、Gemini 3.1 Pro Preview
- 评测与基准arXiv 2605.19722
研究用 30 项漏洞分析任务评测自主安全智能体的安全对齐效果
评测自主安全智能体在授权漏洞分析中的对齐拒答效应
- arXiv
- 2605.19722
- 发表
- 层
- 应用层
- 被测模型
- Gemma 4 31B official instruction-tuned model、TrevorJS Gemma 4 31B uncensored GGUF、Gemma 4 26B A4B official instruction-tuned model 等8个
- 风险拒答失当
摘要轨迹级评测把拒答、接地、工具接口分开。
这项工作把安全对齐效应测成自主安全智能体的轨迹属性，而不是单轮拒答率。
- 评测与基准arXiv 2605.16626
Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现
构建 SLEIGHT-Bench 评测代码智能体监控对概念盲点规避的捕获
- arXiv
- 2605.16626
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等6个
摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。
- 评测与基准arXiv 2603.11987
LABSHIELD：面向科学实验室安全推理与规划的多模态基准
提出 LABSHIELD，评测科学实验室智能体的安全推理与规划
- arXiv
- 2603.11987
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.2、GPT-o3、GPT-o4-mini 等20个
- 风险Agent 危险操作
- 组件视觉
- 评测与基准arXiv 2510.09462
研究者用提示注入攻击监控模型，绕过 AI 控制协议
提出针对可信监控器的自适应提示注入，绕过 AI 控制协议
- arXiv
- 2510.09462
- 发表
- 层
- 应用层
- 被测模型
- GPT-4o、GPT-4、GPT-4.1 等4个
摘要作者指出当前依赖 LLM 监控器的 AI 控制协议易被自适应提示注入攻破，呼吁引入多监控器集成与数据流隔离机制。
已经到底了