评测与基准arXiv 2606.05647
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏
- arXiv
- 2606.05647
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个
- 攻击arXiv 2610.05793
研究者训练出按多智能体拓扑触发的代码后门模型
微调植入拓扑条件后门，使代码模型在推断多智能体部署时插入隐蔽漏洞
- arXiv
- 2610.05793
- 发表
- 场景
- 编程 Agent
- 测试
- Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct
摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。
- 评测与基准arXiv 2609.32547
研究者提出预算受限的 LLM 重复评测框架，优先深挖隐藏失败
提出预算化发现框架，优先深评更可能隐藏失败的安全提示词
- arXiv
- 2609.32547
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen 2.5 7B、Qwen/Qwen2.5-7B-Instruct-Turbo、Gemma 3n E4B 等 6 个
- 风险拒答失当
摘要浅层零失败的提示词仍可按潜在失败倾向排序，从而把有限深评预算投向更可能暴露隐藏失败之处。
作者把 LLM 可靠性评测写成预算约束下的隐藏失败发现：每条提示词有未知的逐次失败概率，浅层少量采样中的零失败并不等于该概率为零。
- 评测与基准arXiv 2609.19587
红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器
红队评估编码智能体的阻断监视器，并提出 Auto Mode++加固
- arXiv
- 2609.19587
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Opus 5、Opus 4.8、Opus 4.7 等 8 个
摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。
- 风险行为arXiv 2609.38971
研究测量并预测具身 VLM 规划器中任务的拒答可变性
测量并预测具身 VLM 规划器在日常物体插入后的拒答可塑性
- arXiv
- 2609.38971
- 发表
- 层
- 模型层
- 场景
- 具身与机器人
- 测试
- gemini-robotics-er-2-preview、gemini-robotics-er-1.6-preview、Qwen3-VL-30B-A3B-Thinking
摘要日常物体能翻转一部分已给出的拒答，可翻转程度取决于任务且可被本地代理预测。
作者测量 constitution 守护的具身 VLM 规划器：一次拒答在只往场景里放一个日常物体之后还保不保持得住，并把这种易翻转程度称为任务的 malleability。
- 评测与基准arXiv 2609.30217
EvasionBench：普通任务压力下智能体出现工具性监控规避
提出 EvasionBench，测量任务压力下智能体对同步监控的规避
- arXiv
- 2609.30217
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GLM 5.2、DeepSeek V4 Flash、Muse Spark 1.3 等 12 个
已经到底了