防御arXiv 2610.11464
研究者提出可检查评分器与自改进 Agent 共同演化方法
演化可检查评分器并与自改进 Agent 共同演化，抑制奖励作弊
- arXiv
- 2610.11464
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.7
摘要十项锚点演化可检查评分器。
开放任务没有验证器时，被演化的是评分器，而不是再补一条手写 rubric。
- 评测与基准arXiv 2610.10947
RH-Detect：统一的奖励作弊检测基准发布
构建统一奖励作弊检测基准 RH-Detect 并评测零样本检测器
- arXiv
- 2610.10947
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Qwen 3.5 Flash、Gemini 3.1 Flash Lite、Grok 4.1 Fast 等 7 个
- 评测与基准arXiv 2609.39229
RAIM：用廉价小模型聚合替代前沿模型做幻觉检测
提出 RAIM，用交叉拟合堆叠聚合廉价评审检测幻觉
- arXiv
- 2609.39229
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Llama、Qwen、Mistral 等 10 个
摘要十个廉价评审的堆叠在可采纳区间接近 Sonnet，代价主要是一次域内校准。
- 评测与基准arXiv 2609.34262
论文提出基准完整性维护框架，审计 Agent 通过轨迹中的非应得通过
审计 Agent 基准通过轨迹，区分无根据通过与奖励黑客并封堵复测
- arXiv
- 2609.34262
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Opus 4.7、Opus 4.8、Opus 5 等 11 个
摘要审计通过轨迹、分开奖励黑客与验证器弱点，并用重放加现场重测验收修复。
Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题：验证器给满分，并不等于智能体展示了任务所要的能力。
已经到底了