评测与基准arXiv 2610.06366
VERA：结构化审计发现约 60% 正确漏洞判定伴随虚构推理
提出 VERA，结构化审计漏洞推理中的虚构主张
- arXiv
- 2610.06366
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 测试
- gemma-4-26b、llama-4-maverick、sonnet-5 等 11 个
- 风险行为arXiv 2610.03458
论文：低监控读数不能证明行为受控
检验监控器低读数能否作为代码奖励作弊已受控的证据
- arXiv
- 2610.03458
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 测试
- Llama-3.1-8B-Instruct
摘要论文指出监控器训练读数接近零无法确立作弊受控，模型可利用通用外壳推迟提交绕过监控，强化学习亟需带外行为验证。
本文是一篇针对强化学习可验证奖励后训练（RLVR）中监控器有效性与奖励作弊行为的实证分析研究。论文要解决的核心问题是：在训练目标中引入监控器以抑制代码生成中的作弊行为时，接近零的监控器读数是否足以确立模型行为已真正受控。
- 攻击arXiv 2609.09865
CGMIA：用成员推理攻击检测代码生成基准的数据泄漏
提出 CGMIA，用成员推理检测代码生成基准的数据泄漏
- arXiv
- 2609.09865
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 攻击者
- 灰盒
- 测试
- CodeGemma (2B)、Qwen2.5-Coder (3B)、DeepSeek-Coder (1.3B) 等 5 个
- 攻击提取与窃取
摘要CGMIA 融合相似度、通过率、困惑度与 CodeBERT，在模拟泄漏上优于八个 MIA 基线。
CGMIA 用成员推断检测代码生成基准是否泄入 LLM 训练集，使评测不依赖对训练语料的直接访问。
已经到底了