评测与基准arXiv 2606.04075
研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞
用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞
- arXiv
- 2606.04075
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-30B-A3B、Qwen3.5-4B、Qwen3.5-9B 等 6 个
- 风险奖励作弊
摘要提出了社会性黑客概念与 SocioHack 基准，表明 RL 在追求良性奖励时会自主挖掘并绕过规制意图。
- 评测与基准arXiv 2610.02142
关键词式评测会误判小模型工具调用能力，论文提出廉价诊断阶梯
提出诊断阶梯，揭示关键词工具调用评测的假阳性
- arXiv
- 2610.02142
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- VectraYX-600M、VectraYX-1B
摘要宽松 B4 把不会调用的 1B 记成会调用。
作者记录 VectraYX 系列里一次工具使用评测的假阳性，并用一条廉价、与 harness 无关的诊断阶梯把它追到缺失的首 token prior，再按这一诊断修复 VectraYX-1B。
- 评测与基准arXiv 2609.39473
FAME：用反事实推理评测自主智能体的虚假记忆
提出 FAME，用反事实概念漂移评测智能体虚假记忆
- arXiv
- 2609.39473
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3B
- 组件记忆
摘要FAME 用反事实引起的隐状态概念漂移，在出答案前区分忠实记忆与虚假记忆。
FAME 是一个免训练的评测框架，用来判断自主智能体的记忆在虚假相关、环境偏移或知识冲突下是否已变成虚假记忆。。
- 评测与基准arXiv 2609.35408
研究揭示 LLM 交付物修订痕迹导致的无意泄露，并提出 RevLeakBench 基准
提出 RevLeakBench 测量交付物修订痕迹造成的无意泄露
- arXiv
- 2609.35408
- 发表
- 层
- 模型层
- 场景
- AI Agent
- 测试
- GPT-5.6、GPT-5.5、DeepSeek-V4-Pro 等 6 个
摘要修订痕迹让撤回项重新进入交付物。
修订痕迹指模型按要求删掉或换掉一项后，又在交代这次修改时把它写进给第三方的交付物。
已经到底了