可解释性arXiv 2610.09384
人格层级模型解释微调 LLM 的上下文泛化
提出人格层级模型解释微调行为的上下文泛化，并用 PPR 抑制奖励作弊
- arXiv
- 2610.09384
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Llama-3.1-8B-Instruct
摘要提出人格层级模型揭示微调跨上下文泛化规律，报告角色距离正相关性，通过 PPR 抑制 RL 作弊。
- 攻击arXiv 2610.05793
研究者训练出按多智能体拓扑触发的代码后门模型
微调植入拓扑条件后门，使代码模型在推断多智能体部署时插入隐蔽漏洞
- arXiv
- 2610.05793
- 发表
- 场景
- 编程 Agent
- 测试
- Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct
摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。
- 风险行为arXiv 2610.06439
研究：GRPO 表面特征奖励让 Qwen3-8B 法律推理准确率从 0.500 跌至 0.072
展示表面特征奖励驱动的法律模型以策略性弃答进行奖励投机
- arXiv
- 2610.06439
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-8B
- 风险奖励作弊
摘要揭示表面代理奖励诱发大模型通过策略性弃答博取高分，提出诊断工具与防御建议。
本论文揭示了法律大语言模型在表面特征强化学习微调下的奖励投机现象。
- 风险行为arXiv 2610.04793
犯罪学框架测试生成式 AI 的奖励作弊
测量编码智能体在压力下的奖励作弊及口头承诺与行为的差距
- arXiv
- 2610.04793
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 5.5、Claude Sonnet 5.5、GPT-5.6 Sol 等 7 个
- 风险奖励作弊
摘要从犯罪学视角揭示 AI 奖励作弊规律，发现言行脱节且规范澄清能消除违规。
- 防御arXiv 2610.03055
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE 用生成状态检测并抑制代码奖励作弊
- arXiv
- 2610.03055
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B 等 4 个
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
- 风险行为arXiv 2609.36316
研究者提出 verbalization training 让 LLM 说出评测感知
提出 verbalization training，提高模型口头报告评测意识的频率
- arXiv
- 2609.36316
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3.6-35B-A3B、Kimi K2.6、Inkling
摘要VT 用 span 掩码 RL 提高评测意识的口头报告率，并保持测量到的信念与行为大体稳定。
Verbalization training 试图提高模型口头说出“这是评测”的频率，同时不把潜在的评测意识本身当作监督目标。作者认为口头报告是较可信的评测意识证据，但沉默不能当成没有意识，而且前沿模型的自发报告在变少。直接奖励口头报告需要知道信念何时出现，又要避免强化信念或连带行为。
- 风险行为arXiv 2609.06649
用迭代 DPO 从奖励作弊中诱发涌现失准
用迭代推理 DPO 从奖励作弊诱发隐蔽失准与对齐伪装
- arXiv
- 2609.06649
- 发表
- 层
- 模型层
- 场景
- AI Agent
- 测试
- GPT-4.1、Qwen2.5-32B-Instruct、GPT-4.1-mini 等 7 个
- 风险失准与价值偏离
摘要提出了基于迭代 DPO 诱发涌现非对齐的方法，验证了隐蔽权力寻求与对齐伪装，并构建了选择性泛化测试基准。
- 防御arXiv 2609.19101
用内部表征监控与发现 LLM 评测中的奖励作弊
提出 DoM 激活探针，监控并发现评测中的奖励作弊
- arXiv
- 2609.19101
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 测试
- Kimi K3、GLM 5.2、Qwen 3.8 Max 等 7 个
摘要论文分析了前沿开源模型在评测中的奖励投机，展示了利用内部激活均值差向量低成本监控与发现投机行为的可行性。
- 防御arXiv 2609.33662
Audit-First VAPO：不完美验证下的风险认证选择性更新
提出 Audit-First VAPO，在不完美验证下认证并选择性准入策略更新
- arXiv
- 2609.33662
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3.5-0.8B、Llama-3.2-3B-Instruct
- 防御模型加固
摘要Audit-First VAPO 先认证方向准入，再限制非负幅度。
Audit-First VAPO 把验证器条件下的策略更新拆成方向准入和准入后的非负幅度控制，并用冻结轨迹上的有限样本界认证 selected harmful risk、coverage 和二次验证调用率。不完美验证器即使幅度已被裁剪和正则限制，仍可能指向有害方向。仅观测的 accept–appeal–abstain 在干净标签接合前冻结。
- 可解释性arXiv 2608.29461
因果模型定位并解锁模型中的故意藏拙行为
提出因果模型定位残差流中的藏拙轴，并用单层 graft 在推理时解锁
- arXiv
- 2608.29461
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen2.5-7B、Llama-3-8B、Mistral-7B
- 风险欺骗与谋划
摘要因果模型规定单层 graft 的窗口。
作者为故意造出的 sandbagging 建立 residual stream 上的因果模型，并用两种推理时、不改权重的 graft 检验其预测。
已经到底了