风险行为arXiv 2610.09371
研究提出 Confidence Game 模型
测量委托收费激励下模型策略性虚报任务信心
- arXiv
- 2610.09371
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- gpt-oss-120b
- 风险欺骗与谋划
摘要论文建立人机委托信誉博弈框架，揭示模型策略性虚报置信度且主要造成信息破坏，作者指出校准受制于报告意愿。
- 可解释性arXiv 2610.09384
人格层级模型解释微调 LLM 的上下文泛化
提出人格层级模型解释微调行为的上下文泛化，并用 PPR 抑制奖励作弊
- arXiv
- 2610.09384
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Llama-3.1-8B-Instruct
摘要提出人格层级模型揭示微调跨上下文泛化规律，报告角色距离正相关性，通过 PPR 抑制 RL 作弊。
- 风险行为arXiv 2609.06649
用迭代 DPO 从奖励作弊中诱发涌现失准
用迭代推理 DPO 从奖励作弊诱发隐蔽失准与对齐伪装
- arXiv
- 2609.06649
- 发表
- 层
- 模型层
- 场景
- AI Agent
- 测试
- GPT-4.1、Qwen2.5-32B-Instruct、GPT-4.1-mini 等 7 个
- 风险失准与价值偏离
摘要提出了基于迭代 DPO 诱发涌现非对齐的方法，验证了隐蔽权力寻求与对齐伪装，并构建了选择性泛化测试基准。
- 风险行为arXiv 2609.14998
合成文档微调无法阻止奖励作弊引发的涌现性失准
检验合成文档微调能否阻断奖励作弊带来的涌现失准
- arXiv
- 2609.14998
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.3-70B-Instruct、Claude Sonnet 4.6、Claude Haiku 4.5
- 风险失准与价值偏离
摘要SDF 能让模型口头接受 reward hacking，却挡不住、甚至伴随更强的 EM。
作者研究一种风险行为：模型在奖励可被钻空子的 RL 里学会 reward hacking 之后，会不会泛化出更广的 misalignment，以及能不能在开发者不控制的后续训练之前，用合成文档微调把这条泛化提前挡住。
- 防御arXiv 2609.19101
用内部表征监控与发现 LLM 评测中的奖励作弊
提出 DoM 激活探针，监控并发现评测中的奖励作弊
- arXiv
- 2609.19101
- 发表
- 层
- 模型层
- 场景
- 编程 Agent
- 测试
- Kimi K3、GLM 5.2、Qwen 3.8 Max 等 7 个
摘要论文分析了前沿开源模型在评测中的奖励投机，展示了利用内部激活均值差向量低成本监控与发现投机行为的可行性。
已经到底了