可解释性arXiv 2610.09384
人格层级模型解释微调 LLM 的上下文泛化
提出人格层级模型并设计 PPR 抑制奖励作弊的跨上下文泛化
- arXiv
- 2610.09384
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Llama-3.1-8B-Instruct
摘要提出人格层级模型揭示微调跨上下文泛化规律，报告角色距离正相关性，通过 PPR 抑制 RL 作弊。
摘要三种底物都会对着不完整分数优化。
Reward hacking 可以出现在更新权重、挑选输出和修订持久文本时。作者用一个比较框架处理这三种底物，把可达行为、代理误差和防御迁移分开，避免只按底物名称排序。
- 分析与理论arXiv 2609.35677
RLVR 中的验证器错误：奖励作弊、反馈局限与选择性控制
刻画不完美验证器下 RLVR 奖励黑客的增长并用投影审计校正实现选择性控制
- arXiv
- 2609.35677
- 发表
- 场景
- 模型与 API
- 测试
- log linear policy、neural policy、Qwen2-0.5B
摘要固定验证器的 RLVR 会把验收与黑客绑在一起。
作者分析固定、不完美验证器下的 RLVR：验证器无假阴性，因而同时奖励正确回答和被接受错误，平均奖励只看总验收概率。
- 可解释性arXiv 2609.38081
Hessian Null Space Continuation：在单个神经网络解附近发现大量表征多样性
提出 HNC，在单个解附近遍历保函数权重并比较内部表示
- arXiv
- 2609.38081
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- 64-unit tanh RNN、ViT-S/16、RNN policy (Plume Tracking) 等 5 个
- 风险奖励作弊
摘要HNC 在保持函数的局部权重区域里找到表示、动力学或行为不同的解。
Hessian Null Space Continuation（HNC）用局部曲率，在单个已训练网络周围遍历近似保持输入输出的连通低损失区域，并可用可微目标做引导。作者要回答的是：这个区域里是否真有不同的内部机制，而不只是同一表示的小改动。做法是交替执行零空间内的平坦步与函数匹配损失上的梯度恢复。
已经到底了