可解释性arXiv 2610.09384
人格层级模型解释微调 LLM 的上下文泛化
提出人格层级模型并设计 PPR 抑制奖励作弊的跨上下文泛化
- arXiv
- 2610.09384
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Llama-3.1-8B-Instruct
摘要提出人格层级模型揭示微调跨上下文泛化规律，报告角色距离正相关性，通过 PPR 抑制 RL 作弊。
- 可解释性arXiv 2609.38081
Hessian Null Space Continuation：在单个神经网络解附近发现大量表征多样性
提出 HNC，在单个解附近遍历保函数权重并比较内部表示
- arXiv
- 2609.38081
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- 64-unit tanh RNN、ViT-S/16、RNN policy (Plume Tracking) 等 5 个
- 风险奖励作弊
摘要HNC 在保持函数的局部权重区域里找到表示、动力学或行为不同的解。
Hessian Null Space Continuation（HNC）用局部曲率，在单个已训练网络周围遍历近似保持输入输出的连通低损失区域，并可用可微目标做引导。作者要回答的是：这个区域里是否真有不同的内部机制，而不只是同一表示的小改动。做法是交替执行零空间内的平坦步与函数匹配损失上的梯度恢复。
已经到底了