可解释性arXiv 2609.37616
语言模型中的权威偏差:来源顺从与用户认同并非同一行为
因果解耦来源依从与用户迎合的内部机制
- arXiv
- 2609.37616
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3.5-27B、GPT-OSS-20B、OLMo-3.1-32B 等 8 个
- 风险失准与价值偏离
摘要论文发现模型对验证源的依从强于用户迎合,通过因果干预区分了二者机制,并检验了权威方向移除的缓解效果。
因果解耦来源依从与用户迎合的内部机制
摘要论文发现模型对验证源的依从强于用户迎合,通过因果干预区分了二者机制,并检验了权威方向移除的缓解效果。
提出五步诊断协议,检验幻觉神经元定位是否唯一
这项工作用诊断协议复查 H-Neurons 的定位主张。问题是:L1 探针在相关激活上可以选出能预测幻觉的少量神经元,但这不等于这些神经元唯一编码该行为。
提出 AIMES 用词表读出在线调节多价值激活干预
AIMES 是推理时的多价值激活转向框架,用中间层词表读出把固定系数改成随状态变化的权重。
提出 LocUS,用词汇子空间选择注意力头并约束激活转向
LocUS 是不更新权重的推理时转向方法,把差分均值更新限制在少数注意力头及其属性对齐子空间。
用 SAE 与 CFI 压低谄媚,检验直接拒答与施压下拒答是否增强
用 SAE 选出的谄媚特征做补偿性训练注入,检验“少谄媚”是否带来“更强拒答”。。
提出 GeoSteer,把保范数激活引导做成球面测地线优化