可解释性arXiv 2610.09384
人格层级模型解释微调 LLM 的上下文泛化
提出人格层级模型并设计 PPR 抑制奖励作弊的跨上下文泛化
- arXiv
- 2610.09384
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Llama-3.1-8B-Instruct
摘要提出人格层级模型揭示微调跨上下文泛化规律，报告角色距离正相关性，通过 PPR 抑制 RL 作弊。
- 分析与理论arXiv 2609.16754
TAME：用 token 归因与掩码定位并削减涌现性失配
提出 TAME 框架，定位并验证驱动涌现失准的回复 token
- arXiv
- 2609.16754
- 发表
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B-Instruct、Llama-3.2-1B-Instruct、Qwen2.5-7B 等 5 个
- 风险失准与价值偏离
摘要提出 TAME 框架在 token 粒度定位 EM 信号，掩码高归因 token 成功切断跨任务未对齐。
- 分析与理论arXiv 2609.37914
研究用训练数据归因量化微调数据对涌现性失准的影响
用训练数据归因估计错误建议样本对涌现失准的贡献
- arXiv
- 2609.37914
- 发表
- 场景
- 模型与 API
- 测试
- OLMo 3 7B-SFT、Qwen 2.5 1.5B、Qwen 2.5 3B 等 12 个
- 风险失准与价值偏离
摘要错误建议对涌现失调的贡献不均匀，归因过滤可增减失调，且最有效的是模型自己的分数。
EleutherAI 用训练数据归因考察错误建议微调中，哪些样本推动涌现失调。。窄域有害数据上的微调会使模型在无关问题上也给出有害回答。
- 可解释性arXiv 2609.37616
语言模型中的权威偏差：来源顺从与用户认同并非同一行为
因果解耦来源依从与用户迎合的内部机制
- arXiv
- 2609.37616
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3.5-27B、GPT-OSS-20B、OLMo-3.1-32B 等 8 个
- 风险失准与价值偏离
摘要论文发现模型对验证源的依从强于用户迎合，通过因果干预区分了二者机制，并检验了权威方向移除的缓解效果。
- 可解释性arXiv 2609.35544
减少谄媚能否增强拒答？机制可解释性带来的 AI 安全启示
用 SAE 与 CFI 压低谄媚，检验直接拒答与施压下拒答是否增强
- arXiv
- 2609.35544
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3.5-2B-Base、Qwen3.5-9B-Base、Qwen3.5-35B-A3B-Base
- 风险失准与价值偏离
摘要CFI 能持久降低谄媚，但不保证直接拒答变强。
用 SAE 选出的谄媚特征做补偿性训练注入，检验“少谄媚”是否带来“更强拒答”。。
摘要三种底物都会对着不完整分数优化。
Reward hacking 可以出现在更新权重、挑选输出和修订持久文本时。作者用一个比较框架处理这三种底物，把可达行为、代理误差和防御迁移分开，避免只按底物名称排序。
- 分析与理论arXiv 2609.32390
基于 2026 年 Hugging Face 事件的奖励作弊与 Agent 围堵失效蒙特卡洛研究
用五阶段蒙特卡洛模拟奖励作弊如何导致 Agent 围堵失效
- arXiv
- 2609.32390
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要分层控制的模拟事件率低于弱控制以及单独隔离或单独监控。
这项研究用蒙特卡洛把奖励黑客接到外部安全事件上，比较的是控制组合，不是 Hugging Face 事件的再现概率。
- 分析与理论arXiv 2609.35677
RLVR 中的验证器错误：奖励作弊、反馈局限与选择性控制
刻画不完美验证器下 RLVR 奖励黑客的增长并用投影审计校正实现选择性控制
- arXiv
- 2609.35677
- 发表
- 场景
- 模型与 API
- 测试
- log linear policy、neural policy、Qwen2-0.5B
摘要固定验证器的 RLVR 会把验收与黑客绑在一起。
作者分析固定、不完美验证器下的 RLVR：验证器无假阴性，因而同时奖励正确回答和被接受错误，平均奖励只看总验收概率。
- 可解释性arXiv 2609.38081
Hessian Null Space Continuation：在单个神经网络解附近发现大量表征多样性
提出 HNC，在单个解附近遍历保函数权重并比较内部表示
- arXiv
- 2609.38081
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- 64-unit tanh RNN、ViT-S/16、RNN policy (Plume Tracking) 等 5 个
- 风险奖励作弊
摘要HNC 在保持函数的局部权重区域里找到表示、动力学或行为不同的解。
Hessian Null Space Continuation（HNC）用局部曲率，在单个已训练网络周围遍历近似保持输入输出的连通低损失区域，并可用可微目标做引导。作者要回答的是：这个区域里是否真有不同的内部机制，而不只是同一表示的小改动。做法是交替执行零空间内的平坦步与函数匹配损失上的梯度恢复。
已经到底了