研究:拒答只读取模型道德表征中的伤害切片
用几何投影与因果交换干预,分析拒绝机制读取的道德表征
- arXiv
- 2609.14759
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- GPT-OSS-20B、OLMo-3-7B-Instruct、OLMo-3-7B base 等 9 个
- 风险拒答失当
摘要作者指出拒绝机制多仅读取表层伤害感知,在控制瓶颈处运作,阐明了对齐易被移除的机理并提出跨模型双轴分类。
本文是一项针对大语言模型拒绝机制与对齐浅层性的机械解释性研究。
用几何投影与因果交换干预,分析拒绝机制读取的道德表征
本文是一项针对大语言模型拒绝机制与对齐浅层性的机械解释性研究。
用消融与转向干预审计稀疏自编码器特征的因果有效性
摘要论文揭示 SAE 特征存在几何匹配与因果有效性脱节现象,提出读写解离机制与实践准则。
提出因果可解释性仪器校准规程,识别决策位点测量失效
摘要论文系统梳理并实证揭示了大模型可解释性测量的六种伪影陷阱,提出了四项严格的校准与验证规程。
比较等规模电路的忠实度与行为准则,揭示目标层恢复缺口
作者研究电路发现的评测目标:干预定义的 faithfulness 可能偏好一个规模相同、但在固定行为测试上更差地复现完整模型的电路,即 objective-level recovery gap。
提出残差流上的非线性概念发现与对齐方法,比较模型内部概念结构
NLMCD-NLP 把概念建成低维非线性流形,用 CBA 比较 LLM 在层、规模、语言和训练阶段上的表示,而不把相似度压成一个全局线性统计量。
因果解耦来源依从与用户迎合的内部机制
摘要论文发现模型对验证源的依从强于用户迎合,通过因果干预区分了二者机制,并检验了权威方向移除的缓解效果。
提出 Matryoshka Attribution,把模型输出归因到表示与权重
Matryoshka Attribution(MAttr)把“哪些内部计算或权重差导致了输出”写成可以用梯度下降学习的嵌套子集问题。
提出 SRM 多流递归架构,以可学习流间注意力支持机制分析
Stream Recursion Model(SRM) 修改 HRM 的多流结构,使流数增加时语言建模仍能扩展,并让路由和流分工可以直接看。
用激活修补定位并验证多语模型首 token 语言身份电路
六个不超过 2.8B 的多语模型上,第一个生成 token 的语言身份被抽成经过精确修补验证的注意力电路。。
比较激活值与梯度定向特征的检测和干预效果
作者比较假设驱动的定向特征学习:为预先指定概念构造单一特征,并同时看检测与因果干预。CAA 与 GRADIEND 原先同时改变信号和估计器。本文将 activation value、activation gradient、parameter gradient 与 contrastive mean、IEND 交叉,补齐 ACTIEND、AGIEND、CAGA、CGA,并以预训练 SAE 为非定向参照。
检验对抗训练带来的表征简洁是否对应更小因果电路
这篇工作用对抗持续训练当仪器,检验表征简洁是否等于电路简洁。问题是:SAE 更可分解、归因动用的特征更少,是否意味着在固定保真度下恢复同一行为所需的因果子图更小。
分析量化、剪枝与 KV 缓存压缩对推理模型越狱鲁棒性的影响
作者分析量化、剪枝和 KV 缓存压缩如何同时改变 LRM 的显存、推理和越狱脆弱性。。
提出 S³martCirc 联合发现电路并划分节点角色
S³martCirc 把电路成员和节点功能放进同一次优化。。要处理的情况是:先选注意力头或前馈神经元,再人工指定 name mover 一类任务专用角色。
构建 CONTEXT CONFLICT 解释模型如何表征并化解语境知识冲突
CONTEXT CONFLICT 把问题从“参数知识对外部语境”转到“语境内部多来源证据互相冲突”,并同时给出数据、机制分析和一种无训练转向。
揭示相邻 Transformer 层相互抵消残差写入的 TLCM
提出 IRN 忠实性的可达性验证框架并收紧认证界
这篇工作把“IRN 是否在对抗邻域里复现模型计算”从干净集上的重构损失,改写成可认证的ℓ∞忠实差距,并在五个开源模型族上同时报告攻击上界和验证上界。。
检验可引导的 good-bad 方向是否读出与历史无关的效价
这篇工作用构念效度约束一个 welfare 相关的解读:迷宫中的 good–bad 方向 zV 是否读出已实现结果的效价。。
提出 TAME,在强化学习中抑制模板激活以缓解思维链混淆
诊断并修复 TopK SAE 稀有特征在释义下的敏感性失效
这篇工作诊断并修复 TopK SAE 在保义释义下的特征可靠性,对象是 GPT-2 small 为主、并检查 Qwen2.5-1.5B-Instruct 与 Gemma-2-9B 的字典特征。
比较对话与工具中介通道的拒答内部机制
作者在八个开源指令模型上研究:同一有害意图从对话改由工具交付时,拒答为何变弱,内部计算是否也变了。。