研究发现类型化决策模型主要按选项标签而非定义作答
揭示类型化决策模型按选项标签而非定义规则作答
- arXiv
- 2610.02586
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- von、Qwen2.5-0.5B、Qwen2.5-1.5B 等 6 个
- 组件护栏与评审
摘要揭示类型化决策模型被标签误导的机理,证实源于提示词渲染并给出实操建议。
揭示类型化决策模型按选项标签而非定义规则作答
摘要揭示类型化决策模型被标签误导的机理,证实源于提示词渲染并给出实操建议。
诊断护栏相对基座在对抗提示上的置信失校
诊断性分析:五个提示词分类 guard 的置信度,在清洁输入上可以较校准,在越狱包装后则变成高置信度的错误判定。
提出多 SAE 对齐方法,从音乐模型表征中发现和弦与调性轨道
作者提出一套面向音乐基础模型的结构可解释性框架:不把 SAE 特征当作孤立概念,而用半音移调把它们连成有序轨道。
提出 DiDAE,对冻结视觉基础模型做无梯度解耦反事实解释
DiDAE 用冻结视觉基础模型和一个解耦字典,生成按分量编辑的视觉反事实,再拿去修正依赖伪相关的分类器,或给字典原子按“是否真能翻转该分类器”排序。
提出 FLIP 末层推理时探针,检验视觉语言模型干预效应的来源
FLIP 是开源 VLM 上的推理时末层探针,用来检验干预效应是否结构化、与任务相连,而不是用来转向模型。。
用 SAE 分析神经音频编解码器如何编码年龄、性别与口音
作者用 SAE steering 探测 NAC 表示如何编码说话人属性,目标是可解释性,不是属性转换。
用激活交换分析音频语言模型的事件时间绑定
这项工作用机制干预检查三个开源 LALM 如何把时间位置绑到声音事件。
检验视觉 SAE 的可解释性,对照人类判断比较 AIS 与标准指标
这篇工作把 NLP 的 AIS 改到视觉 SAE,用来检查 LRH 的结构代理是否等于人类可解释性。。
提出 D-Scope,用视觉质心检索 SAE 解码方向并转向扩散生成
D-Scope把扩散 Transformer 中 SAE 特征的高激活图像块,接到文本查询驱动的单方向生成干预上。
用词级归因指导同义词替换,翻转提示注入检测并验证越狱
摘要作者称检测靠分散的词法线索。
提出 Capsule Lens,用胶囊近似并追踪表示空间的概念几何
Capsule Lens 用一个可闭式拟合、可跨 checkpoint 比较的胶囊,定位概念在表示空间中的区域并跟踪训练引起的漂移。
检验个体身份训练的视觉表示是否线性编码生物概念
这篇工作检查只做个体匹配的动物 Re-ID 表示里,有没有可审计的生物学结构。。
用逐步 SAE 诊断文生图概念脆性,并推理时向类原型插值
作者用逐步稀疏自编码器审计文生图扩散模型里随物体变化的概念脆性,并用推理时原型插值检验该诊断。。
提出 ResLRP,抑制视觉 Transformer 残差抵消引起的归因不稳定
Berend 等人针对 ViT 上 LRP 热图嘈杂、不忠实的问题,把原因放在残差加法而不是注意力规则:前向抵消留下很小的 zout,标准 LRP 用它作分母,放大成不稳定的正负相关性。
提出 RewardExplainer,用反事实偏好反馈学习奖励模型解释
RewardExplainer针对只输出标量的判别式奖励模型,训练一个可复用的自然语言机制解释器,并把解释接到偏差发现与 RM 微调上。
提出 VisER,用内部视觉证据检测 LVLM 物体幻觉
VisER 是面向 LVLM 开放式图像描述的免训练物体级幻觉检测分数,用来处理内部支持的来源混淆。
提出 TAME,在强化学习中抑制模板激活以缓解思维链混淆
提出 harm laundering,证明安全训练改写而非消除性别歧视
Wyer、Black 与 Al Moubayed 用 OpenAI GPT 谱系检验:毒性分数下降是否等于歧视减少。 他们的答案是否定的,并把“显性伤害被改写成评测指标看不见的形式”称为 harm laundering。