研究者提出 CAP 指标与 CSFD 算法,发现越狱通过压制安全特征绕过拒答
提出 CAP 与 CSFD,发现越狱通过压制安全特征绕过拒答
提出 CAP 与 CSFD,发现越狱通过压制安全特征绕过拒答
提出残差流上的非线性概念发现与对齐方法,比较模型内部概念结构
NLMCD-NLP 把概念建成低维非线性流形,用 CBA 比较 LLM 在层、规模、语言和训练阶段上的表示,而不把相似度压成一个全局线性统计量。
作者提出 Matryoshka Attribution(MAttr),把归因问题定义为寻找能最小化下游损失的嵌套内部组件子集,并用可微的 sigmoid top-k 算子参数化掩码。
Matryoshka Attribution(MAttr)把“哪些内部计算或权重差导致了输出”写成可以用梯度下降学习的嵌套子集问题。
用权重几何解释事后安全脆弱,并提出预训练持续安全共训练
研究对比线性探针、归因修补、稀疏自编码器(SAE)与特征消融,在 Llama-3.1-8B、Qwen3-8B 和 Gemma-2-9B 中追踪多语言刻板印象从内部表征到输出的路径。
把多语 LLM 中刻板印象从线性表示追到输出影响,再追到 SAE 特征消融。。
作者用 JU/JI 两个术语基准比较 Llama-3.1-8B-Instruct 与医学微调 UltraMedical,发现通用模型更准,并用组件重加权缩小差距。
作者用两项术语基准和组件分解,比较通用与医学微调的 Llama-3.1-8B 如何编码领域术语。。
作者把人工创业认知定义为 LLM 内部与创业相关的表征和计算如何组织,并用机会识别做结构理论的检验案例。
论文提出一个因果模型,描述故意藏拙(sandbagging)如何沿残差流传递:早期层把藏拙意图写入残差流的单一轴,后续层读取该轴并决定最终答案。
作者为故意造出的 sandbagging 建立 residual stream 上的因果模型,并用两种推理时、不改权重的 graft 检验其预测。