HyperDAS：迈向用超网络自动实现机制可解释性(original, opens in a new tab)

HyperDAS 是一种基于 Transformer 的超网络架构，可自动定位概念在残差流中实现的 token 位置，并为这些残差流向量构造特征，从而免去 DAS 对特征位置的暴力搜索。

SAEBench：面向语言模型可解释性的稀疏自编码器综合基准(original, opens in a new tab)

提出 SAEBench，系统评测稀疏自编码器的可解释性与特征解耦。

RedDiffuser: Using reinforcement diffusion to generate visual inputs for auditing VLM multimodal safety failures(original, opens in a new tab)

Propose RedDiff, using reinforcement diffusion to generate images for auditing VLM contextual safety failures.

SafeArena: the first benchmark for evaluating misuse risk of autonomous web agents(original, opens in a new tab)

Proposes the SafeArena benchmark to evaluate whether web agents execute deliberately harmful tasks.

教 AI 处理例外情形：与人类判断对齐的监督微调(original, opens in a new tab)

论文发现，大语言模型在处理例外情形时，即便推理能力较强，也会因严格遵守规则而明显偏离人类判断。

Researchers jailbreak text-to-image models with safety guardrails by fine-tuning large language models(original, opens in a new tab)

Proposes PromptTune, which fine-tunes an LLM to rewrite prompts to jailbreak text-to-image guardrails.

AI 能否建模人类道德决策的复杂性？一项关于肾脏分配决策的定性研究(original, opens in a new tab)

通过访谈评估简单计算模型能否对齐肾脏分配道德决策。

在稀疏空间中引导大语言模型的激活(original, opens in a new tab)

论文提出稀疏激活引导（SAS），用稀疏自编码器（SAE）在稀疏空间中引导大语言模型的行为。

Modeling human beliefs about AI behavior for scalable oversight(original, opens in a new tab)

形式化人类信念模型，从可能错误的反馈确定轨迹回报。

稀疏自编码器能否泛化？一项关于可回答性的案例研究(original, opens in a new tab)

涌现性失准：窄任务微调可让大语言模型广泛失准(original, opens in a new tab)

Why it was selected论文用三类对照模型把窄任务微调引发的广泛失准同越狱区分开，并展示后门触发下的隐藏失准。

预测罕见的大语言模型行为(original, opens in a new tab)

研究者提出用评估查询的 elicitation probability 及其极值尾部（Gumbel）幂律关系，从更小规模的评测预测只有在大规模部署时才会出现的罕见模型行为，最多可跨三个数量级的查询量。

Why it was selected论文提出的引出概率与 Gumbel 尾部外推方法，可用于从小规模评测预估部署规模才会出现的罕见风险。

稀疏自编码器有用吗？稀疏探针案例研究(original, opens in a new tab)

arXiv 论文测试了稀疏自编码器（SAE）能否在 LLM 激活探针这一真实任务上超过现有基线。

Predicting the capabilities of frontier language model agents(original, opens in a new tab)

用发布日期经 Elo 外推预测前沿 Agent 能力阈值。

在不可逆动态下通过求助实现安全学习(original, opens in a new tab)

Benjamin Plaut 等人的论文提出让学习智能体向导师求助、并在相似状态之间迁移知识，从而在不可逆动态环境中兼顾安全与效率。

大语言模型如何在上下文中完成两跳推理？(original, opens in a new tab)

预训练大语言模型在存在干扰项时会在简单的两跳推理任务上失败，往往在所有看似合理的结论中随机猜测。

哪些注意力头对上下文学习更关键？(original, opens in a new tab)

研究还发现两类注意力头彼此关联：训练中不少 FV head 起初表现为 induction head，之后才转向 FV 机制。

基于生成式奖励模型的不确定性感知逐步验证(original, opens in a new tab)

提出 CoT Entropy，量化数学逐步验证的不确定性。

效用工程：分析与控制 AI 中涌现的价值系统(original, opens in a new tab)

大语言模型拟人化行为的多轮评估(original, opens in a new tab)

提出 AnthroBench 评测多轮对话中 LLM 的拟人化行为。

稀疏自编码器找不到标准的分析单元(original, opens in a new tab)

论文提出 SAE stitching 与 meta-SAE 两种方法，论证稀疏自编码器（SAE）无法找到一套标准的分析单元。

Why it was selected论文用 SAE stitching 与 meta-SAE 两种方法，对 SAE 能发现标准分析单元这一假设提出质疑，并建议按任务选择字典宽度。

通过递归自我批评实现超人类 AI 的可扩展监督(original, opens in a new tab)

论文提出用递归自我批评为超人类 AI 提供可扩展监督，并围绕两个假设开展了人-人、人-AI 与 AI-AI 实验。

立场：面向 LLM 的对抗机器学习没有取得进展(original, opens in a new tab)

Javier Rando、Jie Zhang、Nicholas Carlini 与 Florian Tramèr 在立场论文中认为，大语言模型时代的对抗机器学习研究没有取得实质进展。

激发游戏：评估能力激发技术(original, opens in a new tab)

论文提出一种把密码锁定与电路中断结合的模型生物，用来评估能力激发技术的有效性。作者先以密码锁定训练带隐藏能力的模型生物，再叠加电路中断，使其比标准密码锁定模型更难被激发。

Why it was selected论文比较提示、激活引导与微调三类能力激发方法，为担心模型藏拙的评估者指出微调是更可靠的激发手段。

受约束的信念更新解释 Transformer 表示中的几何结构(original, opens in a new tab)

论文提出证据表明，Transformer 实现的是受约束的贝叶斯信念更新，即部分贝叶斯推理的并行化版本，受架构约束塑造。

通过分布鲁棒直接偏好优化实现稳健的 LLM 对齐(original, opens in a new tab)

提出 WDPO 与 KLDPO，使 DPO 对齐对偏好分布偏移更稳健。

模型篡改攻击使 LLM 能力评测更为严格(original, opens in a new tab)

用模型篡改攻击评测遗忘与拒答模型的能力抑制鲁棒性。

Why it was selected论文把权重与激活层的篡改攻击同输入空间攻击并列评测，指出单靠输入评测只能给出模型最差行为的下界。

调和损失训练出可解释的 AI 模型(original, opens in a new tab)

论文提出调和损失（harmonic loss）作为训练神经网络和大语言模型的替代监督信号，其与标准交叉熵的区别在于用尺度不变的 HarMax 函数替代 SoftMax 归一化，并以欧氏距离而非点积计算 logits。

将 MLP 转换为闭式多项式(original, opens in a new tab)

研究者给出把前馈网络（多层感知机与门控线性单元 GLU）近似为任意次数多项式的闭式最小二乘最优解推导。

眨眼之间：生成模型特征局部化的一个简单理论(original, opens in a new tab)

arXiv 论文提出一套统一理论，用随机局部化采样器的形式化框架解释生成模型为何会在生成过程中突然改变行为，认为这源于生成过程局部化到其所建模分布的一个子群体。

大语言模型用三角函数做加法(original, opens in a new tab)

MIT 研究者用机制可解释性方法逆向分析了 GPT-J、Pythia-6.9B 与 Llama3.1-8B 如何计算加法，发现这些模型把数字表示为广义螺旋，并以 Clock 算法旋转 a、b 的螺旋得到 a+b 的结果螺旋。

Why it was selected论文用激活修补、路径修补与神经元拟合，给出 LLM 计算加法的表示层面解释，可作为研究其他算术能力的可迁移方法。

Defense Against the Dark Prompts：用提示词评估缓解 Best-of-N 越狱(original, opens in a new tab)

提出 DATDP，用评估 LLM 拦截 Best-of-N 文本越狱。

用低秩适配微调语言模型来改进稀疏自编码器(original, opens in a new tab)

论文提出用低秩适配（LoRA）微调语言模型本身，来适配已训练好的稀疏自编码器（SAE），而不是只做事后 SAE 训练。

DeepMind 试验用 BIDPO 转向向量引导 Gemini(original, opens in a new tab)

Google DeepMind 尝试用 BIDPO 训练的转向向量引导 Gemini 1.5v1 Flash 和 Pro，TruthfulQA 多选题得分提升逾 10%，且大部分能力得以保留。该方法基于 256 道 TruthfulQA 题训练向量，最大化正确答案与错误答案之间的 logit 差异，HaluEval 部分切分上的表现从 25% 升至 56%。但在更新到 Gemini 1.5v2 后，基于提示词的基线显著增强，BIDPO 未能超越更强基线，该项目因此终止。

用自然语言部分重写 Transformer(original, opens in a new tab)

论文尝试用自然语言解释部分重写大语言模型。

Transcoder 在可解释性上优于稀疏自编码器(original, opens in a new tab)

比较 skip transcoder 与 SAE 在 MLP 上的可解释性。

上下文线性回归 Transformer 中的瞬态结构动力学(original, opens in a new tab)

Transformer 在中等任务多样性的上下文线性回归任务上训练时，会先表现得像岭回归，再特化到训练分布内的任务，作者称之为瞬态岭（transient ridge）。

渐进式失权：AI 增量发展带来的系统性生存风险(original, opens in a new tab)

论文提出渐进式失权概念，认为 AI 能力的增量提升会逐步削弱人类对经济、文化、国家等社会系统的影响力，与常见的突然夺权叙事相对。

在同一数据上训练的稀疏自编码器学到不同特征(original, opens in a new tab)

比较同数据仅种子不同的 SAE 是否学到相同特征。

Why it was selected论文用匈牙利算法对齐不同随机种子训练的 SAE 并量化特征重合比例，为判断可解释性工具结果的可复现性提供了具体方法。

Researchers propose a jailbreak attack method that extracts the safety classifier of an aligned LLM(original, opens in a new tab)

They propose a jailbreak method that extracts the embedded safety classifier of aligned LLMs and attacks its proxy.