HyperDAS：迈向用超网络自动实现机制可解释性（原文，在新标签页打开）
HyperDAS 是一种基于 Transformer 的超网络架构，可自动定位概念在残差流中实现的 token 位置，并为这些残差流向量构造特征，从而免去 DAS 对特征位置的暴力搜索。
#arXiv
今天新收录 64条今天新收录 64条
#arXiv
今天新收录 64条
2025年3月14日周五
星期五
arXiv · 收录 · 原文 论文
2025年3月13日周四
星期四
arXiv · 收录 · 原文 论文精选关注度5353 SAEBench：面向语言模型可解释性的稀疏自编码器综合基准（原文，在新标签页打开）
提出 SAEBench，系统评测稀疏自编码器的可解释性与特征解耦。
2025年3月8日周六
星期六
论文追踪 · 收录 · 原文 论文关注度4646 RedDiffuser：用强化扩散生成视觉输入审计 VLM 多模态安全失效（原文，在新标签页打开）
提出 RedDiff，用强化扩散生成图像审计 VLM 情境安全失效。
2025年3月7日周五
星期五
论文追踪 · 收录 · 原文 论文关注度5252 SafeArena：首个评估自主网页 Agent 滥用风险的基准（原文，在新标签页打开）
提出 SafeArena 基准，评测网页 Agent 是否执行故意有害任务。
2025年3月5日周三
星期三
arXiv · 收录 · 原文 论文关注度4242 教 AI 处理例外情形：与人类判断对齐的监督微调（原文，在新标签页打开）
论文发现，大语言模型在处理例外情形时，即便推理能力较强，也会因严格遵守规则而明显偏离人类判断。
2025年3月4日周二
星期二
论文追踪 · 收录 · 原文 论文关注度3939 研究者用微调大语言模型越狱带安全护栏的文生图模型（原文，在新标签页打开）
提出 PromptTune，微调 LLM 改写提示以越狱文生图护栏。
2025年3月2日周日
星期日
arXiv · 收录 · 原文 论文关注度2929 AI 能否建模人类道德决策的复杂性？一项关于肾脏分配决策的定性研究（原文，在新标签页打开）
通过访谈评估简单计算模型能否对齐肾脏分配道德决策。
2025年3月1日周六
星期六
arXiv · 收录 · 原文 论文关注度4141 在稀疏空间中引导大语言模型的激活（原文，在新标签页打开）
论文提出稀疏激活引导（SAS），用稀疏自编码器（SAE）在稀疏空间中引导大语言模型的行为。
arXiv · 收录 · 原文 论文关注度3636 为可扩展监督建模人类对 AI 行为的信念（原文，在新标签页打开）
形式化人类信念模型，从可能错误的反馈确定轨迹回报。
2025年2月27日周四
星期四
arXiv · 收录 · 原文 论文关注度4343 稀疏自编码器能否泛化？一项关于可回答性的案例研究（原文，在新标签页打开）
2025年2月25日周二
星期二
arXiv · 收录 · 原文 论文精选关注度6262 涌现性失准：窄任务微调可让大语言模型广泛失准（原文，在新标签页打开）
推荐理由论文用三类对照模型把窄任务微调引发的广泛失准同越狱区分开，并展示后门触发下的隐藏失准。
2025年2月24日周一
星期一
arXiv · 收录 · 原文 论文精选关注度5454 预测罕见的大语言模型行为（原文，在新标签页打开）
研究者提出用评估查询的 elicitation probability 及其极值尾部（Gumbel）幂律关系，从更小规模的评测预测只有在大规模部署时才会出现的罕见模型行为，最多可跨三个数量级的查询量。
推荐理由论文提出的引出概率与 Gumbel 尾部外推方法，可用于从小规模评测预估部署规模才会出现的罕见风险。
arXiv · 收录 · 原文 论文关注度5151 稀疏自编码器有用吗？稀疏探针案例研究（原文，在新标签页打开）
arXiv 论文测试了稀疏自编码器（SAE）能否在 LLM 激活探针这一真实任务上超过现有基线。
2025年2月21日周五
星期五
arXiv · 收录 · 原文 论文关注度4141 预测前沿语言模型 Agent 的能力（原文，在新标签页打开）
用发布日期经 Elo 外推预测前沿 Agent 能力阈值。
2025年2月20日周四
星期四
arXiv · 收录 · 原文 论文关注度4545 在不可逆动态下通过求助实现安全学习（原文，在新标签页打开）
Benjamin Plaut 等人的论文提出让学习智能体向导师求助、并在相似状态之间迁移知识，从而在不可逆动态环境中兼顾安全与效率。
arXiv · 收录 · 原文 论文关注度4141 大语言模型如何在上下文中完成两跳推理？（原文，在新标签页打开）
预训练大语言模型在存在干扰项时会在简单的两跳推理任务上失败，往往在所有看似合理的结论中随机猜测。
2025年2月19日周三
星期三
arXiv · 收录 · 原文 论文关注度4141 哪些注意力头对上下文学习更关键？（原文，在新标签页打开）
研究还发现两类注意力头彼此关联：训练中不少 FV head 起初表现为 induction head，之后才转向 FV 机制。
2025年2月17日周一
星期一
arXiv · 收录 · 原文 论文关注度2929 基于生成式奖励模型的不确定性感知逐步验证（原文，在新标签页打开）
提出 CoT Entropy，量化数学逐步验证的不确定性。
2025年2月13日周四
星期四
arXiv · 收录 · 原文 论文精选关注度6060 效用工程：分析与控制 AI 中涌现的价值系统（原文，在新标签页打开）
2025年2月11日周二
星期二
arXiv · 收录 · 原文 论文关注度4848 大语言模型拟人化行为的多轮评估（原文，在新标签页打开）
提出 AnthroBench 评测多轮对话中 LLM 的拟人化行为。
2025年2月7日周五
星期五
arXiv · 收录 · 原文 论文精选关注度5656 稀疏自编码器找不到标准的分析单元（原文，在新标签页打开）
论文提出 SAE stitching 与 meta-SAE 两种方法，论证稀疏自编码器（SAE）无法找到一套标准的分析单元。
推荐理由论文用 SAE stitching 与 meta-SAE 两种方法，对 SAE 能发现标准分析单元这一假设提出质疑，并建议按任务选择字典宽度。
arXiv · 收录 · 原文 论文关注度4141 通过递归自我批评实现超人类 AI 的可扩展监督（原文，在新标签页打开）
论文提出用递归自我批评为超人类 AI 提供可扩展监督，并围绕两个假设开展了人-人、人-AI 与 AI-AI 实验。
2025年2月4日周二
星期二
arXiv · 收录 · 原文 论文关注度4141 立场：面向 LLM 的对抗机器学习没有取得进展（原文，在新标签页打开）
Javier Rando、Jie Zhang、Nicholas Carlini 与 Florian Tramèr 在立场论文中认为，大语言模型时代的对抗机器学习研究没有取得实质进展。
arXiv · 收录 · 原文 论文精选关注度5353 激发游戏：评估能力激发技术（原文，在新标签页打开）
论文提出一种把密码锁定与电路中断结合的模型生物，用来评估能力激发技术的有效性。作者先以密码锁定训练带隐藏能力的模型生物，再叠加电路中断，使其比标准密码锁定模型更难被激发。
推荐理由论文比较提示、激活引导与微调三类能力激发方法，为担心模型藏拙的评估者指出微调是更可靠的激发手段。
arXiv · 收录 · 原文 论文关注度4141 受约束的信念更新解释 Transformer 表示中的几何结构（原文，在新标签页打开）
论文提出证据表明，Transformer 实现的是受约束的贝叶斯信念更新，即部分贝叶斯推理的并行化版本，受架构约束塑造。
arXiv · 收录 · 原文 论文关注度3939 通过分布鲁棒直接偏好优化实现稳健的 LLM 对齐（原文，在新标签页打开）
提出 WDPO 与 KLDPO，使 DPO 对齐对偏好分布偏移更稳健。
arXiv · 收录 · 原文 论文精选关注度5555 模型篡改攻击使 LLM 能力评测更为严格（原文，在新标签页打开）
用模型篡改攻击评测遗忘与拒答模型的能力抑制鲁棒性。
推荐理由论文把权重与激活层的篡改攻击同输入空间攻击并列评测，指出单靠输入评测只能给出模型最差行为的下界。
arXiv · 收录 · 原文 论文关注度3737 调和损失训练出可解释的 AI 模型（原文，在新标签页打开）
论文提出调和损失（harmonic loss）作为训练神经网络和大语言模型的替代监督信号，其与标准交叉熵的区别在于用尺度不变的 HarMax 函数替代 SoftMax 归一化，并以欧氏距离而非点积计算 logits。
2025年2月3日周一
星期一
arXiv · 收录 · 原文 论文关注度4141 将 MLP 转换为闭式多项式（原文，在新标签页打开）
研究者给出把前馈网络（多层感知机与门控线性单元 GLU）近似为任意次数多项式的闭式最小二乘最优解推导。
arXiv · 收录 · 原文 论文关注度4646 眨眼之间：生成模型特征局部化的一个简单理论（原文，在新标签页打开）
arXiv 论文提出一套统一理论，用随机局部化采样器的形式化框架解释生成模型为何会在生成过程中突然改变行为，认为这源于生成过程局部化到其所建模分布的一个子群体。
arXiv · 收录 · 原文 论文精选关注度5656 大语言模型用三角函数做加法（原文，在新标签页打开）
MIT 研究者用机制可解释性方法逆向分析了 GPT-J、Pythia-6.9B 与 Llama3.1-8B 如何计算加法，发现这些模型把数字表示为广义螺旋，并以 Clock 算法旋转 a、b 的螺旋得到 a+b 的结果螺旋。
推荐理由论文用激活修补、路径修补与神经元拟合，给出 LLM 计算加法的表示层面解释，可作为研究其他算术能力的可迁移方法。
2025年2月2日周日
星期日
arXiv · 收录 · 原文 论文关注度3838 Defense Against the Dark Prompts：用提示词评估缓解 Best-of-N 越狱（原文，在新标签页打开）
提出 DATDP，用评估 LLM 拦截 Best-of-N 文本越狱。
2025年2月1日周六
星期六
arXiv · 收录 · 原文 论文关注度4141 用低秩适配微调语言模型来改进稀疏自编码器（原文，在新标签页打开）
论文提出用低秩适配（LoRA）微调语言模型本身，来适配已训练好的稀疏自编码器（SAE），而不是只做事后 SAE 训练。
2025年1月31日周五
星期五
DeepMind Safety Research · 收录 · 原文 新闻关注度3131 DeepMind 试验用 BIDPO 转向向量引导 Gemini（原文，在新标签页打开）
Google DeepMind 尝试用 BIDPO 训练的转向向量引导 Gemini 1.5v1 Flash 和 Pro，TruthfulQA 多选题得分提升逾 10%，且大部分能力得以保留。该方法基于 256 道 TruthfulQA 题训练向量，最大化正确答案与错误答案之间的 logit 差异，HaluEval 部分切分上的表现从 25% 升至 56%。但在更新到 Gemini 1.5v2 后，基于提示词的基线显著增强，BIDPO 未能超越更强基线，该项目因此终止。
arXiv · 收录 · 原文 论文关注度4848 用自然语言部分重写 Transformer（原文，在新标签页打开）
论文尝试用自然语言解释部分重写大语言模型。
arXiv · 收录 · 原文 论文关注度4848 Transcoder 在可解释性上优于稀疏自编码器（原文，在新标签页打开）
比较 skip transcoder 与 SAE 在 MLP 上的可解释性。
2025年1月30日周四
星期四
arXiv · 收录 · 原文 论文关注度3232 上下文线性回归 Transformer 中的瞬态结构动力学（原文，在新标签页打开）
Transformer 在中等任务多样性的上下文线性回归任务上训练时，会先表现得像岭回归，再特化到训练分布内的任务，作者称之为瞬态岭（transient ridge）。
2025年1月28日周二
星期二
arXiv · 收录 · 原文 论文关注度4545 渐进式失权：AI 增量发展带来的系统性生存风险（原文，在新标签页打开）
论文提出渐进式失权概念，认为 AI 能力的增量提升会逐步削弱人类对经济、文化、国家等社会系统的影响力，与常见的突然夺权叙事相对。
arXiv · 收录 · 原文 论文精选关注度5656 在同一数据上训练的稀疏自编码器学到不同特征（原文，在新标签页打开）
比较同数据仅种子不同的 SAE 是否学到相同特征。
推荐理由论文用匈牙利算法对齐不同随机种子训练的 SAE 并量化特征重合比例，为判断可解释性工具结果的可复现性提供了具体方法。
论文追踪 · 收录 · 原文 论文关注度5252 研究者提出提取对齐 LLM 安全分类器的越狱攻击方法（原文，在新标签页打开）
提出提取对齐 LLM 内嵌安全分类器并攻击其代理的越狱方法。