机制可解释性的开放问题（原文，在新标签页打开）
一篇前瞻性综述讨论了机制可解释性的当前前沿，并梳理该领域可优先关注的开放问题。
#arXiv
今天新收录 64条今天新收录 64条
#arXiv
今天新收录 64条
2025年1月28日周二
星期二
arXiv · 收录 · 原文 论文
2025年1月27日周一
星期一
arXiv · 收录 · 原文 论文关注度3434 人工智能中的命题式可解释性（原文，在新标签页打开）
作者分析机制可解释性研究纲领，主张「命题式可解释性」——用信念、欲望、主观概率等命题态度来解释 AI 系统的机制与行为。
Transformer Circuits · 收录 · 原文 新闻关注度1515 Anthropic Circuits Updates 2025 年 1 月：稀疏自编码器与 crosscoder 训练优化（原文，在新标签页打开）
Anthropic 可解释性团队公开了其训练稀疏自编码器和 crosscoder 的最新设置改进，涵盖 JumpReLU 激活函数实现、直通估计器的梯度回传方式以及减少死特征的方法。 该设置在损失函数中引入 tanh 惩罚项鼓励稀疏性，并新增一项对未激活特征的轻微惩罚（pre-act loss）；同时将偏置初始化设定为使每个特征约有 10000/m 的时间处于激活状态，并将解码器权重列归一化为 L2 范数 1 以便简化分析代码。 团队表示尚未对所有设计选择做完整消融实验，仅将其作为外部研究者训练稀疏自编码器的起点参考，且部分思路仍在发展中，预计未来数月会发表更多成果。
2025年1月25日周六
星期六
arXiv · 收录 · 原文 论文关注度4242 参数空间中的可解释性：用基于归因的参数分解最小化机制描述长度（原文，在新标签页打开）
提出 APD，把网络参数分解成描述更短的机制分量。
2025年1月23日周四
星期四
论文追踪 · 收录 · 原文 论文关注度4747 Jailbreak-AudioBench：面向大型音频语言模型的越狱评测基准（原文，在新标签页打开）
提出 Jailbreak-AudioBench 评测音频语言模型的音频编辑越狱。
arXiv · 收录 · 原文 论文关注度4848 MONA：短视优化配合非短视批准可缓解多步奖励作弊（原文，在新标签页打开）
提出 MONA 训练目标，缓解强化学习中的多步奖励作弊。
2025年1月15日周三
星期三
arXiv · 收录 · 原文 论文关注度5050 RLHS：用事后模拟缓解 RLHF 中的失准（原文，在新标签页打开）
提出 RLHS，用事后模拟收集偏好并微调以缓解 RLHF 失准。
arXiv · 收录 · 原文 论文关注度4646 用输出为中心的特征描述增强自动化可解释性（原文，在新标签页打开）
以色列特拉维夫大学等机构的研究者提出以输出为中心的方法，为 LLM 中特征自动生成自然语言描述。
2025年1月11日周六
星期六
arXiv · 收录 · 原文 论文关注度3939 大语言模型在类型学多样的语言间共享潜在语法概念的表示（原文，在新标签页打开）
论文在 Llama-3-8B 和 Aya-23-8B 上训练稀疏自编码器，发现语法数、性别、时态等抽象语法概念常被编码在许多语言共享的特征方向上。
2025年1月3日周五
星期五
arXiv · 收录 · 原文 论文关注度4646 通过追问查询预测黑盒大语言模型的性能（原文，在新标签页打开）
一篇 arXiv 论文提出通过向黑盒大语言模型提出追问、把回答的概率当作表征来训练线性预测器，以预测模型行为。
2024年12月26日周四
星期四
arXiv · 收录 · 原文 论文关注度2828 一种关于恰当性的理论及其在生成式 AI 中的应用（原文，在新标签页打开）
arXiv 一篇论文提出“恰当性”理论，主张生成式 AI 的恰当行为随情境而变，喜剧写作助手与客服代表适用的标准并不相同。
2024年12月23日周一
星期一
arXiv · 收录 · 原文 论文关注度3737 面向前沿 AI 的动态安全案例（原文，在新标签页打开）
提出 DSCMS，用 CSA 与 SPI 半自动更新前沿 AI 安全论证。
2024年12月19日周四
星期四
arXiv · 收录 · 原文 论文关注度3737 刻画基于模拟的程序均衡（原文，在新标签页打开）
在程序均衡中，博弈各方提交程序代替自己行动，程序可读取对方源码并输出动作，可用于建模 AI 智能体互动、相互透明的机构或承诺。
2024年12月17日周二
星期二
arXiv · 收录 · 原文 论文精选关注度5454 Subversion Strategy Eval：语言模型能否在无状态下制定策略破坏控制协议？（原文，在新标签页打开）
评测语言模型能否无状态制定策略以颠覆控制协议。
推荐理由作者用八个无状态场景测量模型能否自行制定破坏控制协议的计划，并开源了基于 Inspect-AI 的评测套件。
2024年12月12日周四
星期四
arXiv · 收录 · 原文 论文关注度4646 神经交互证明（原文，在新标签页打开）
论文提出神经交互证明，研究计算能力受限的可信验证者如何与一个或多个强大但不可信的证明者交互来完成任务。
2024年12月9日周一
星期一
arXiv · 收录 · 原文 论文关注度4141 BatchTopK 稀疏自编码器（原文，在新标签页打开）
研究者提出 BatchTopK 稀疏自编码器训练方法，把 TopK 固定的 top-k 约束放宽到批次级，使每个样本可激活数量不同的特征。
2024年12月6日周五
星期五
arXiv · 收录 · 原文 论文精选关注度6464 前沿模型具备上下文内谋划能力（原文，在新标签页打开）
评测 Agent 在上下文目标下的隐蔽谋划能力。
arXiv · 收录 · 原文 论文关注度5252 Transformer 难以学会搜索（原文，在新标签页打开）
分析 Transformer 在无捷径 DAG 上学习搜索的困难。
arXiv · 收录 · 原文 论文关注度4747 预训练中习得的抽取式结构让模型泛化微调事实（原文，在新标签页打开）
提出抽取结构，解释微调事实后的两跳蕴含泛化。
2024年11月28日周四
星期四
arXiv · 收录 · 原文 论文关注度4040 在定向概念擦除任务上评估稀疏自编码器（原文，在新标签页打开）
论文提出基于 SHIFT 的自动化评估指标和 Targeted Probe Perturbation（TPP）指标，用于衡量稀疏自编码器（SAE）在定向概念擦除任务上的质量。
2024年11月23日周六
星期六
arXiv · 收录 · 原文 论文精选关注度6161 RE-Bench：对照人类专家评估语言模型 Agent 的前沿 AI 研发能力（原文，在新标签页打开）
提出 RE-Bench，对照人类专家评测 Agent 的 AI 研发能力。
2024年11月20日周三
星期三
arXiv · 收录 · 原文 论文关注度2323 与大语言模型的存在性对话：内容、社群与文化（原文，在新标签页打开）
用民族志分析存在论对话的语汇来源与社会影响。
2024年11月12日周二
星期二
arXiv · 收录 · 原文 论文关注度3232 在上下文学习任务上比较自下而上与自上而下的引导方法（原文，在新标签页打开）
对比自下而上与自上而下的向量引导在 ICL 任务上的效果。
2024年11月4日周一
星期一
arXiv · 收录 · 原文 论文关注度4242 通过针对 SAE 特征改进 Steering Vector（原文，在新标签页打开）
提出 SAE-TS，对准 SAE 特征改进引导向量并抑制副作用。
2024年11月2日周六
星期六
arXiv · 收录 · 原文 论文关注度3232 MFR 正则化提升稀疏自编码器可解释性，GPT-2 Small 重建损失最多改善 21.21%（原文，在新标签页打开）
提出互特征正则，约束并行 SAE 学习与输入对齐的特征。
2024年10月30日周三
星期三
FAR.AI · 收录 · 原文 新闻精选关注度5656 FAR.AI 披露 jailbreak-tuning 数据投毒攻击：GPT-4o 拒答率降至 3.6%（原文，在新标签页打开）
FAR.AI 提出一种名为 jailbreak-tuning 的数据投毒攻击，将越狱指令混入微调数据，使 GPT-4o 的拒答率降至 3.6%，作者称其绕过了研究中测试的防护措施。研究通过 OpenAI 微调 API 测试 GPT-4o、GPT-4o mini、GPT-4 和 GPT-3.5，另测试 8 个开源模型系列的 23 个模型（1.5B 至 72B 参数）；开源模型用 QLoRA 在 0% 至 2% 的投毒率下微调 5 个 epoch。结果显示模型规模越大越易学到有害行为，但 Gemma 2 系列呈反向缩放趋势，规模越大反而越不易受投毒。作者认为 jailbreak-tuning 比普通微调更易学、所需数据更少，应成为模型部署前安全测试的标准环节。
推荐理由FAR.AI 提出 jailbreak-tuning 投毒范式，并给出 23 个模型上规模越大越易受投毒的量化趋势，可供做微调安全测试的团队参考。
2024年10月11日周五
星期五
论文追踪 · 收录 · 原文 论文精选关注度5959 Scale AI 与 CMU 发布 BrowserART：拒答训练的大模型作为浏览器 Agent 极易被越狱（原文，在新标签页打开）
Scale AI 与卡内基梅隆大学等机构的研究者提出 BrowserART，评测拒答训练在浏览器 Agent 上的泛化。
推荐理由论文给出浏览器 Agent 与底层模型在拒答上的具体差距，并公开了可复用的红队测试集，适合评估 Agent 部署风险。
2024年10月9日周三
星期三
论文追踪 · 收录 · 原文 论文关注度5252 ST-WebAgentBench：评估 Web Agent 安全与可信度的基准（原文，在新标签页打开）
构建评测 Web Agent 安全与策略遵守的基准 ST-WebAgentBench。
2024年10月8日周二
星期二
arXiv · 收录 · 原文 论文关注度4444 重新思考奖励模型评估：我们是否找错了方向？（原文，在新标签页打开）
一篇 arXiv 论文在合成设置中考察奖励模型（RM）准确率与下游策略表现之间的关系，发现二者仅呈弱正相关。
2024年10月3日周四
星期四
arXiv · 收录 · 原文 论文关注度2525 以数据为中心的 AI 对齐：挑战与未来方向（原文，在新标签页打开）
主张转向数据中心对齐，并归纳人类反馈的失准来源。
2024年10月2日周三
星期三
arXiv · 收录 · 原文 论文关注度3939 LLM 智能体的道德对齐（原文，在新标签页打开）
用内在道德奖励微调 LLM 智能体在矩阵博弈中的决策。
2024年10月1日周二
星期二
Transformer Circuits · 收录 · 原文 新闻关注度3535 Anthropic 可解释性团队九月更新：后继头与 SAE 过采样（原文，在新标签页打开）
Anthropic 可解释性团队报告称，他们在一个 18 层模型中复现并分析了实现序数序列递推的后继头（successor heads）。研究者通过权重检查中的 OV 电路发现最高分后继头能将约 80% 的序数 token 映射到其后继项，第二名的该比例为约 60%，且错误呈块状结构分布在与输入同类的其他序数 token 上。他们还借助独立成分分析寻找跨注意力头的共同模式，得到一个近似实现递进的组件，并在相关类别间存在一定串扰。
2024年9月30日周一
星期一
arXiv · 收录 · 原文 论文关注度5252 通过拒绝特征对抗训练提升 LLM 防护稳健性（原文，在新标签页打开）
提出 ReFAT，在安全微调中消融拒绝特征以模拟越狱攻击。
2024年9月20日周五
星期五
arXiv · 收录 · 原文 论文关注度5050 PlanBench 评测：o1 规划能力大幅提升但仍未饱和（原文，在新标签页打开）
用 PlanBench 评测推理模型能否完成规划。
2024年8月30日周五
星期五
arXiv · 收录 · 原文 论文关注度4040 超越 AI 对齐中的偏好取向（原文，在新标签页打开）
作者将这一取向称为偏好主义，指出理性选择理论作为描述模型存在局限，偏好难以承载人类价值的厚语义内容，效用表示也忽视价值的不可通约性。
Yoshua Bengio · 收录 · 原文 新闻关注度4343 Bengio 团队提出用贝叶斯上界为 AI 行为构建护栏（原文，在新标签页打开）
Yoshua Bengio 与合著者在 arXiv 论文中提出，通过估计上下文相关的安全违规概率上界，为 AI 的危险动作提供运行时护栏。作者认为现有安全评测与基准只是抽查，检测不到问题不代表 AI 安全，且模型可能识别出自己正在被测试而临时表现良好。论文的核心结果是在真实但未知的假设下推导安全违规概率的界，方法涉及在贝叶斯后验上搜索谨慎但合理的假设，并假设先验足够宽，分别讨论了 iid 与非 iid 两种情形。作者在可精确进行贝叶斯计算的玩具设定上做了实验模拟，结果与理论一致。
2024年8月1日周四
星期四
arXiv · 收录 · 原文 论文关注度1515 Llama 3 模型群：405B 稠密 Transformer 与 Llama Guard 3 安全模型（原文，在新标签页打开）
阐述旗舰基础模型的预训练与后训练方法并公开权重与安全模型。
2024年6月28日周五
星期五
Transformer Circuits · 收录 · 原文 新闻精选关注度4343 Anthropic 可解释性团队 2024 年 6 月更新：TopK 与 Gated SAE 对比及外部评测进展（原文，在新标签页打开）
Anthropic 可解释性团队发布 2024 年 6 月更新，汇总多项尚在成形的研究想法。团队复现了 TopK SAE 与 Gated SAE 相对标准 L1 惩罚 SAE 的改进，确认二者在 L0/MSE 权衡上表现相近且明显更优，但训练优化程度低于标准 SAE。在 100 个特征的盲评中，不同方法在单义性上未见明显差异；高密度特征在低 L0 下不构成病理问题，但在 K=100 时出现大量难以解释的高密度特征。Clerp 自动评测显示 Gated SAE 与 K=20 TopK SAE 的得分与 L1=10 标准 SAE 相当。
推荐理由Anthropic 可解释性团队汇总 SAE 训练方法的复现结果与外部评测进展，适合跟进稀疏自编码器路线的人了解当前共识与未解问题。
2024年6月19日周三
星期三
论文追踪 · 收录 · 原文 论文精选关注度6060 论文提出 ARE 框架，在 VisualWebArena 上评估多模态 Agent 的对抗鲁棒性（原文，在新标签页打开）
提出 ARE 框架与图像文本攻击，评测多模态网页 Agent 的对抗鲁棒性。
2024年6月12日周三
星期三
arXiv · 收录 · 原文 论文关注度4040 设计用于对话式 AI 透明度与控制的仪表盘（原文，在新标签页打开）
设计 TalkTuner 仪表盘，读出并干预对话模型对用户属性的内部表征。