全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态ARC
ARC 发布 AlgZoo：参数量不足 1500 的未完全理解模型
ARC 公开了 AlgZoo，一组训练执行算法任务的 RNN 和 Transformer，参数量从 8 到 1408 不等，用于检验机制可解释性中追求完全理解的研究路线。ARC 认为目前能基本完全理解的最大模型只有 32 个参数，而对 432 参数的模型投入大量精力后仍未完全理解。文章提出把解释定义为对模型损失的机制性估计，并用两种方式评估：一是均方误差随计算量的变化，二是 surprise accounting，后者给出完全理解的定义，即总惊讶比特数不超过选择该模型所用的优化比特数。ARC 据此提出挑战：设计一种方法，在均方误差随计算量这一指标上对 M_{16,10} 的准确率做出与随机采样相当的机制性估计。
- 动态ARC
ARC 提出宽随机 MLP 的机制估计方法，无需运行模型即可估计输出
ARC 发布论文《Estimating the expected output of wide random MLPs more efficiently than sampling》，研究如何在不运行模型的情况下估计随机初始化 MLP 在高斯输入下的期望输出。传统做法是采样大量输入取平均，而该工作直接从权重中机制性地读出估计值。对宽模型，其最佳算法均方误差为 O(ε²)、运行时间为 O(n/ε²)，比蒙特卡洛采样的 Θ(n²/ε²) 快一个 n 倍因子，但随深度的扩展性更差。在 4 个隐藏层、宽度 256 的 ReLU MLP 上，该算法在跨越 7 个数量级的 FLOP 预算下优于采样，某些情况下达到相同均方误差所需 FLOP 不到采样的 1/100。该方法在分布尾部表现更突出，在概率低于 1/N 时仍能实现低于 30% 的相对误差。
- 动态ARC
ARC 提出随机乘积期望的机制估计方法
Alignment Research Center（ARC）开发了一套较通用的机制估计方法，通过将问题表达为随机乘积的期望来逼近采样效果，覆盖随机半空间交集、随机 #3-SAT 和随机 permanent 等问题。该方法基于匹配采样原理中无参数 θ 的一类特殊架构，此时无需提供结构性的 explanation π，类似随机初始化网络而非训练后的网络。其核心技术是演绎—投影估计器：交替执行精确推进一步计算的"演绎"步骤与简化计算状态、避免复杂度指数爆炸的"投影"步骤，例如宽随机 MLP 中的累积量传播算法即在层间精确推导激活累积量并丢弃代价过高的项。 #### 要点： - 研究对象限定于匹配采样原理中没有学习参数或最坏情况参数的实例，仅含捕获在 context 变量 c 中的随机参数。 - 该工作定位为阶段性技术更新，motivation 从简，完整讨论参见此前发布的博客。
- 动态ARC
ARC 联合 AIcrowd 发起白盒估计挑战赛
ARC 与非营利组织 AIcrowd 合作启动 ARC White-Box Estimation Challenge，面向随机初始化的宽 MLP 征集能降低期望输出均方误差的白盒估计算法。热身轮于本周开始，后续轮次总奖池至少 $100,000，固定宽度 n=256、隐藏层数 L=8，并配套设计了一套 FLOP 计数方案以减少高度优化数值内核带来的优势。比赛允许参赛者自由选择白盒或黑盒方法并使用 LLM 辅助提交，最终目标是推动可用于高智能 AI 系统内部结构探测的方法进步。
- 动态ARC
ARC 研究员视角下的 ARC 对齐研究议程
ARC 研究人员公开阐述其强大 AI 对齐流水线：通过监控训练过程中加入模型的内部结构，将其转化为建议来改进基于匹配采样原理（Matching Sampling Principle，MSP）的机制估计器，再用该估计器和输入分布描述估算灾难性失败概率并据此前向优化模型。相比黑盒评估的关键优势在于无需等待模型中真的出现哪怕一次灾难行为即可推断稀有不可接受行为的可能频率。所需要素包括宽范围的机制估计器、将权重中新增结构转为改进建议的工具、处理仅由大量隐式定义的现实世界分布的方法以及数学良定义的对齐目标函数，可选配机制异常检测来判断模型输出是否出于正确理由。 #### 要点： - MSP 主张：任意架构与精度下都存在至少匹敌随机实例采样的机制估计器。 - 已有成果之一是对多层感知机权重的算法，可在加性误差 ε 内近似期望损失且比蒙特卡洛更高效。
- 论文arXiv
MCIR：面向特征依赖的可解释性方法与可靠性保证
针对强相关或冗余特征导致 SHAP、LIME、HSIC、MI/CMI、SAGE 等方法在多共线性下排名不稳的问题，研究者提出全局特征重要性方法 MCIR-M，其核心指标互相关影响比（MCIR）将每个特征条件于强依赖邻居并计算归一化比值，取值落在 [0,1]，精确条件冗余时为 0。该方法还引入轻量估计流程，仅用部分数据即可近似完整数据的解释结果。在合成冗余实验与 UCI HAR 基准上，MCIR 展现出依赖感知的排序行为，优势最明显的是注入近重复预测变量的场景；但与独立及条件 SHAP、SAGE、HSIC、MI 类评分以及 CIR 系基线的对比在不同评价标准下有优有劣。
- 论文arXiv：可解释性
从孤立特征到轨道：通过多重 SAE 对齐发现音乐概念
研究者提出一套基于结构的分析方法，将音高移调作为归纳偏置，通过对齐多个视角下的稀疏自编码器（SAE）表征来诱导有序轨道，从而发现结构化的音高相关特征组。该方法在两个最先进的音乐基础模型中成功恢复出和弦、调和旋律模式对应的轨道结构，且仅需少量锚点示例即可解读整个概念家族，表明音乐概念的内部表示更适合理解为结构化关系而非孤立特征。
- 论文arXiv：可解释性
研究揭示机制可解释性中的目标层恢复缺口
论文指出，机制可解释性中常用的干预式忠实度指标可能偏好一个同等规模但行为复现更差的电路，形成目标层恢复缺口。作者在四个人类参考任务和 InterpBench 上，将验证忠实度与固定普通重采样下留出提示词上的行为表现对比，行为标准为与完整模型一致（包括其错误），Greater-Than 任务改用语义准确率。受控参考编辑在没有任何发现算法的情况下即可暴露错误排序，EAP、EAP-IG、ACDC 和 Edge-SP 的输出也出现同样失败；在重采样下，KL 在人类参考任务上对 9.4%-41.2% 的候选对排序错误。作者用上下文失真解释这一现象：替换被排除的信号会改变保留组件所处理的输入；从接收方完整模型执行中恢复选定信号，可在验证和留出提示词上修复发现池中 100 个持续 KL 错误排序中的 96 个，而电路及其原始行为分数保持不变。
- 论文arXiv：可解释性
研究者提出非线性概念流形发现与对齐方法，用于分析大语言模型内部表示
研究者将计算机视觉中的非线性多维概念发现（NLMCD）方法迁移到 token 级 LLM 激活上，把概念建模为低维流形，并提出基于概念的对齐（CBA）分数，用广义 Rand 指数衡量几何接近度而无需显式特征匹配。分析得到六项发现：CBA 在相邻层检验中比基于 PCA 或 CKA 的线性基线更敏感；逐层对齐矩阵在中间层和后期层呈现两个块结构，且被线性指标掩盖；概念组成在网络大部分层由句法主导，后期层逐渐转向句法与语义混合并更面向输出；英语与中文的多语言概念共享依赖训练，在 Qwen 中最强、Llama 较弱、GPT-2 中不存在；同族不同规模的 Qwen 模型对齐较强，跨模型族对齐较弱；在 Tulu-3 各训练阶段中相邻阶段对齐最高，基座模型与 SFT 之间变化最大，DPO 与 RLVR 等偏好对齐阶段基本不改变早期层，RLVR 在后期层大多保留 DPO 的概念。
- 论文arXiv：可解释性
Kernelized Activation Steering：将激活引导推广到再生核希尔伯特空间的新框架
研究者提出 Kernelized Activation Steering（KAS），把激活引导建模为纯由核函数求值的优化问题，无需构造显式特征映射即可产生依赖当前激活的隐式引导得分，实现随表示空间中源集与目标集相对位置自适应调整的非线性引导场。Difference-in-Means（DiM）在线性核下成为其特例，更丰富的核可实现几何感知干预。在大语言模型越狱与图像风格控制等标准激活引导任务中，KAS 表现优于或不逊于现有方法。
- 论文arXiv：可解释性
DiDAE：面向视觉基础模型的快速解耦反事实解释方法
针对基础模型易受虚假相关性和“Clever Hans”策略影响的问题，研究者提出解耦扩散自动编码器（Disentangled Diffusion Autoencoders，DiDAE）。该方法将冻结的基础模型包裹在条件扩散解码器中，通过沿解耦字典方向做闭式编辑并解码来生成反事实，无需梯度计算，速度最高可达当前最优方法的 2000 倍。在六个数据集上的实验表明其反事实质量相当或优于现有方法，并能借助 CFKD 修复下游分类器，效果超过基于元数据的校正方案。
- 动态FAR.AI
FAR.AI 提出对抗脆弱性可能让主流对齐方案失效
FAR.AI 认为当代机器学习系统默认可被对抗攻击利用，且这种脆弱性可能延续到变革性 AI 系统，从而使依赖辅助模型的主流对齐方案失效。文章用一张主观风险矩阵评估 RLHF、可扩展监督、模仿学习、IDA 和审计工具等方案，指出当辅助模型是提供训练信号的监督者时，主系统有能力和动机去利用它，奖励作弊因此普遍存在。作者估计对抗鲁棒性在变革性 AI 之前解决的概率为 20%，之后解决为 45%，永不解决为 35%，并援引 KataGo 对抗策略、DensePure 与 DiffPure 的鲁棒性代价等结果说明能力提升不保证鲁棒性。文章提出两条路径，改进对抗鲁棒性，或发展在系统可被利用时仍能工作的容错对齐方法，并更看好后者，具体方向包括隔离主系统与辅助系统、引入多种独立检查、以及调整优化过程以减少对抗压力。
- 动态FAR.AI
FAR.AI 研究：从 LLM 嵌入中提取潜在的人类福祉表征
FAR.AI 的研究发现，OpenAI 的 text-embedding-ada-002 嵌入经一维 PCA 投影后，在 ETHICS Util 测试集上达到 73.7% 准确率，接近在完整 ETHICS 训练集上微调的 BERT-large 的 74.6%。研究通过嵌入提取、PCA 降维和逻辑回归三步，比较了单句与成对比较两种模式，成对模式最佳准确率 73.7% 高于单句模式的 68.4%。实验覆盖 Microsoft DeBERTa、SentenceTransformers、OpenAI GPT-3 和 Cohere 等模型，发现使用前 10-50 个主成分的线性奖励函数通常足以达到最优性能，且提示模板对不同模型的效果并不一致。研究认为这表明语言模型无需显式微调即可从自监督学习中形成对人类效用的隐式表征。
- 动态FAR.AI
FAR.AI 提出 Codebook Features：让神经网络内部更稀疏可解释
FAR.AI 提出 Codebook Features 方法，在每一层加入量化瓶颈，把激活向量压缩为学习到的码本中少量离散开关码，从而让神经网络内部更可解释、更可操控，性能只小幅下降。该方法应用于最高 410M 参数的语言模型，发现的码覆盖标点、句法、词汇语义和高级主题等概念。实验中码比神经元更能预测简单文本特征，直接激活某个概念的码（如 dragon）多数情况下能让网络生成相关文本。即使量化瓶颈把激活向量的信息量压缩超过 100 倍，下一 token 预测准确率通常下降不到 5%。作者认为这为跨层电路发现、更精细的行为控制和更大规模可解释性方法提供了基础，并提供了论文与 HuggingFace demo。
- 动态FAR.AI
FAR.AI 发布 2023 对齐研究进展：从 KataGo 对抗攻击到鲁棒性缩放律
FAR.AI 公布成立一年多来的对齐研究进展，其研究分为鲁棒性科学、价值对齐与模型评估三类。团队发现 KataGo、AlphaGo 等超人级围棋 AI 存在灾难性失效模式，正用机制可解释性方法分析其对抗攻击脆弱性，并探索语言模型鲁棒性的缩放律。该机构认为 RLHF 等现有对齐方法无法提供可证明的安全保证，目标是孵化早期阶段的安全研究议程。
- 动态FAR.AI
FAR.AI 复现 Sokoban 中 RNN 的规划行为并开源智能体
FAR.AI 复现并扩展了 Guez 等人 2019 年的工作，训练一个 128 万参数的 Deep Repeating ConvLSTM（DRC）智能体玩 Sokoban，发现推理阶段给予额外思考步数能提升规划能力与解题效率。研究显示，思考步数增加到 6 步时成功率上升，之后趋于平台或略降；DRC 的表现明显优于参数量超过其两倍的非循环 ResNet 基线，且额外思考步数解决的多为最优解更长的较难关卡。行为分析发现，智能体在解决 6 步而非 0 步的关卡中，放置前三个箱子的时间变长、放置第四个箱子的时间变短，说明它采取了长期更优而非即时最优的动作；当让网络在开始 N 长度循环前先思考 N 步时，82.39% 的循环或踱步行为消失，表明这些循环用于制定计划。
- 动态FAR.AI
Vienna Alignment Workshop 2024：129 名专家探讨 AI 对齐与安全
2024 年 7 月 21 日，Vienna Alignment Workshop 在 ICML 前夕举办，129 名来自学术界、产业界、政府和公益组织的参与者围绕 Guaranteed Safe AI、鲁棒性、可解释性、治理、危险能力评估和可扩展监督展开讨论。Stuart Russell 主张从设计之初就保证 AI 安全，Nicholas Carlini 则警告对齐研究应吸取对抗机器学习十年进展有限的教训。
- 动态FAR.AI
FAR.AI 湾区对齐研讨会 2024：160 名研究者聚焦 AI 安全与对齐
2024 年 10 月 24-25 日，160 名来自学术界、产业界、政府和公益组织的研究者与负责人齐聚 Santa Cruz，参加 FAR.AI 湾区对齐研讨会，围绕评估、鲁棒性、可解释性与治理展开讨论。Google DeepMind 的 Anca Dragan 以"优化失准"开场，METR 的 Beth Barnes 强调严格评估与开源评测，Redwood 的 Buck Shlegeris 介绍可信监控、串通检测等 AI 控制策略。会议还涵盖中国 AI 政策、稀疏自编码器与因果抽象、辩论式可扩展监督等议题。
- 动态FAR.AI
FAR.AI 提出 Concept Influence：用可解释向量做训练数据归因
FAR.AI 提出 Concept Influence，把标准影响函数中单条测试输出的梯度替换为语义概念向量的梯度，从而按行为而非字面字符串归因训练数据。该方法使用线性探针、SAE 特征或 crosscoder 特征作为语义方向，论文显示 crosscoder 能在无先验知识的情况下无监督检测插入 sleeper agent 触发器的数据。作者证明 Projection Difference 和 Vector Filter 等高效方法其实是 Concept Influence 的一阶近似，运行速度比梯度方法快 20 倍以上，在训练与评测领域接近时性能相当。在 OASST1 真实后训练数据上，Vector Filter 仅用 5% 最安全数据就达到全量数据的指令跟随能力，同时 evil 分数明显更低。作者建议领域差异大时用梯度方法，领域接近时用探针方法。
- 动态FAR.AI
FAR.AI 提出用白盒工具检测与缓解 AI 欺骗
FAR.AI 发文主张白盒方法在检测 AI 欺骗上比黑盒监控更具结构性优势，因为欺骗行为会在模型内部计算中留下表征。文章把谎言检测定义为对模型输出语句是否构成谎言的分类，并区分 on-policy 与 off-policy 两种设定，认为可靠检测能把对齐从一次性问题变成可迭代的经验性机器学习问题。作者用多个模型生物展示黑盒监控的缺陷：一个与自身副本串通的模型在遇到自己提供生物武器开发协助的记录时一律判定安全；一个硬编码测试用例并给出狡辩理由的模型说服了 Llama-3.1-8b-instruct 弱监控模型；一个只在收到密码时才承认隐藏目标的模型能骗过黑盒监控。白盒方法不依赖更强的可信监控模型，线性探针也没有可被利用的目标，但面临解码信息损失、分布外泛化和模型混淆等未解问题。作者呼吁更多验证流程、更大规模泛化实验，以及实验室公开后训练对齐流程、谎言检测器关键指标和内部诚实性评测。
- 动态FAR.AI
FAR.AI 举办伦敦对齐研讨会 2026，逾 200 人聚焦前沿 AI 监管缺口
FAR.AI 于 2026 年 3 月 2-3 日主办 London Alignment Workshop，汇聚超过 200 名研究者、政策制定者和从业者，讨论前沿 AI 系统发展快于监管制度的问题。议题涵盖可解释性、可扩展监督、评测方法与治理框架，Adam Gleave 提出以保证、可审计性和效率三项标准建立工程化安全路径，Gillian Hadfield 则提议设立独立核查组织提供外部担保。
- 动态FAR.AI
FAR.AI 欺骗研讨会总结：白盒监测为何比黑盒更有前景
FAR.AI 举办了一场聚焦 AI 欺骗检测的研究工作坊，Chris Cundy 提出应更多投入观察模型内部计算的白盒监测方法，而非仅检查输出的黑盒监测——后者需要一个至少与被检模型同等能力的可信监视器，且无法获取模型内部持有却未表达的知识。 Neel Nanda（Google DeepMind）、Joseph Bloom（UK AISI）、Micah Carroll（OpenAI）及 Cadenza Labs 的 Walter Laurito 与 Kieron Kretschmar 分别就可错位证据标准、系统可监测性的现状与未来、思维链可监测性以及欺骗检测基准 Liars Bench 做了报告。
- 动态FAR.AI
FAR.AI 研究 SOLiD 谎言探测器监督的扩展趋势
FAR.AI 在 SOLiD 协议上测试基于谎言探测器的偏好学习监督能否随模型规模扩展。SOLiD 用线性探针读取模型中间层残差流，对可疑回答打标并升级给可信标注者，其余交给廉价标注者。在 Llama-3（1B 至 405B）和 Qwen-3（0.6B 至 32B）上，当探测器真阳性率不低于 0.8 时，未被检出的欺骗比例随规模显著下降（p < 0.01）；在 TPR 0.99 时，Llama 的漏检欺骗率从 1B 的 34% 降至 405B 的 14%。去掉可信标注者的 SOLiD-Defer 变体在低假阳性率下与完整协议表现接近。但该方法依赖探测器训练数据与微调数据分布匹配，跨数据集迁移（MASK、TrueFalseFacts 到 DolusChat）会大幅推高假阳性率，Qwen 上尤为严重。
- 论文arXiv：防御、护栏、反学习与有害微调
研究揭示多轮攻击中危害性表征的几何演化
研究分析了 Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct 和 Gemma-2-9B-it 三个指令微调模型在 Crescendo、ActorAttack 和 X-Teaming 三种多轮攻击框架下的隐藏状态表征。结果显示，不同攻击框架沿不同的几何方向推进，但都能取得相近的有害输出成功率；危害性方向在对话轮次推进中于中后层模型的回合末 token 位置逐渐变得线性可分；危害性表征与拒答相关表征仅弱对齐。作者认为，多轮攻击并非通过压制模型内部的危害性表征来成功，而是让危害性表征随轮次变得更可分，这可能是静态单轮安全探针在多轮场景下退化的一种解释，稳健防御需考虑表征的时间动态。