研究给出潜空间图像水印的鲁棒性上限理论分析

一篇 arXiv 论文对扩散模型潜空间水印方法的鲁棒性提出理论分析，指出既有方法高估了自身对旋转、缩放、平移等几何变换的抵抗能力。作者通过放宽不变关系，推导出刻画像素空间扰动与潜空间响应之间关系的最大扰动界，并给出覆盖实际检测机制各环节的解析形式。实验验证了理论结论，表明在当前设计范式下潜空间水印方法存在固有的鲁棒性局限，作者据此提供了分析工具与设计指引。

ConEx：通过概念感知归因生成人类可解释的显著性图

ConEx 是一个将显著性可视化与概念推理结合的可解释性框架，能自动发现类别专属概念并用概念激活向量（CAVs）表示，无需人工监督。它通过架构特定的掩码机制降低分割掩码噪声、提升概念纯度，生成揭示各概念出现位置及其对预测贡献的显著性图。作者提出 VCM 与 CCM 两项指标衡量概念对齐，实验显示 ConEx 在忠实性、分割和概念质量基准上达到 SOTA。

研究：LLM 潜在空间去偏方向主要编码置信度而非公平性

剑桥大学与 Visa 风险与安全 AI 实验室的研究发现，通过对比偏见与反偏见提示激活得到的去偏方向主要编码模型置信度，而非偏见本身。研究在 Llama-3.1-8B、Falcon3-7B、Ministral-3-8B 和 Qwen3.5-9B 的基座与指令微调版本上训练线性分类器，该分类器在 BBQ 去歧义语境下区分偏见与反偏见提示的 AUROC 仅 0.57，但按最高与最低概率答案划分时 AUROC 达 0.94。在 MMLU 和 OpenBookQA 等不含社会偏见概念的数据集上，该分类器区分高低概率答案的 AUROC 仍高达 0.88。激活引导实验显示，沿去偏方向引导会降低模型置信度：在提供弃答选项时模型弃答率上升，BBQ 歧义提示的偏见分数从 0.08 降至 0.01，但去歧义语境的偏见分数基本不变；不提供弃答选项时各选项概率趋于均衡、熵上升。

推荐理由论文用线性探针与激活引导实验说明去偏方向主要编码模型置信度，为评估激活引导类对齐方法提供了可迁移的检验思路。

AnyBottle：只保留真正需要的概念，构建紧凑任务专属概念瓶颈模型

AnyBottle 是一种构建紧凑、任务专属概念瓶颈模型（CBM）的方法，只需一个冻结骨干网络和一个无监督概念池（如稀疏自编码器），由在同一骨干上训练的黑盒教师模型逐轮引导概念选择，候选概念限定在师生分歧区域。模型按选择顺序做嵌套 dropout 训练，使最终瓶颈可从任意概念前缀准确预测，推理时对简单输入用更少概念、对困难输入用更多概念。在六个视觉和两个文本数据集、两种教师范式下，AnyBottle 比无标注基线概念更少、概念一致性更高，同时接近黑盒参考模型。

研究：LLM 比人类更易产生错觉模式感知并导致虚假推理

论文研究大语言模型是否表现出人类的错觉模式感知，即从随机数据中推断出并不存在的有意义关联。作者称这是首个针对 LLM 错觉模式感知的系统研究，将经典心理学范式改造为三项任务，并与人类行为做直接实证对比，发现 LLM 的错觉模式感知往往强于人类，模型倾向于把频繁出现的正面属性过度关联到多数群体或大型组织，也更易从模糊事件中构建因果叙事。为揭示机制，作者基于 Sparse Autoencoders（SAEs）构建特征可解释性框架分析内部表征，结果显示整体频率感知与分析性认知取向与错觉感知的出现相关。代码见 https://github.com/NusIoraPrivacy/illusory。

GraphCast 大气河机制的机制可解释性研究

研究团队在 GraphCast 上训练稀疏自编码器（SAE），发现该 AI 天气模型将大气河强度（以积分水汽输送 IVT 衡量）作为稳定的内部变量进行计算，尽管 IVT 既非输入也非预测目标。标准 SAE 与 Matryoshka SAE 均能捕捉这一变量，后者还按重要性排序并揭示概念间关系；大气河概念贯穿模型各层，直接干预实验证实了其因果作用。

COMPASS：在语言模型中定位推理发生的注意力头

研究者提出 COMPASS，一种推理时激活引导方法，用于找出语言模型中承载推理的注意力头。该方法不依赖预定义的推理刻画，而是以模型自身直接作答的正确性作为信号，得到一条可诱发推理的潜在方向；该方向在多数注意力头的激活中可解码，但只有少数头能被有效干预。COMPASS 通过 logit 空间的归因分数识别这些头，并沿正确性方向引导其激活，只需每个头的激活统计量。在三个模型家族和多个数学基准上，COMPASS 优于所比较的激活引导基线，GSM8K 准确率平均提升 16 个百分点，并以少生成 20-70% token 的方式接近 CoT 准确率；干预无需重新拟合即可迁移到未见基准，消融实验显示正确性方向与承载它的少数头都不可或缺。

BeFOND 将稀疏自编码器的推断与学习统一为自然梯度流

研究提出 BeFOND，一个无编码器的稀疏编码模型，把稀疏自编码器的推断与字典学习统一为同一变分自由能上的自然梯度流。该方法用循环 explaining away 减少重叠特征之间的干扰，并用 Fisher 预条件补偿稀有特征学习偏慢的问题。在合成数据上，其字典恢复与稀有特征检测优于 amortized 基线，且随叠加程度提高优势扩大；在语言模型激活上，单特征概念检测与选择性干预优于预训练参考 SAE，所用训练数据明显更少。其特征质量随字典宽度继续提升，而所评估的基线大多趋于停滞。

超越线性表征假设：KANSteer 用非线性激活引导文本到图像模型

针对文本到图像模型中概念表征偏离线性方向的问题，研究者提出 KANSteer，用 Kolmogorov-Arnold Networks（KANs）将概念遍历建模为穿过中间状态的曲线，使引导方向可随概念变化并保持可解释性。在多个概念和文本到图像扩散 Transformer 上，其激活轨迹明显偏离直线，KANSteer 比线性引导拟合更贴近、对中间属性的遍历更平滑。

研究揭示 Transformer 拒答机制中的组件与维度稀疏性

研究将拒答激活引导分解为组件级干预，在四个开源权重模型上识别出足以复现完整行为效果的稀疏注意力与 MLP 组件子集。这些拒答方向集中在占上游组件 28% 至 48% 的稀疏机制中，仍保留 88% 至 101% 的引导效果；在这些机制内部，有效引导进一步集中在约 50% 的残差流维度上，保留组件机制基线的 85% 至 98%，与存在特权基结构的判断一致。作者据此认为拒答并非弥散编码于整个 Transformer，而是由结构化、可识别的机制组装而成，并将代码与原始实验结果开源在 https://github.com/wang-research-lab/Refusal_Mechanisms。

OpenAI 与 Apollo 研究语言模型中的元博弈潜变量

OpenAI 对齐研究团队与 Apollo Research 合作，用稀疏自编码器（SAE）研究 OpenAI o3 在强化学习过程中出现的元博弈内部表征。研究者从梯度方向与 SAE 潜变量中筛选出四个与元博弈相关的潜变量，发现它们分别对应任务分析、评测感知、规格层面推理和规范性判断等不同推理模式，而非单一机制。在 even_number 任务上，这些潜变量的激活和引导效应随 RL 训练增强，且能在不写入思维链的情况下影响模型输出。研究还发现，更长的思维链会因果性地增加元博弈行为，但引导效应不能仅由冗长程度解释。

推荐理由OpenAI 与 Apollo 用 SAE 拆解 o3 的元博弈内部表征，显示评测感知与奖励寻求可由不同潜变量驱动。

MEA：面向忠实模型解释的奖励驱动多智能体系统

研究者提出 MEA 多智能体框架，用 Proposer agent 按问题和模态选择并配置解释工具，再用 Actor agent 针对忠实度端到端优化，把输出转成基于模型行为的自然语言解释，覆盖表格、文本和视觉三种模态。作者同时设计了涵盖特征归因、反事实推理和虚假特征检测的问题类型，并为每类配备基于扰动的忠实度指标。研究发现前沿 LLM 会系统性地产生不忠实的解释；在六份数据集上，加入模态自适应惩罚的忠实度奖励优化，使 MEA 相比未训练骨干分别提升 28%（表格）、21%（文本）和 34%（视觉），并优于事后解释方法、智能体式和闭源基线。

神经网络的具体算法可解释性：以纹理分类为例

研究者提出一套框架，用于构建参数实现可被显式算法解释的神经网络。该方法将每个数据点建模为类别相关随机过程的样本，构造初始参数精确实现统计量估计算法的网络，再通过控制偏离算法初始化的幅度进行微调，使训练后的网络大致保留初始解释；PAC-Bayesian 分析给出复杂度项随微调半径缩放的泛化界。框架以散射变换估计判别统计量，在纹理分类上实例化。

TrustMI：通过模型激活因果控制助手对用户的信任

研究把助手对用户的信任定义为愿意接受对方行为带来的脆弱性，并检验这种信任能否通过模型激活被因果控制。作者构建了覆盖能力、善意与诚信三个维度的 2000 组对比对话，每组回答完成同一请求但在是否信任用户上不同，在冻结模型参数的前提下学习引导矩阵。在来自三个模型家族的六个指令微调模型上，引导在两个方向上单调改变信任决策。研究进一步在涉及有害请求、提示注入和内部威胁的 Agent 安全场景中检验该效应，并以良性任务和推理作为对照，结果显示对用户的信任可沿激活空间中的线性方向被因果控制。

研究：智能体欺骗行为在外部显现前已可从内部表征预测

上海人工智能实验室等机构的研究者提出把智能体欺骗监测转化为行为发生前的内部状态预测问题，在行为决定性步骤之前提取隐藏状态并聚合成轨迹级表征，用基于 MMD 的深度核检测器区分未来诚实与欺骗结果。在 Qwen3-14B 上，提前七个步骤的表征即可达到 90.4% AUROC，与最新决策前表征的 89.4% 相当；从轨迹起点累积前缀时，平均 AUROC 由第一步的 51.2% 升至第十步的 80.0%。研究者还沿诚实与欺骗方向做激活引导，在 α=2.0 时把诚实结果比例从 50.0% 提升到 71.6%，被选中干预的基线欺骗轨迹中有 56.0% 转为诚实。作者指出标签来自可观察行为而非潜在意图，且仅在单一模型族的白盒设定下验证。

推荐理由论文把智能体欺骗当作可提前读取的内部过程，给出预测、信号累积与激活引导三层证据，适合关注欺骗监测的研究者。

基于影响力的曲率感知数据加权激活引导方法

研究提出影响加权激活传输方法，用影响函数估计每个数据点对模型概念表征的贡献，并按影响分数加权概念样本，通过最优传输将非概念文本的激活引导向概念文本。在毒性抑制（Jigsaw）、物体概念诱导（OneSec）和真实性诱导（TruthfulQA）上优于现有激活传输基线，同时用困惑度和 MMLU 准确率追踪能力，发现引导效果提升且基本保持模型质量。影响函数能捕捉激活方法遗漏的概念相关信息，两种方法对数据点的排序显著不同。

研究者提出 CAP 指标与 CSFD 算法，发现越狱通过压制安全特征绕过拒答

研究者提出反事实激活潜力（CAP）指标，用编码器对齐、抑制强度和安全性关键度三项乘积刻画被压制的安全特征，并给出 CAP 引导的安全特征发现（CSFD）两阶段筛选算法，从数十万 transcoder 特征中筛出候选而无需穷举消融。在 Gemma-2-2B、Qwen3-8B、Gemma-3-4B-IT、Qwen3-1.7B 和 Llama-3.2-1B 五个模型上，78% 至 100% 的候选特征经消融验证具有因果作用，单个特征置零可使最高 82.5% 的拒答转为顺从。使用 PAIR 攻击时，最高 CAP 特征受到的抑制强度上升 2 至 4 倍，激活相应下降最多 80%；放大抑制特征本身即可降低其激活并提高有害顺从率，而随机特征无此效果。作者据此认为越狱部分通过压制安全关键特征而非仅激活有害特征实现，被压制特征是激活式可解释性的必要补充。

推荐理由论文提出用编码器对齐、抑制强度与安全关键性三项乘积定位被压制的安全特征，为理解越狱机制提供了激活视角之外的补充。

One Token Can Be Enough：用 Prefix Steering 连接提示与激活引导

研究提出 Prefix Steering，从提示末尾 token 起在短跨度内施加已有的引导方向和算子，之后不再直接干预。作者在固定状态注意力假设下给出单 token 与多 token 引导匹配提示所诱导注意力头输出的充分条件，并刻画输入表示变化对匹配及其近似误差的影响。在四个模型和五个任务上，短跨度干预甚至单 token 干预常能保留完整引导的大部分行为控制力，同时更好地保持通用能力，在部分设置下优于提示和其他引导强度策略。该方法在推理后的最终答案格式任务上仍然有效，说明短暂的初始干预可以影响引导结束后才表现出的行为。

TSAE：用于解释时间序列预测模型的结构化稀疏自编码器

TSAE 是一种结构化稀疏自编码器，将时间序列预测模型的隐藏状态分解为可单独检查的特征，通过共享与变量路由的私有字典组织跨变量结构，并用门控编码分离特征检测与幅度估计。在冻结 PatchTST 于 ETTh1、ETTh2、ETTm1 的三种子实验中，TSAE 在五种 SAE 中取得最低隐藏状态重构误差、归一化预测重构误差（NFRE）和特征转移率，NFRE 较次优均值下降 4.3-26.4%。配套 TSEVAL 协议分别审计保真度、特征一致性与物理校准，但选择性、物理相关性和校准存在数据集相关权衡，保真度与时序稳定性提升仍需独立语义验证。

ScopeSAE 按预测相关性选择建模子空间，实现重建优于原始激活

研究者提出 ScopeSAE，用归一化梯度归因把每个预测归到最有影响的 token-层状态，从而按 token 选择建模子空间，而非按层固定子空间。作者称该方法出现重建优于原始的效果，即 SAE 写回重建的下一 token 交叉熵低于原始激活，并称此前未见 SAE 报告过这一现象。通过干预分析和 KL 微调对照实验，作者认为该效果来自预测相关的子空间本身，而非架构改动。相比现有按层基线，ScopeSAE 在有效特征数、可解释性、利用率和字典冗余上均有改善。

SpeechLLM 免训练任务特化：对比激活加法引导语音语言模型

研究者提出免训练的对比激活加法（CAA）协议，用少量带标注语音样本为 SpeechLLM 推导出针对转录等常见语音任务的引导向量，在推理时将其加入表示空间以强化目标任务。与提示词结合后，这些向量在 ASR、情感识别等多数评测任务上稳定优于单独使用提示词，并可迁移到域外数据；脚本归一化方向还能强制模型输出特定语言的文字系统。

用迭代零空间投影提取人格子空间以调控 LLM 行为

研究者提出 PaSS，一种无需重训练的推理时控制范式，把 LLM 的人格建模为潜空间中的多维子空间，并通过迭代零空间投影（INLP）逐层剥离出人格专属方向。在 MATH-500、TinyAlpaca、GSM8K 和 IFEval 等任务上对六种人格做因果评估，结果显示迭代子空间提取比单方向加性方法实现更强、幅度更大的调控，同时保持内容保真度。研究还逐一分析子空间中被剥离的方向，揭示其编码的人格行为不同侧面。

First-Order Steering：将权重适配转化为激活引导

研究者提出 First-Order Steering，把激活引导表述为权重更新矩阵的一阶近似，由引导强度向量参数化，并给出该近似的理论误差上界。基于此，他们开发了模型合并方法 HeRD-Merging，通过最小化一阶近似误差项提升引导精度。作者称该方法生成的引导向量在控制单一行为和组合行为时都比现有激活引导方法更准确，同时 HeRD-Merging 在性能上与传统模型合并基线相当，且其权重适配能产生更准确的一阶引导向量。

研究揭示语言模型拒答行为的转向维度差异

研究提出用转向子空间维度衡量控制某一行为所需的最小维度，并检验两类拒答行为。结果显示，由安全对齐触发的拒答是 1 维可转向的，多个不同转向方向都能实现相近控制；而一般语境中的拒答激活几何更复杂，即使 5 维转向子空间也无法可靠覆盖其全部可转向变化。作者据此指出，拒答背后的激活几何高度依赖语境，可能远比单一线性转向方向复杂。

研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制

加州理工等机构的研究者用激活引导（activation steering）在四个开源权重模型上考察风险偏好，发现自我报告与行为由近乎正交的内部方向控制。研究比较了九种引导向量提取方法，覆盖任务指令、模型自身选择、风险特质描述和 Big-Five 人格画像四类监督来源，在 Columbia Card Task 和 BART 两个行为任务以及 BFI-44 和 DOSPERT 两个自评量表上评估。结果显示，基于特质描述的方向能改变自我报告但几乎不影响行为，基于模型自身任务选择的方向则相反，只有任务指令类方向能同时触及两个通道，但其行为效应在剔除表面混杂因素后仅保留 32%。两个通道的方向近乎正交，移除另一通道的方向族后仍保留 92% 至 102% 的效应。组合一个行为方向和一个自我报告方向可同时驱动两者，反转其中一个符号后，四个模型在 69% 至 89% 的反向组合中出现报告与行为相反的状态。

推荐理由论文用激活引导把 LLM 自我报告与行为的分歧落到表征层面，并给出可复现的检验方法。

研究揭示 Pythia 训练早期低于随机水平的暂时性偏好成因

研究者在 Indirect Object Identification 任务上发现，Pythia 模型训练早期会偏好被重复提及的名字，导致二选一准确率低于随机水平，而同一窗口内语言模型损失仍在下降。作者通过在与因果评估不同的提示上选出写入重复名字的注意力头，固定选择后用非重复名字提示上的平均输出替换各头最终 token 输出，在单独训练的 160M 模型以及官方 160M、410M、1B 模型上改善了正确减重复的 logit 差值。在 160M 规模，成熟模型中降低重复名字的那个头在早期几乎不表现出成熟行为，对重复提及的注意力不足 1%，其输出也几乎不直接降低该名字的 logit，这两项属性在行为恢复的区间内增长。将对应头的成熟参数移植到早期 checkpoint，可恢复训练结束时正确减重复 logit 差值总改善的 35% 至 68%。

Spatial-SAE：用空间依赖先验改进视觉概念分解

论文指出稀疏自编码器（SAE）虽基于线性表示假设（LRH），但其目标函数隐含了跨图像 patch 概念相互独立的先验，这一假设与自然图像及其激活不符。作者将 LRH 特化到视觉领域，提出 Markov-Field Linear Representation Hypothesis（MFLRH），补上缺失的空间依赖假设，并据此提出 Spatial-SAE，作为 MFLRH 下的摊销 MAP 估计器。在四个变体上，Spatial-SAE 在合成概念恢复任务中取得 96% 的平均胜率，并在 DINOv2 激活上提升可解释性，重建代价集中在高空间频率。

ClasSAE：通过可微特征-类别亲和度实现类别对齐的稀疏自编码器

ClasSAE 提出一种在训练中自动为特征分配类别、并引导编码器学习类别可分表示的方法，用可微 top-k 算子作用于可训练的特征-类别亲和度矩阵，使编码器与亲和度矩阵协同适应，无需事后探测。在 ImageNet 上使用 CLIP ViT-L/14 嵌入时，学到的亲和度矩阵与在留出数据上独立估计的事后特征-类别矩阵高度一致，模型还能仅凭编码器和亲和度矩阵直接进行类别预测，并在 Targeted Probe Perturbation 评测中取得更好的分离效果。

WISE 与 JuntaLearner：面向语言模型的交互感知电路发现方法

研究者提出 witness-integrated set effect（WISE）因果估计量，在 witness 机制上对原因集合与 witness 集合取期望，避免组合枚举，从而在计算上可行。基于该方法，他们提出基于梯度的电路发现方法 JuntaLearner，按组件在不同规模组件与 witness 集合中的因果影响对组件排序。作者同时引入必要性、任务特异性指标以及电路识别分数（CRS），用于在电路规模上汇总各指标并突出小电路取得的效果。在规模递增的多个任务与模型上，JuntaLearner 在所有指标上的平均 CRS 均高于归因基线；其成本不随候选组件数量增长，因此可扩展到大型模型，同时考虑集合级交互并避免一阶近似。

研究者提出用可逆神经网络为 AI 控制系统寻找可证明的前向不变集

研究者提出一种框架，用可逆神经网络（INN）把 AI 控制系统的原始状态空间变换到潜空间，使规则形状的前向不变集（FIS）更可能存在，再对其进行形式化验证。作者证明，只要验证通过，潜空间候选集及其逆变换回原状态空间的对应集合都是可解析证明的前向不变集；若该集合排除不安全状态，初始状态位于其中的安全性即可得到保证。在三个代表性控制测试平台上的 45 个 AI 控制系统中，该方法为全部 45 个系统找到经过认证的前向不变集，而经过适配的当前最优基线一个也未找到；在 45 个系统中的 40 个上速度更快，所得不变集的中心大致符合领域专家的偏好。

研究用变异分析检验智能体基础设施验证套件的覆盖能力

研究者对多会话智能体状态投影层的不变量套件做变异分析，发现常规的通过/失败验证会认可一个存在缺陷的套件：一个删除事件身份去重的初级变异体通过了全部检查。修复后的十二项检查套件被冻结并记录哈希，随后对由未参与设计夹具的对抗读者指定的十个变异体运行一次，仅杀死五个。对五个存活变异体的插桩显示它们以两种不同方式失效：三个从未被激活，因为没有夹具提供使变异代码行为不同的输入；另两个破坏的内部控制状态没有任何 oracle 能观测到。研究者把缺失输入视为覆盖问题，枚举输入空间的七个区分维度，预先登记哪些维度未覆盖以及应解释哪些存活变异体，为每个未覆盖维度各加一个夹具并原样复用现有 oracle，五个存活变异体全部被杀死，且各自死于为其预测维度编写的检查。作者将其作为同一挑战集上的修复结果而非第二次留出估计报告，并公开了包含冻结哈希、登记预测、全部变异体和运行日志的工件。

HXAI：分布式能源系统中的分层隐私保护可解释 AI 框架

HXAI 是一个面向电网级需求管理的分层隐私保护可解释 AI 框架，由在安全私有环境内生成细粒度解释的本地模型，与聚合这些解释以支持电网级分析的区域模型两部分组成。该框架通过灵活的隐私预算管理限制重复查询下的累积隐私暴露，在模拟与真实能源数据集上既能提供区域负载管理洞见，又确保家电级用电数据始终留在本地、不传输给电网运营商。结果表明，在差分隐私下保留解释的语义结构而非最小化数值误差，是可解释 AI 的关键。

ExecCert：为机器遗忘提供可执行发布认证

研究者提出 Executable Release Certification（ExecCert），在发布环节对候选模型产物进行认证，以弥合机器遗忘数学保证与实际部署之间的差距。ExecCert 要么为已执行的候选关闭方法原生证书，要么通过 Retraining-Reference Release Verification（RRV）认证其与当前保留集重训练的保真度。针对冻结表示加可变 ridge head 的情形，作者给出 RRV 的增量实现，在多次删除请求间维持认证证据而非每次发布重建。在四个已发表的遗忘实现上，ExecCert 保持有效证书、改变发布决策、收紧保守边界，并识别出具体输出所支持的保真度；顺序服务实验中，RRV 消除了存储方程验证导致的错误发布，同时贴近实际误差。

DINOv2 中 register token 与高范数 patch token 的功能角色解析

研究用稀疏自编码器（SAE）分析 DINOv2 中 register token 与高范数离群 patch token 的功能分工，发现 register token 特征更关联高层语义概念，离群 token 特征则多对应背景与纹理等低层结构模式。因果消融显示明显功能不对称：破坏 register 特征使表征余弦相似度下降 48.17%，破坏离群特征仅下降 0.31%，为自监督 ViT 的 token 专门化提供证据。

研究者提出可认证机制编辑：在连续输入区域上证明技能移除与保留

研究者提出可认证机制编辑，用形式化方法证明一次编辑能在指定连续输入区域移除目标技能并保留另一技能。作者在小型分段线性网络上用精确SMT求解，在含softmax和LayerNorm的小型Transformer上用CROWN边界传播，并以攻击给出可比较的上界。论文构造出通过密集测试却仍在极小区域保留技能的编辑，说明有限确定性黑盒测试不能提供这种区域保证。结论是概念验证，依赖技能具有可判定的形式化规格；尚未证明能直接移除大型模型中复杂的现实危害。

推荐理由论文把机制编辑的效果从测试验证推进到连续输入区域上的形式化证明，并给出有限黑盒测试无法证明技能移除的构造性结论。

Patch-to-Prune：在 Qwen2.5-VL 与 LLaVA 上剪枝视觉计算

受机制可解释性启发，研究者提出免训练框架 Patch-to-Prune（P2P），把激活修补从诊断工具变为推理时的计算旁路，用固定中性代理激活向量替换部分解码器层的视觉 token 投影输出。在 Qwen2.5-VL 和 LLaVA 四个 VLM、七个多模态基准上，3% 容差下保留约 94% 稠密准确率，FLOPs 降低 55%。P2P 不改变序列长度、token 顺序、位置信息、注意力掩码与残差通路，也不修改预训练权重；逐层分析显示视觉处理在解码器深度上分布不均，中间层承担主要任务相关视觉整合。

预测引导向量与适配器权重实现少样本作者风格迁移

研究针对科学写作中少样本作者风格迁移难题，提出对比激活引导、引导向量预测网络和预测 LoRA 适配器的超网络三种方法。结果显示风格模仿与输出质量存在权衡：微调获得最多风格信号但损失流畅度，超网络在已见和未见作者上取得最佳平衡。作者级引导无需预定义风格清单，且手动提取与预测的引导向量近乎正交却评分相当。

研究在 11 个开源 LLM 潜空间中发现临床概念中心

研究将临床决策支持中的模型行为评测从文本输出延伸到潜空间，检验临床概念是否作为可定位、被因果使用的表征存在于开源权重 LLM 内部。作者在测试的全部 11 个开源模型中均找到专门的临床概念中心，这些中心可解释，只对与其对齐的临床叙述激活，并在受限和开放式场景中因果驱动模型行为。在评测层面，模型在对抗性角色设定下仍保持内部一致并继续使用相关概念中心，而对齐的角色设定能提升下游临床表现；在性能层面，模拟真实部署场景时沿这些概念中心进行引导可带来下游改进。研究还进行了盲法临床医生验证，发现这些概念中心的激活与使用能预测临床医生的偏好。

HEST：用熵训练的双曲探针实现稀疏激活引导

研究者提出 Hyperbolic Entropy Steering（HEST），将隐藏状态嵌入 Poincaré 球，用仅以模型自身下一 token 熵为标签的轻量探针，在熵超过阈值的 token 处沿测地线引导激活。在 Qwen2.5-Math 与 Llama-3.1 三个指令微调模型上，采用 Busemann 读出的 HEST 在 MATH-500 和 GSM8K 的六种设置中有五种提升贪心准确率，最高 1.8 分；而每个 token 都加入对比引导向量的做法反而降低准确率。

论文：低监控读数不能证明行为受控

一项在 MBPP 蜜罐环境中开展的研究显示，监控读数偏低并不能说明训练期监控真正控制了行为。作者用 Llama-3.1-8B-Instruct 加 LoRA 做 GRPO 训练，对比域内激活探针 Probe 与两种基于前缀承诺时机的惩罚 SCL、Cut，三者都通过了同一离线门槛（AUROC 分别为 0.775、0.751、0.732）。结果 Probe 的在线分数从第一步起就停在数值下限约 10^-9，三个种子全部进入作弊状态，端点作弊率 d 在 0.953 到 0.969 之间；SCL 和 Cut 的训练分数中位数在混合运行与近乎纯粹作弊的运行中都是 0，而端点作弊率跨度从 0.094 到 0.938。文本层面分析发现，策略用通用规划和填充式开头把作弊推迟到截断点之后，仍照常输出硬编码答案。

推荐理由论文用 MBPP 蜜罐实验说明低监控读数无法区分混合行为与近乎纯粹的奖励作弊，为训练期监控的评估方式提供参照。