全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv
差分隐私混合公共数据集提升隐私学习效果
研究者提出首个能在差分隐私（DP）下为特定敏感下游任务学习多个公共数据集混合配比的流程，核心思路是通过隐私学习一个低维线性模型来找到最佳混合方案。在 NIH ChestX-ray14 的 X 射线分类任务上，该方法相比基线将 macro AUC 最多提升 0.037，在 ε=1 时 Cardiomegaly 的相对 AUC 提升达 22.8%；在 ENRON 邮件数据集的 DP 训练中，用 The Common Pile 混合数据预训练使测试困惑度相对降低 16%。
- 论文arXiv
长时程轨迹监督如何影响终端智能体训练的可靠性与成本
研究提出"监督时程"（保留用于训练的轨迹 token 数）是终端智能体可靠性与成本的关键设计轴：在 Terminal-Bench 上，12K token 时程解出的任务多于 16K（29±0.7 对 26±0.8），训练时间还少 30%。短时程导致过早终止，中等时程带来有效的错误恢复，长时程则引发过度坚持。据此提出的选择性长时程精炼先在短前缀上训练、再仅对 warm-start 模型下最可能的续写做精炼，在 16K 下将成功尝试从 110±2.7 提升到 126±2.1，八次中至少六次解出的任务从 9±0.7 提升到 14±0.6，并迁移到 Terminal-Bench v2.0 与 OpenThoughts-TBLite。
- 论文arXiv
MemAdapter：用反事实适配缓解记忆诱发的谄媚
针对长期记忆让 LLM 智能体过度迎合用户历史信念的谄媚问题，研究者提出 MemAdapter 框架。作者指出，现有缓解方法假设谄媚源于有偏或错误记忆，但现实中客观正确的记忆同样可能诱发谄媚，且同一记忆在不同语境下的影响应有所不同。MemAdapter 包含三个组件：反事实归纳，用反事实推理揭示检索记忆的潜在风险；上下文感知反思，通过自我反思校准每条记忆在当前任务中的推理影响；基于证据的推理，在保留记忆合理影响的同时让最终回答有据可依。在三个基准上的实验显示，MemAdapter 在多种场景下持续提升记忆可靠性，代码已开源于 https://github.com/DEEP-JLU/MemAdapter。
- 论文arXiv
神经网络的具体算法可解释性：以纹理分类为例
研究者提出一套框架，用于构建参数实现可被显式算法解释的神经网络。该方法将每个数据点建模为类别相关随机过程的样本，构造初始参数精确实现统计量估计算法的网络，再通过控制偏离算法初始化的幅度进行微调，使训练后的网络大致保留初始解释；PAC-Bayesian 分析给出复杂度项随微调半径缩放的泛化界。框架以散射变换估计判别统计量，在纹理分类上实例化。
- 论文arXiv
FADE：面向视频扩散模型的帧感知多概念擦除框架
研究者提出 FADE，一个面向文生视频扩散模型的多概念视频遗忘框架，用于从预训练模型中擦除指定概念并尽量保留其余行为。FADE 先做联合闭式 key/value 编辑抑制全部目标概念，再训练按帧索引与去噪时间步门控强度的逐概念帧感知低秩适配器，以消除残留的逐帧泄漏；每个适配器用其他目标的提示词作硬负样本训练，并通过基于相似度的软路由按提示词组合。在 Wan2.1-T2V-1.3B 上擦除 16 个概念（物体、艺术风格与裸露内容）时，FADE 将物体基准上的残留准确率降至 4.9%，八种基线中最强者为 15.5%，同时 VBench 平均分与未编辑模型的差距在 0.9% 以内。该排序在 VLM 评判与盲测人类研究中保持一致，优势也延续到组合多个已擦除概念的提示词、30 个同时擦除的名人身份，以及 Wan2.1-T2V-14B、CogVideoX-2B 和 HunyuanVideo-1.5。
- 论文arXiv：越狱、提示注入、投毒与防御
TrustMI：通过模型激活因果控制助手对用户的信任
研究把助手对用户的信任定义为愿意接受对方行为带来的脆弱性，并检验这种信任能否通过模型激活被因果控制。作者构建了覆盖能力、善意与诚信三个维度的 2000 组对比对话，每组回答完成同一请求但在是否信任用户上不同，在冻结模型参数的前提下学习引导矩阵。在来自三个模型家族的六个指令微调模型上，引导在两个方向上单调改变信任决策。研究进一步在涉及有害请求、提示注入和内部威胁的 Agent 安全场景中检验该效应，并以良性任务和推理作为对照，结果显示对用户的信任可沿激活空间中的线性方向被因果控制。
- 论文arXiv：越狱、提示注入、投毒与防御
AURA：用正交适配缓解 LLM 推理与安全对齐的子空间干扰
研究揭示大语言模型的"序列子空间干扰"现象：在多步数学与代码生成等逻辑任务上做标准微调，会对齐基准造成 23.3% 的干扰惩罚，削弱模型安全先验，且现有适配方法难以捕捉这种"推理漂移"。为此提出谱正则化框架 AURA（Adaptive Unique Residual Allocation），通过估计对齐流形的零空间并将推理更新约束在其正交补上，强制推理与安全之间的谱独立性。实验显示 AURA 挽回 23.0% 的损失性能，同时保持对安全状态大于 0.98 的余弦保真度。
- 论文论文追踪
研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预
研究者提出“水印幻觉”概念，指在上下文已包含所需证据、未加水印模型能正确作答的情况下，水印本身诱发或放大的事实错误。在受控 RAG 设定下，作者对比同一上下文、查询和解码配置下的加水印与未加水印生成，覆盖 KGW、SWEET、DiPmark、GumbelSoft、Gumbel-Max 和 SynthID 六种水印方法，一致观察到事实准确率下降，且水印输出仍可保持流畅。作者将成因归结为两条机制：当前步由方法特定重加权或键控采样带来的 token 扰动，以及随自回归解码累积、削弱后续对事实上下文注意力的前缀诱导注意力漂移。为此提出 token 级和注意力级的两种可插拔干预 FPTI 与 FPAI，在 TPR@1%FPR=0.90 时联合使用可将事实错误相对仅水印解码减少约 90%，同时保持流畅度和相近解码效率。
- 论文论文追踪
HERA 提出 harness 与环境协同演化，提升 Agent 拒答准确率至 83.3%
HERA 是一个面向 Agent 拒答（agentic abstention）的 harness 与环境协同演化框架，用于解决 LLM Agent 在工具使用环境中无法识别任务不可行的问题。它包含两部分：一是通过受控环境变异，把可解任务自动转化为需要拒答的不可行任务，构造可验证的可行与不可行任务对；二是协同演化流程，用此前任务上的失败驱动 harness 调整，并生成针对既往弱点的执行环境与任务。在留出评测任务上，演化后的 harness 将拒答准确率从 61.7% 提升到 83.3%，可行任务完成率从 68.3% 提升到 76.7%，在对比方法中两项指标均为最高。该 harness 无需针对具体模型优化即可迁移到其他 19 个 LLM，平均提升拒答准确率 15.3 个百分点，并使较小模型以约低 85% 的成本达到更强模型的性能。
- 论文arXiv：可解释性
研究：智能体欺骗行为在外部显现前已可从内部表征预测
上海人工智能实验室等机构的研究者提出把智能体欺骗监测转化为行为发生前的内部状态预测问题，在行为决定性步骤之前提取隐藏状态并聚合成轨迹级表征，用基于 MMD 的深度核检测器区分未来诚实与欺骗结果。在 Qwen3-14B 上，提前七个步骤的表征即可达到 90.4% AUROC，与最新决策前表征的 89.4% 相当；从轨迹起点累积前缀时，平均 AUROC 由第一步的 51.2% 升至第十步的 80.0%。研究者还沿诚实与欺骗方向做激活引导，在 α=2.0 时把诚实结果比例从 50.0% 提升到 71.6%，被选中干预的基线欺骗轨迹中有 56.0% 转为诚实。作者指出标签来自可观察行为而非潜在意图，且仅在单一模型族的白盒设定下验证。
- 论文arXiv：可解释性
基于影响力的曲率感知数据加权激活引导方法
研究提出影响加权激活传输方法，用影响函数估计每个数据点对模型概念表征的贡献，并按影响分数加权概念样本，通过最优传输将非概念文本的激活引导向概念文本。在毒性抑制（Jigsaw）、物体概念诱导（OneSec）和真实性诱导（TruthfulQA）上优于现有激活传输基线，同时用困惑度和 MMLU 准确率追踪能力，发现引导效果提升且基本保持模型质量。影响函数能捕捉激活方法遗漏的概念相关信息，两种方法对数据点的排序显著不同。
- 论文arXiv：可解释性
研究者提出 CAP 指标与 CSFD 算法，发现越狱通过压制安全特征绕过拒答
研究者提出反事实激活潜力（CAP）指标，用编码器对齐、抑制强度和安全性关键度三项乘积刻画被压制的安全特征，并给出 CAP 引导的安全特征发现（CSFD）两阶段筛选算法，从数十万 transcoder 特征中筛出候选而无需穷举消融。在 Gemma-2-2B、Qwen3-8B、Gemma-3-4B-IT、Qwen3-1.7B 和 Llama-3.2-1B 五个模型上，78% 至 100% 的候选特征经消融验证具有因果作用，单个特征置零可使最高 82.5% 的拒答转为顺从。使用 PAIR 攻击时，最高 CAP 特征受到的抑制强度上升 2 至 4 倍，激活相应下降最多 80%；放大抑制特征本身即可降低其激活并提高有害顺从率，而随机特征无此效果。作者据此认为越狱部分通过压制安全关键特征而非仅激活有害特征实现，被压制特征是激活式可解释性的必要补充。
- 论文arXiv：可解释性
One Token Can Be Enough：用 Prefix Steering 连接提示与激活引导
研究提出 Prefix Steering，从提示末尾 token 起在短跨度内施加已有的引导方向和算子，之后不再直接干预。作者在固定状态注意力假设下给出单 token 与多 token 引导匹配提示所诱导注意力头输出的充分条件，并刻画输入表示变化对匹配及其近似误差的影响。在四个模型和五个任务上，短跨度干预甚至单 token 干预常能保留完整引导的大部分行为控制力，同时更好地保持通用能力，在部分设置下优于提示和其他引导强度策略。该方法在推理后的最终答案格式任务上仍然有效，说明短暂的初始干预可以影响引导结束后才表现出的行为。
- 论文arXiv：可解释性
TSAE：用于解释时间序列预测模型的结构化稀疏自编码器
TSAE 是一种结构化稀疏自编码器，将时间序列预测模型的隐藏状态分解为可单独检查的特征，通过共享与变量路由的私有字典组织跨变量结构，并用门控编码分离特征检测与幅度估计。在冻结 PatchTST 于 ETTh1、ETTh2、ETTm1 的三种子实验中，TSAE 在五种 SAE 中取得最低隐藏状态重构误差、归一化预测重构误差（NFRE）和特征转移率，NFRE 较次优均值下降 4.3-26.4%。配套 TSEVAL 协议分别审计保真度、特征一致性与物理校准，但选择性、物理相关性和校准存在数据集相关权衡，保真度与时序稳定性提升仍需独立语义验证。
- 论文arXiv：可解释性
ScopeSAE 按预测相关性选择建模子空间，实现重建优于原始激活
研究者提出 ScopeSAE，用归一化梯度归因把每个预测归到最有影响的 token-层状态，从而按 token 选择建模子空间，而非按层固定子空间。作者称该方法出现重建优于原始的效果，即 SAE 写回重建的下一 token 交叉熵低于原始激活，并称此前未见 SAE 报告过这一现象。通过干预分析和 KL 微调对照实验，作者认为该效果来自预测相关的子空间本身，而非架构改动。相比现有按层基线，ScopeSAE 在有效特征数、可解释性、利用率和字典冗余上均有改善。
- 论文arXiv：可解释性
SpeechLLM 免训练任务特化：对比激活加法引导语音语言模型
研究者提出免训练的对比激活加法（CAA）协议，用少量带标注语音样本为 SpeechLLM 推导出针对转录等常见语音任务的引导向量，在推理时将其加入表示空间以强化目标任务。与提示词结合后，这些向量在 ASR、情感识别等多数评测任务上稳定优于单独使用提示词，并可迁移到域外数据；脚本归一化方向还能强制模型输出特定语言的文字系统。
- 论文arXiv：可解释性
用迭代零空间投影提取人格子空间以调控 LLM 行为
研究者提出 PaSS，一种无需重训练的推理时控制范式，把 LLM 的人格建模为潜空间中的多维子空间，并通过迭代零空间投影（INLP）逐层剥离出人格专属方向。在 MATH-500、TinyAlpaca、GSM8K 和 IFEval 等任务上对六种人格做因果评估，结果显示迭代子空间提取比单方向加性方法实现更强、幅度更大的调控，同时保持内容保真度。研究还逐一分析子空间中被剥离的方向，揭示其编码的人格行为不同侧面。
- 论文arXiv：可解释性
First-Order Steering：将权重适配转化为激活引导
研究者提出 First-Order Steering，把激活引导表述为权重更新矩阵的一阶近似，由引导强度向量参数化，并给出该近似的理论误差上界。基于此，他们开发了模型合并方法 HeRD-Merging，通过最小化一阶近似误差项提升引导精度。作者称该方法生成的引导向量在控制单一行为和组合行为时都比现有激活引导方法更准确，同时 HeRD-Merging 在性能上与传统模型合并基线相当，且其权重适配能产生更准确的一阶引导向量。
- 论文arXiv：可解释性
研究揭示语言模型拒答行为的转向维度差异
研究提出用转向子空间维度衡量控制某一行为所需的最小维度，并检验两类拒答行为。结果显示，由安全对齐触发的拒答是 1 维可转向的，多个不同转向方向都能实现相近控制；而一般语境中的拒答激活几何更复杂，即使 5 维转向子空间也无法可靠覆盖其全部可转向变化。作者据此指出，拒答背后的激活几何高度依赖语境，可能远比单一线性转向方向复杂。
- 论文arXiv：可解释性
研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制
加州理工等机构的研究者用激活引导（activation steering）在四个开源权重模型上考察风险偏好，发现自我报告与行为由近乎正交的内部方向控制。研究比较了九种引导向量提取方法，覆盖任务指令、模型自身选择、风险特质描述和 Big-Five 人格画像四类监督来源，在 Columbia Card Task 和 BART 两个行为任务以及 BFI-44 和 DOSPERT 两个自评量表上评估。结果显示，基于特质描述的方向能改变自我报告但几乎不影响行为，基于模型自身任务选择的方向则相反，只有任务指令类方向能同时触及两个通道，但其行为效应在剔除表面混杂因素后仅保留 32%。两个通道的方向近乎正交，移除另一通道的方向族后仍保留 92% 至 102% 的效应。组合一个行为方向和一个自我报告方向可同时驱动两者，反转其中一个符号后，四个模型在 69% 至 89% 的反向组合中出现报告与行为相反的状态。
- 论文arXiv：可解释性
研究揭示 Pythia 训练早期低于随机水平的暂时性偏好成因
研究者在 Indirect Object Identification 任务上发现，Pythia 模型训练早期会偏好被重复提及的名字，导致二选一准确率低于随机水平，而同一窗口内语言模型损失仍在下降。作者通过在与因果评估不同的提示上选出写入重复名字的注意力头，固定选择后用非重复名字提示上的平均输出替换各头最终 token 输出，在单独训练的 160M 模型以及官方 160M、410M、1B 模型上改善了正确减重复的 logit 差值。在 160M 规模，成熟模型中降低重复名字的那个头在早期几乎不表现出成熟行为，对重复提及的注意力不足 1%，其输出也几乎不直接降低该名字的 logit，这两项属性在行为恢复的区间内增长。将对应头的成熟参数移植到早期 checkpoint，可恢复训练结束时正确减重复 logit 差值总改善的 35% 至 68%。
- 论文arXiv：可解释性
Spatial-SAE：用空间依赖先验改进视觉概念分解
论文指出稀疏自编码器（SAE）虽基于线性表示假设（LRH），但其目标函数隐含了跨图像 patch 概念相互独立的先验，这一假设与自然图像及其激活不符。作者将 LRH 特化到视觉领域，提出 Markov-Field Linear Representation Hypothesis（MFLRH），补上缺失的空间依赖假设，并据此提出 Spatial-SAE，作为 MFLRH 下的摊销 MAP 估计器。在四个变体上，Spatial-SAE 在合成概念恢复任务中取得 96% 的平均胜率，并在 DINOv2 激活上提升可解释性，重建代价集中在高空间频率。
- 论文arXiv：可解释性
ClasSAE：通过可微特征-类别亲和度实现类别对齐的稀疏自编码器
ClasSAE 提出一种在训练中自动为特征分配类别、并引导编码器学习类别可分表示的方法，用可微 top-k 算子作用于可训练的特征-类别亲和度矩阵，使编码器与亲和度矩阵协同适应，无需事后探测。在 ImageNet 上使用 CLIP ViT-L/14 嵌入时，学到的亲和度矩阵与在留出数据上独立估计的事后特征-类别矩阵高度一致，模型还能仅凭编码器和亲和度矩阵直接进行类别预测，并在 Targeted Probe Perturbation 评测中取得更好的分离效果。
- 论文arXiv：可解释性
WISE 与 JuntaLearner：面向语言模型的交互感知电路发现方法
研究者提出 witness-integrated set effect（WISE）因果估计量，在 witness 机制上对原因集合与 witness 集合取期望，避免组合枚举，从而在计算上可行。基于该方法，他们提出基于梯度的电路发现方法 JuntaLearner，按组件在不同规模组件与 witness 集合中的因果影响对组件排序。作者同时引入必要性、任务特异性指标以及电路识别分数（CRS），用于在电路规模上汇总各指标并突出小电路取得的效果。在规模递增的多个任务与模型上，JuntaLearner 在所有指标上的平均 CRS 均高于归因基线；其成本不随候选组件数量增长，因此可扩展到大型模型，同时考虑集合级交互并避免一阶近似。