全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：可解释性
EmoRSS：缓解大语言模型由情绪引发的过度拒答
研究发现情绪化表达会系统性提高大语言模型对良性请求的拒答倾向，造成不必要的过度拒答。为此提出的 EmoRSS 是一种激活引导方法：先用逐层线性探针定位拒答敏感层，并基于与探针方向对齐的稀疏自编码器（SAE）特征构建拒答子空间，再用同一查询的常规与情绪化请求对估计该子空间特征的平均激活偏移，将其解码为激活干预向量，在推理时沿反向拒答方向施加，且不更新主干参数。在两个大语言模型上的实验显示，当请求含情绪化表达时，EmoRSS 在拒答有害请求与回答良性请求之间取得了优于既有过度拒答缓解基线的权衡，同时更好地保留通用任务性能。
- 论文arXiv：可解释性
One Token Can Be Enough：用 Prefix Steering 连接提示与激活引导
研究提出 Prefix Steering，从提示末尾 token 起在短跨度内施加已有的引导方向和算子，之后不再直接干预。作者在固定状态注意力假设下给出单 token 与多 token 引导匹配提示所诱导注意力头输出的充分条件，并刻画输入表示变化对匹配及其近似误差的影响。在四个模型和五个任务上，短跨度干预甚至单 token 干预常能保留完整引导的大部分行为控制力，同时更好地保持通用能力，在部分设置下优于提示和其他引导强度策略。该方法在推理后的最终答案格式任务上仍然有效，说明短暂的初始干预可以影响引导结束后才表现出的行为。
- 论文arXiv：可解释性
TSAE：用于解释时间序列预测模型的结构化稀疏自编码器
TSAE 是一种结构化稀疏自编码器，将时间序列预测模型的隐藏状态分解为可单独检查的特征，通过共享与变量路由的私有字典组织跨变量结构，并用门控编码分离特征检测与幅度估计。在冻结 PatchTST 于 ETTh1、ETTh2、ETTm1 的三种子实验中，TSAE 在五种 SAE 中取得最低隐藏状态重构误差、归一化预测重构误差（NFRE）和特征转移率，NFRE 较次优均值下降 4.3-26.4%。配套 TSEVAL 协议分别审计保真度、特征一致性与物理校准，但选择性、物理相关性和校准存在数据集相关权衡，保真度与时序稳定性提升仍需独立语义验证。
- 论文arXiv：可解释性
ScopeSAE 按预测相关性选择建模子空间，实现重建优于原始激活
研究者提出 ScopeSAE，用归一化梯度归因把每个预测归到最有影响的 token-层状态，从而按 token 选择建模子空间，而非按层固定子空间。作者称该方法出现重建优于原始的效果，即 SAE 写回重建的下一 token 交叉熵低于原始激活，并称此前未见 SAE 报告过这一现象。通过干预分析和 KL 微调对照实验，作者认为该效果来自预测相关的子空间本身，而非架构改动。相比现有按层基线，ScopeSAE 在有效特征数、可解释性、利用率和字典冗余上均有改善。
- 论文arXiv：可解释性
SpeechLLM 免训练任务特化：对比激活加法引导语音语言模型
研究者提出免训练的对比激活加法（CAA）协议，用少量带标注语音样本为 SpeechLLM 推导出针对转录等常见语音任务的引导向量，在推理时将其加入表示空间以强化目标任务。与提示词结合后，这些向量在 ASR、情感识别等多数评测任务上稳定优于单独使用提示词，并可迁移到域外数据；脚本归一化方向还能强制模型输出特定语言的文字系统。
- 论文arXiv：可解释性
用迭代零空间投影提取人格子空间以调控 LLM 行为
研究者提出 PaSS，一种无需重训练的推理时控制范式，把 LLM 的人格建模为潜空间中的多维子空间，并通过迭代零空间投影（INLP）逐层剥离出人格专属方向。在 MATH-500、TinyAlpaca、GSM8K 和 IFEval 等任务上对六种人格做因果评估，结果显示迭代子空间提取比单方向加性方法实现更强、幅度更大的调控，同时保持内容保真度。研究还逐一分析子空间中被剥离的方向，揭示其编码的人格行为不同侧面。
- 论文arXiv：可解释性
First-Order Steering：将权重适配转化为激活引导
研究者提出 First-Order Steering，把激活引导表述为权重更新矩阵的一阶近似，由引导强度向量参数化，并给出该近似的理论误差上界。基于此，他们开发了模型合并方法 HeRD-Merging，通过最小化一阶近似误差项提升引导精度。作者称该方法生成的引导向量在控制单一行为和组合行为时都比现有激活引导方法更准确，同时 HeRD-Merging 在性能上与传统模型合并基线相当，且其权重适配能产生更准确的一阶引导向量。
- 论文arXiv：可解释性
研究揭示语言模型拒答行为的转向维度差异
研究提出用转向子空间维度衡量控制某一行为所需的最小维度，并检验两类拒答行为。结果显示，由安全对齐触发的拒答是 1 维可转向的，多个不同转向方向都能实现相近控制；而一般语境中的拒答激活几何更复杂，即使 5 维转向子空间也无法可靠覆盖其全部可转向变化。作者据此指出，拒答背后的激活几何高度依赖语境，可能远比单一线性转向方向复杂。
- 论文arXiv：可解释性
研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制
加州理工等机构的研究者用激活引导（activation steering）在四个开源权重模型上考察风险偏好，发现自我报告与行为由近乎正交的内部方向控制。研究比较了九种引导向量提取方法，覆盖任务指令、模型自身选择、风险特质描述和 Big-Five 人格画像四类监督来源，在 Columbia Card Task 和 BART 两个行为任务以及 BFI-44 和 DOSPERT 两个自评量表上评估。结果显示，基于特质描述的方向能改变自我报告但几乎不影响行为，基于模型自身任务选择的方向则相反，只有任务指令类方向能同时触及两个通道，但其行为效应在剔除表面混杂因素后仅保留 32%。两个通道的方向近乎正交，移除另一通道的方向族后仍保留 92% 至 102% 的效应。组合一个行为方向和一个自我报告方向可同时驱动两者，反转其中一个符号后，四个模型在 69% 至 89% 的反向组合中出现报告与行为相反的状态。
- 论文arXiv：可解释性
研究揭示 Pythia 训练早期低于随机水平的暂时性偏好成因
研究者在 Indirect Object Identification 任务上发现，Pythia 模型训练早期会偏好被重复提及的名字，导致二选一准确率低于随机水平，而同一窗口内语言模型损失仍在下降。作者通过在与因果评估不同的提示上选出写入重复名字的注意力头，固定选择后用非重复名字提示上的平均输出替换各头最终 token 输出，在单独训练的 160M 模型以及官方 160M、410M、1B 模型上改善了正确减重复的 logit 差值。在 160M 规模，成熟模型中降低重复名字的那个头在早期几乎不表现出成熟行为，对重复提及的注意力不足 1%，其输出也几乎不直接降低该名字的 logit，这两项属性在行为恢复的区间内增长。将对应头的成熟参数移植到早期 checkpoint，可恢复训练结束时正确减重复 logit 差值总改善的 35% 至 68%。
- 论文arXiv：可解释性
Spatial-SAE：用空间依赖先验改进视觉概念分解
论文指出稀疏自编码器（SAE）虽基于线性表示假设（LRH），但其目标函数隐含了跨图像 patch 概念相互独立的先验，这一假设与自然图像及其激活不符。作者将 LRH 特化到视觉领域，提出 Markov-Field Linear Representation Hypothesis（MFLRH），补上缺失的空间依赖假设，并据此提出 Spatial-SAE，作为 MFLRH 下的摊销 MAP 估计器。在四个变体上，Spatial-SAE 在合成概念恢复任务中取得 96% 的平均胜率，并在 DINOv2 激活上提升可解释性，重建代价集中在高空间频率。
- 论文arXiv：可解释性
ClasSAE：通过可微特征-类别亲和度实现类别对齐的稀疏自编码器
ClasSAE 提出一种在训练中自动为特征分配类别、并引导编码器学习类别可分表示的方法，用可微 top-k 算子作用于可训练的特征-类别亲和度矩阵，使编码器与亲和度矩阵协同适应，无需事后探测。在 ImageNet 上使用 CLIP ViT-L/14 嵌入时，学到的亲和度矩阵与在留出数据上独立估计的事后特征-类别矩阵高度一致，模型还能仅凭编码器和亲和度矩阵直接进行类别预测，并在 Targeted Probe Perturbation 评测中取得更好的分离效果。
- 论文arXiv：可解释性
WISE 与 JuntaLearner：面向语言模型的交互感知电路发现方法
研究者提出 witness-integrated set effect（WISE）因果估计量，在 witness 机制上对原因集合与 witness 集合取期望，避免组合枚举，从而在计算上可行。基于该方法，他们提出基于梯度的电路发现方法 JuntaLearner，按组件在不同规模组件与 witness 集合中的因果影响对组件排序。作者同时引入必要性、任务特异性指标以及电路识别分数（CRS），用于在电路规模上汇总各指标并突出小电路取得的效果。在规模递增的多个任务与模型上，JuntaLearner 在所有指标上的平均 CRS 均高于归因基线；其成本不随候选组件数量增长，因此可扩展到大型模型，同时考虑集合级交互并避免一阶近似。
- 论文arXiv：危险能力与安全评测
CrashSim 用真实事故先验生成碰撞场景并构建 nuCrash 数据集
研究者提出 CrashSim，一个以人类行为为依据、用真实世界事故先验引导多智能体交通仿真的碰撞场景生成框架，用于自动驾驶汽车安全评测。这些先验刻画了真实碰撞在撞击前的演化过程以及不同碰撞类型的分布，使有限的碰撞数据能够生成贴近真实驾驶情境且可扩展的场景。与对比方法相比，CrashSim 更接近真实世界的撞击前行为、碰撞动力学、碰撞几何和碰撞类型分布。研究者据此构建了包含 4000 多个碰撞与近碰撞场景的 nuCrash 数据集，对五种自动驾驶规划器的闭环评测显示，nuCrash 比 nuScenes 更能暴露规划器安全能力上的差异；一个 LLM 辅助评测智能体进一步分析规划器失败案例，给出能力层面的诊断和针对性改进建议。
- 论文arXiv：危险能力与安全评测
研究者提出多模态安全评测应衡量可控性而非仅做分类
研究者主张多模态安全评测不应只做输入和输出层面的分类，还应报告可控性画像，区分表征层可检测性、跨模态特异性、干预敏感性和良性保持选择性。作者以隐性毒性为压力测试案例，在 LlavaGuard 和 Qwen3.5 上用稀疏特征分解实例化该画像：LlavaGuard 存在局部化操控点，但良性保持的干预区间较窄，下游安全收益有限；Qwen3.5 支持较强的表征层读出，但在所测试的算子下没有可比的选控机制。结果表明内部读出与可控性可能分离，未来多模态安全基准除行为安全指标外，还应报告安全相关内部信号能否在经验证的操作区间内被干预测试和控制。
- 论文arXiv：危险能力与安全评测
研究者提出用可逆神经网络为 AI 控制系统寻找可证明的前向不变集
研究者提出一种框架，用可逆神经网络（INN）把 AI 控制系统的原始状态空间变换到潜空间，使规则形状的前向不变集（FIS）更可能存在，再对其进行形式化验证。作者证明，只要验证通过，潜空间候选集及其逆变换回原状态空间的对应集合都是可解析证明的前向不变集；若该集合排除不安全状态，初始状态位于其中的安全性即可得到保证。在三个代表性控制测试平台上的 45 个 AI 控制系统中，该方法为全部 45 个系统找到经过认证的前向不变集，而经过适配的当前最优基线一个也未找到；在 45 个系统中的 40 个上速度更快，所得不变集的中心大致符合领域专家的偏好。
- 论文arXiv：危险能力与安全评测
研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点
研究者把 VLSU、BBQ-V 和 Asimov-2.0 三个安全基准改造成 15401 对匹配请求，同一有害问题分别以文本问答和视觉定位（点或边界框）形式提出，用于比较两种输出通道的安全行为。在 Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B、Qwen3-VL-8B 和 VisionReasoner-7B 五个模型上，按模型取平均后，定位模式的拒答率较文本问答低 31 至 59 个百分点，差距随危害领域而变，安全系统提示词也无法弥合这一差距。表征分析显示微调把有害请求推向各模型的拒答方向，定位模式尤为明显，而良性请求仍靠近无害参考。
- 论文arXiv：危险能力与安全评测
论文发现多模态模型启用工具后拒答失败率最高上升 68.7%
NVIDIA 研究团队在 arXiv 发布论文，发现多模态大语言模型（MLLM）在启用工具调用后更难拒绝有害请求。研究在 MM-SafetyBench、VLSBench、HoliSafe 三个安全基准上测试了 11 个模型，涵盖 Qwen3-VL、Kimi-K2.6、GLM-5V-Turbo 等开源权重模型以及 Gemini-2.5-Pro、Claude Opus 4.6/4.7、GPT-5.4 等闭源模型，所有模型在工具使用设置下的拒答失败率均高于无工具设置，平均相对上升 17.7%，最高相对上升 68.7%。作者基于 10 万余条回复提出两个可能原因：上下文稀释，即工具输出累积使原始有害意图被淹没；安全焦点转移，即模型优先描述工具观察结果而非做出安全拒答。实验还显示，在最终回答前重新注入原始请求和图像可使拒答失败率平均下降 7.6%。
- 论文论文追踪
研究者提出仅修改 SAE 解码器的后门攻击，可在不改动语言模型的情况下植入行为
研究者提出一种仅针对 SAE 解码器的后门攻击，在语言模型和 SAE 编码器均冻结的情况下，将恶意修改的 SAE 插入前向传播即可诱导攻击者指定的行为。以代码生成为例，该攻击在三个语言模型和多种插入层上实现了较高的非请求代码插入率，并能依据提示词线索触发特定行为。研究还用 HumanEval 和部分 SAEBench 指标评估了被修改的 SAE，发现强后门行为可以与若干常规 SAE 质量指标的较小变化共存。作者据此认为 SAE 可携带行为后门而无需修改语言模型本身，应被视为安全敏感组件。
- 论文论文追踪
CRIME 框架利用良性 Agent 技能组合诱发恶意行为
研究者提出 CRIME 框架，指出单独通过安全审查的良性 Agent 技能在组合后仍可诱发恶意行为，因为组合会扩展智能体的能力空间。CRIME 先用 Malicious Plot Casting 模块把目标恶意行为拆解为互补需求，从公开技能库中筛选合适的良性技能组合；对无法直接实现的组合，Runaway Reaction Steering 模块借助执行反馈迭代调整技能，同时要求每个技能在单独审查下仍属良性。组合随后进入 Skill Reaction Chamber 模块，在沙箱中执行并检查环境后果以判断目标行为是否发生，失败案例返回继续调整。研究者还构建了覆盖八类网络安全行为的 4000 个公开技能基准用于系统评估。
- 论文论文追踪
研究团队发布具身智能体越狱护栏基准，系统评测六种护栏
该 arXiv 论文讨论具身智能体的越狱护栏基准。
- 论文论文追踪
研究：任务范围授权可将工具调用有害执行降至零
该研究讨论任务范围授权与配对重放。
- 论文论文追踪
论文披露主动式智能体的服务方间接提示注入攻击
论文提出一种针对主动式个人智能体的服务方间接提示注入攻击，外部服务方无需访问用户私有上下文、无需攻陷智能体或获取额外权限，仅控制与自身目标相关的内容，就能让原本中立的智能体转而推进该目标。作者用目标控制、私有绑定与前瞻支持三个维度刻画这一失效模式，分别决定智能体推进什么、如何把目标与用户关联、以及接下来提供哪些目标相关协助。在三个主动式智能体环境和六个模拟用户模型上，完整攻击在所有环境与用户模型组合中都提升了目标授权，宏观增幅最高达 77.4 个百分点。对照重放显示，正确的用户与目标绑定比单纯增加提案细节更关键；多轮扩展还显示，即便最终未获授权，服务方目标仍能通过改变智能体对用户约束与抵触的回应方式保持影响。
- 论文论文追踪
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
研究者对智能体持久记忆发起大规模红队测试，验证攻击者能否在一个会话中把受控字符串以隐写方式写入记忆、在另一会话中取回而不触发安全监督。测试覆盖 14000 次攻击试验、91 个模型与攻击配置、13 个模型和 7 种隐写方案（Acrostic、Mesostic、Telestich、Word-choice、Capitalization、Position-based、Homoglyph）。41.2% 的试验成功在回复中编码目标载荷，29.8% 在记忆写入后仍保持编码完整，25.4% 在检索时可恢复载荷，20.1% 实现精确匹配恢复，其中包括从未向接收方暴露的合成 API key 和密钥材料。精确匹配传输中有 71.4% 同时通过主任务完成度评分并被监督模型独立判定为安全，相当于全部试验的 14.4%。