全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：越狱、提示注入、投毒与防御
HARP：在硬资源约束下为 LLM 评测动态分配预算
研究者提出 HARP（Hard-budget Allocation with Reflow for Predictive calibration），一种在硬性资源约束下为 LLM 多轮交互评测动态分配预算的方法。该方法把评测建模为时间到事件问题，即产生越狱成功或智能体任务完成等目标事件所需的交互步数，并在算力有限导致轨迹被提前终止、事件时间仅被部分观测（删失）的情况下自适应重新分配未用预算。作者证明 HARP 不会超出目标预算，其下预测界（LPB）具有有限样本覆盖保证，且指标估计无偏。在智能体任务成功、LLM 越狱、有害内容生成和 RAG 幻觉等实验上，HARP 的覆盖率接近名义水平且方差较低，同时始终不超出给定预算。
- 论文arXiv：越狱、提示注入、投毒与防御
ATLAS：用自适应信任域与主动学习搜索潜在对抗样本集
ATLAS 是一个基于查询的黑盒对抗攻击框架，将攻击生成建模为主动学习中的水平集估计问题，结合校准近似与局部-全局采样架构定位并采样包含对抗样本的输入区域。在 MNIST、CIFAR 和 ImageNet 的标准与对抗训练模型上，ATLAS 生成的对抗样本比 NES、SignHunter、BayesOpt 等查询式黑盒攻击更具代表性，并在有限查询预算下覆盖更多对抗区域。该框架可用于开发中系统的鲁棒性分析与持续审计。
- 论文arXiv：越狱、提示注入、投毒与防御
SSRFT：以安全角色内化替代拒答模式的 LLM 安全对齐框架
研究者提出 SSRFT（Supervised Safe-Role Fine-Tuning），将安全对齐重构为对预设安全角色的内化，而非训练显式拒答模式。该方法基于心理测量题、少量越狱提示词和安全角色描述构建 SRQA 数据集，合成并验证角色一致的回答后扩展至多样场景。在多个 Base 与 Instruct 模型上，SSRFT 比标准 SFT 对预填充攻击更鲁棒、对未见越狱领域泛化更好，同时减少对良性查询的过度拒答并保持通用能力。
- 论文arXiv：越狱、提示注入、投毒与防御
研究受控拆解图像到文本越狱中图像属性的作用
研究者在 313 条 StrongREJECT 提示切片上，用五个多模态模型（附录另测 InternVL3.5-8B）考察四类已发表攻击家族中的图像侧因素，并保持有害指令不变。结果显示，单独的有害查询无论是否配无关良性图像，在多数模型上攻击成功率都很低，而攻击图像会显著提高成功率。逐 tile 熵和 JPEG 体积无法可靠区分攻击 tile 与体积匹配的良性干扰图，限制了仅靠密度筛查的做法；此前的 tile 数量阶梯实验受载荷可见性混淆，修正后的区域数量测试未发现可检测效应。在 Qwen3-VL-8B 上，移除查询相关性的 E4 操作使攻击成功率下降约 0.12，支持将部分效果归因于相关性操作，但图文一致性仍未测量。五项测试通过全局统计校正，仅 E4 支持归因到单一测量描述符，结论仍以评分标准判定为前提。
- 论文arXiv：越狱、提示注入、投毒与防御
APEX：在 LLM Agent 执行边界主动防御间接提示注入
研究者提出 APEX，把间接提示注入的防御从识别攻击模式转向在执行边界检查每个待执行动作，即 Agent 将内部状态转为外部动作或输出释放的位置。APEX 在不受信任内容到达前把用户任务编译成授权契约，用两个机制读取它：WRAP 依据契约与运行时证据只放行可被证明授权的动作和参数，PLANT 在契约背书的依赖通道上放置探针，使未被任务背书的信息在使用时暴露。该方法只需对每个能力单元做一次与任务无关的注册，同一套中介逻辑统一适用于 Tool、MCP 和 Skill 调用，包括嵌套调用。在覆盖三类能力单元的六个基准上对比 13 个基线，APEX 在其中五个基准上攻击成功率为 0%，第六个为 0.56%，并在针对三类能力单元的自适应攻击下保持 0% 攻击成功率。代码已公开。
- 论文Hugging Face Daily Papers
SafeActBench 发布：工具型 Agent 在证据到行动链上的失败模式
研究者提出 SafeActBench，用 656 个案例覆盖六个操作领域和五种协议，考察工具型 Agent 从静态行动判断、调查后不行动到单步与多步工作流的失败位置。在十种模型与 harness 组合中，静态行动评估表现较强，交互式执行却明显更弱；失败常发生在执行之前，Agent 要么调查不完整就停止，要么在所需证据尚未建立时就行动。一旦证据齐备，单步执行通常可靠，多步工作流则暴露出未解决的前置条件和执行不完整。研究用带来源绑定的 Evidence Ledger 和确定性轨迹评估器记录信息何时建立、行动何时发生以及下游依赖是否满足，指出失败不仅源于信息缺失，也源于 Agent 如何使用已建立的证据。
- 论文arXiv：可解释性
研究：LLM 潜在空间去偏方向主要编码置信度而非公平性
剑桥大学与 Visa 风险与安全 AI 实验室的研究发现，通过对比偏见与反偏见提示激活得到的去偏方向主要编码模型置信度，而非偏见本身。研究在 Llama-3.1-8B、Falcon3-7B、Ministral-3-8B 和 Qwen3.5-9B 的基座与指令微调版本上训练线性分类器，该分类器在 BBQ 去歧义语境下区分偏见与反偏见提示的 AUROC 仅 0.57，但按最高与最低概率答案划分时 AUROC 达 0.94。在 MMLU 和 OpenBookQA 等不含社会偏见概念的数据集上，该分类器区分高低概率答案的 AUROC 仍高达 0.88。激活引导实验显示，沿去偏方向引导会降低模型置信度：在提供弃答选项时模型弃答率上升，BBQ 歧义提示的偏见分数从 0.08 降至 0.01，但去歧义语境的偏见分数基本不变；不提供弃答选项时各选项概率趋于均衡、熵上升。
- 论文arXiv：可解释性
AnyBottle：只保留真正需要的概念，构建紧凑任务专属概念瓶颈模型
AnyBottle 是一种构建紧凑、任务专属概念瓶颈模型（CBM）的方法，只需一个冻结骨干网络和一个无监督概念池（如稀疏自编码器），由在同一骨干上训练的黑盒教师模型逐轮引导概念选择，候选概念限定在师生分歧区域。模型按选择顺序做嵌套 dropout 训练，使最终瓶颈可从任意概念前缀准确预测，推理时对简单输入用更少概念、对困难输入用更多概念。在六个视觉和两个文本数据集、两种教师范式下，AnyBottle 比无标注基线概念更少、概念一致性更高，同时接近黑盒参考模型。
- 论文arXiv：可解释性
研究：LLM 比人类更易产生错觉模式感知并导致虚假推理
论文研究大语言模型是否表现出人类的错觉模式感知，即从随机数据中推断出并不存在的有意义关联。作者称这是首个针对 LLM 错觉模式感知的系统研究，将经典心理学范式改造为三项任务，并与人类行为做直接实证对比，发现 LLM 的错觉模式感知往往强于人类，模型倾向于把频繁出现的正面属性过度关联到多数群体或大型组织，也更易从模糊事件中构建因果叙事。为揭示机制，作者基于 Sparse Autoencoders（SAEs）构建特征可解释性框架分析内部表征，结果显示整体频率感知与分析性认知取向与错觉感知的出现相关。代码见 https://github.com/NusIoraPrivacy/illusory。
- 论文arXiv：可解释性
SteerScope：面向 LLM 引导方法的多维评测套件
研究者提出 SteerScope，一个双轴、多维的 LLM 引导方法评测套件，通过 15 项指标同时刻画引导效果与方法属性。该套件从语言质量、任务能力和安全与可靠性三方面评估目标效果与副作用，并用样本效率和样本敏感性等引导专属指标衡量泛化性与数据依赖。在匹配模型、任务和评测协议下，研究团队基准测试了覆盖 4 个家族的 23 种方法，包括提示、LoRA 和 SFT 等基线方法，并将套件作为可扩展代码库发布。结果显示，现有激活引导方法在效果与副作用的整体平衡上尚未超过 Prompt Steering 基线：在两个模型规模上，没有一种受评激活引导方法能在不带来更大综合副作用的情况下取得更高效果。研究还发现引导效果与副作用之间存在一致的耦合关系，在 OOD 提示下目标效果通常得以保持，但副作用往往更明显，尤其表现为指令相关性和流畅度下降；不同方法的样本效率特征差异显著。
- 论文arXiv：可解释性
GraphCast 大气河机制的机制可解释性研究
研究团队在 GraphCast 上训练稀疏自编码器（SAE），发现该 AI 天气模型将大气河强度（以积分水汽输送 IVT 衡量）作为稳定的内部变量进行计算，尽管 IVT 既非输入也非预测目标。标准 SAE 与 Matryoshka SAE 均能捕捉这一变量，后者还按重要性排序并揭示概念间关系；大气河概念贯穿模型各层，直接干预实验证实了其因果作用。
- 论文arXiv：可解释性
COMPASS：在语言模型中定位推理发生的注意力头
研究者提出 COMPASS，一种推理时激活引导方法，用于找出语言模型中承载推理的注意力头。该方法不依赖预定义的推理刻画，而是以模型自身直接作答的正确性作为信号，得到一条可诱发推理的潜在方向；该方向在多数注意力头的激活中可解码，但只有少数头能被有效干预。COMPASS 通过 logit 空间的归因分数识别这些头，并沿正确性方向引导其激活，只需每个头的激活统计量。在三个模型家族和多个数学基准上，COMPASS 优于所比较的激活引导基线，GSM8K 准确率平均提升 16 个百分点，并以少生成 20-70% token 的方式接近 CoT 准确率；干预无需重新拟合即可迁移到未见基准，消融实验显示正确性方向与承载它的少数头都不可或缺。
- 论文arXiv：可解释性
针对 LLM 谄媚的纵深防御：记忆门控对激活诱导与记忆诱导谄媚的评估
研究提出一个 2×2 纵深防御框架，将内部激活引导与外部记忆处理分离，在 MemSyco-Bench 上评估四种开放权重模型，涉及 10 个引导系数和五种记忆防御配置。其中三种配置为新设计：重写全部记忆、对每条记忆保留/重写/丢弃的 Router Gate，以及丢弃全部记忆。在 Llama 3.1 8B 上，Router Gate 配合轻度反向引导（α = -1.5）将评委平均谄媚率从 35.80% 降至 31.32%，平均准确率从 43.99% 变为 43.31%，但该下降在 149 个样本上不具统计显著性（配对 p = 0.08 至 0.63）。
- 论文arXiv：可解释性
BeFOND 将稀疏自编码器的推断与学习统一为自然梯度流
研究提出 BeFOND，一个无编码器的稀疏编码模型，把稀疏自编码器的推断与字典学习统一为同一变分自由能上的自然梯度流。该方法用循环 explaining away 减少重叠特征之间的干扰，并用 Fisher 预条件补偿稀有特征学习偏慢的问题。在合成数据上，其字典恢复与稀有特征检测优于 amortized 基线，且随叠加程度提高优势扩大；在语言模型激活上，单特征概念检测与选择性干预优于预训练参考 SAE，所用训练数据明显更少。其特征质量随字典宽度继续提升，而所评估的基线大多趋于停滞。
- 论文arXiv：可解释性
低秩激活引导实现参数高效决策算子：330K 参数匹配 1.33M 强化学习算子
研究者提出一种通过行为克隆训练的 System-1 决策算子，用 330K 参数即可匹配 1.33M 参数强化学习算子的性能，并将 3,685-token 的推演压缩为 6-token 决策且不损失准确率。rank-4 变体仅 23K 参数，为最强已发表技能算子的 1/58，足以应对 SearchQA 并接近满足 LiveMath。该方法在五个任务和三个骨干模型上可迁移，训练后数月发布的 LiveMath 题目上仍保持分布外增益。
- 论文arXiv：可解释性
超越线性表征假设：KANSteer 用非线性激活引导文本到图像模型
针对文本到图像模型中概念表征偏离线性方向的问题，研究者提出 KANSteer，用 Kolmogorov-Arnold Networks（KANs）将概念遍历建模为穿过中间状态的曲线，使引导方向可随概念变化并保持可解释性。在多个概念和文本到图像扩散 Transformer 上，其激活轨迹明显偏离直线，KANSteer 比线性引导拟合更贴近、对中间属性的遍历更平滑。
- 论文arXiv：可解释性
研究揭示 Transformer 拒答机制中的组件与维度稀疏性
研究将拒答激活引导分解为组件级干预，在四个开源权重模型上识别出足以复现完整行为效果的稀疏注意力与 MLP 组件子集。这些拒答方向集中在占上游组件 28% 至 48% 的稀疏机制中，仍保留 88% 至 101% 的引导效果；在这些机制内部，有效引导进一步集中在约 50% 的残差流维度上，保留组件机制基线的 85% 至 98%，与存在特权基结构的判断一致。作者据此认为拒答并非弥散编码于整个 Transformer，而是由结构化、可识别的机制组装而成，并将代码与原始实验结果开源在 https://github.com/wang-research-lab/Refusal_Mechanisms。
- 论文arXiv：危险能力与安全评测
研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器
研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。作者发现路由 logits 对多模态输入是否安全具有很高的预测性。在 Qwen3-VL 和 Kimi-VL 上，该检测器显著降低了 HoliSafe 基准上的安全错误，并泛化到安全模式不同的分布外基准 MISHard 和 MM-SafetyBench。作者认为，相比通过提示、监督微调或路由专家引导来干预模型行为与内部状态，直接读取自然涌现的信号并接入外部安全机制，可作为现有安全干预的简单、有效且非侵入式的补充。
- 论文论文追踪
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
香港理工大学研究者提出 DIBench，用于测量移动 GUI 智能体在多候选选择任务中的决策完整性风险，即智能体完成任务但最终选择被欺骗性注入导向攻击者指定目标。基准覆盖 7 个商业应用和 3 个模拟应用、5 类任务，在仅允许非特权 UI 内容的威胁模型下构造 8 种注入探针，包含 1,000 条干净实例和 36,672 条注入实例，并提供配对评测协议与决策完整性指标。在 4 个智能体框架和 7 个基础模型上的实验显示，以完成率为导向的评测会高估智能体可信度：商业应用中 AppAgent + Qwen2.5-VL 的 TCR 从 42.0% 升至 72.4%，同时 ASR 达 45.8%。注入还会减少探索与验证动作、促使智能体更早提交选择；检测、图像预处理和提示词提醒等常见防御带来的完整性提升并不稳定，检测对低显著性注入的召回率明显下降，预处理有时反而提高 ASR。
- 论文Hugging Face Daily Papers
研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正
新加坡 A*STAR、新加坡国立大学等机构的研究者在受控检索环境中测试了七个智能体，发现它们判断失效来源结果无用的准确率高达 97–100%，但多数并不会据此停止检索。研究用时间匹配对比 Δ 区分按时间、按截止期限和按证据停止三种策略，发现提示词允许凭记忆作答或给出推理模式会让智能体提前停止，但停止与证据无关；写明预算会把 7–8B 模型的停止点推到截止期限，预算翻倍时停止点随之移动。只有当框架强制执行整合步骤，即在连续五次判定无用后只保留 finish 动作，停止才跟随证据，所有模型的失效来源成功率上升，预算翻倍时停止点不变。该模式在 300 道新题上完成预注册复现，并迁移到 FEVER 事实核查；Qwen3-32B、推理模式和 RL 训练的 Search-R1 大多仍不整合，只有 Claude Sonnet 5 在无提示时部分做到。
- 论文论文追踪
论文提出 AI Agent 声明的可审计性框架
论文提出，要让关于 AI Agent 的声明可被核查，必须先明确其政策、范围、可据以判定的记录以及由谁记录，并在任何结论之前固定这些要素和决策规则。作者将这一方法称为可审计声明，把此前 Auditable Agents 框架中的 Policy Checkability 维度从单一动作扩展到声明层面。论文指出 Agent 还带来三项额外条件：由独立记录覆盖、授权绑定到每个动作的参数、以及完整性之外的完备性，并在显式模型下证明缺少任一条件时都无法形成支持。作者用一张声明检查表把方法应用于六类常见声明，参照 NIST、IETF 和 OWASP 的现行草案，并给出一个声明经历五种证据状态的完整案例，最后为运营方、采购方、审计方和标准制定者列出实践要点与步骤。
- 论文论文追踪
PEV 攻击利用嵌入向量加噪越狱六款开源权重模型
研究针对开源模型输入表示受到扰动时的拒答失效风险，提出PEV方法并在受控基准中测试多个模型，报告产生不安全输出的结果。结论限于作者的实验设置。
- 论文论文追踪
论文提出针对手语翻译与儿童安全过滤交叉地带的部署前审计框架
论文指出自动手语翻译（SLT）已进入消费产品，而面向儿童的 AI 与平台信任安全工具依赖文本过滤和诱导分类器做判断，使用 SLT 的听障儿童因此要经过一层翻译才能触达这些防护。作者称未发现任何公开记录的系统对两者做过联合评测，且主流已部署的 SLT 模型既未在 18 岁以下手语使用者上训练，也未做正式评测。翻译中若改变否定、参与者角色、保密性、紧迫性或求助表达，可能在不影响流畅度的情况下改变安全决策。论文为此提出一套以聋人视角为依据的部署前审计方案，包含失败分类、脱敏场景模式、四种对照条件和四项结果指标，计划以 Auslan 作为首个案例研究。该文为 5 页、1 张图，已被 NeurIPS 2026 Workshop on Child Safety in AI 接收为非存档海报。
- 论文论文追踪
研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度
Centific Research 的研究者提出 Trust Layer for Agent Evaluation，一个附加式后验审计框架，在已记录成绩旁标注该成绩是否可信，不修改原始分数。框架从四个维度核查：成绩能否被基准自身评分逻辑复现、通过是否来自可追溯的计算、Agent 的完成声明是否与实际结果一致、结果在重复运行下是否稳定；前三项只读取已保存的轨迹与评分代码，第四项重跑 Agent，模型判断仅在三次多数投票下标注证据，所有结论由确定性规则给出。84 个记录为通过的结果中仅 19 个（22.6%，95% CI 15.0–32.6）通过全部四项检查，且三分之一到一半被标记的任务只被单一维度捕获。作者称代码将在论文接收后发布。