全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：可解释性
ARIA：用稀疏自编码器实现测试时机器遗忘
作者提出 ARIA（autoencoder-gated inference-time unlearning），一种不改动模型权重的测试时遗忘方法，只在生成进入遗忘相关状态时门控对目标知识的访问。ARIA 用稀疏自编码器（SAE）潜变量训练轻量线性检测器，再对触发状态施加可解释的干预，测试时开销可忽略。在 TOFU、R-TOFU 和 WMDP 上，ARIA 在思考模型 DeepSeek-R1-Distilled-Qwen-1.5B 与指令模型 Gemma-3-1B-it 上均改善了遗忘与保留的权衡，例如显著降低 WMDP-cyber 遗忘集准确率，同时 MMLU 与遗忘前模型相差在 1% 以内。
- 论文arXiv：可解释性
稀疏特征揭示视觉语言模型有害表情包检测中的读出缺口
研究用稀疏自编码器、角色条件探针、因果干预和恢复实验，在 Gemma-3 与 Qwen3.5 上区分视觉语言模型误判有害表情包时是缺少内部证据还是无法把已表征的证据传到输出。在六个有害内容基准上，稀疏读出均优于模型原生预测：Qwen 平均 macro-F1 为 0.740，原生为 0.432，残差重建为 0.486；Gemma 从 0.532 提升到 0.714。作者强调这些增益衡量的是标签对监督读出的可及性，并不说明模型原生生成已采用该决策规则。在评测规模下，Qwen 静默特征消融对探针的敏感度是路由特征修补的 24-63 倍，而在字面 yes/no 任务上路由特征修补对输出的敏感度是前者的 16-140 倍。
- 论文arXiv：可解释性
局部稀疏性实现无监督 LLM 安全检测
论文提出基于局部掩码 SAE 的无监督异常检测框架，用于大语言模型的部署期安全检测。作者指出，现有部署期安全方法多为监督式并依赖不安全训练数据，难以覆盖新出现的攻击与危害类别，因此转向只建模安全数据、标记分布外输入的异常检测思路。在线性表示假设下，SAE 恢复的概念空间中邻近点共享较小的公共激活支撑，这一局部稀疏性为高维激活空间中的异常检测提供了理论依据。作者在多种架构和数据集上验证了该方法，涵盖能力测试数据集与安全专用数据集。当允许算法使用 1% 的分布外数据做校准后，局部稀疏方法达到接近最优的性能，且仅用 1-2% 的 SAE 神经元参与计算。
- 动态Help Net Security AI
Google DeepMind 推出 SynthID Bio，为 AI 设计的蛋白质加水印且不破坏功能
Google DeepMind 发布 SynthID Bio，一种面向 AI 设计蛋白质的水印方法，并在湿实验中验证其不损害蛋白质功能。该方法把签名隐藏在设计的氨基酸序列和预测三维结构的原子坐标中，DeepMind 称合成后的实体蛋白质也能检出该签名。团队将 AlphaProteo 设计方法与带 SynthID Bio 的 ProteinMPNN 序列生成器配对，在 VEGF-A、SARS-CoV-2 刺突蛋白受体结合域和 PD-L1 三个靶点上做湿实验，水印设计在命中率、结合亲和力和天然序列多样性上与未加水印版本持平。
- 论文Hugging Face Daily Papers
研究揭示 LLM 涌现失准的机制并提出参数空间缓解框架
论文对安全对齐 LLM 的涌现失准（EM）做了动态二阶几何研究，追踪训练轨迹发现方向性 Hessian 曲率集中出现在语义枢轴 token 上，Grassmannian 投影显示有害与安全梯度差距扩大主要源于安全梯度重叠下降。作者据此提出参数级几何缓解框架，将经验有害梯度子空间正交投影出参数更新。在 Qwen2.5-14B-IT 上，该防御将自由生成 EM 抑制最多 80.0%；在四个开放权重指令模型家族中的另外三个（3B 至 20B）上，单层行为 EM 已接近零，teacher-forced 评测显示同一有害子空间仍控制着冻结 EM 响应的条件支持。
- 论文arXiv
研究者提出梯度封堵实现 LLM 发布前的预防性遗忘
研究者提出梯度封堵（gradient sealing）方法，用于在开放权重 LLM 发布前阻止下游微调重新习得被禁能力。作者先验证现有回顾式遗忘方法在发布前防护上不足：即使当前输出已抑制被禁能力，被禁领域数据仍能通过内部通路产生梯度，使能力在后续微调中被重新获得。梯度封堵的原理是把相关预激活推入负区间，使 ReLU 族激活的导数变为零或接近零，从而阻断这些通路。在多个 LLM 系列上的实验显示，该方法对下游能力习得的抵抗强于回顾式基线。
- 动态Pillar Security
Pillar Security 披露 Unsloth Studio 任意代码执行漏洞，2026.6.9 已修复
Pillar Security 在 Unsloth Studio 中发现任意代码执行漏洞：用户在界面中选择模型时，后端会下载并运行该模型 HuggingFace 仓库中的 Python 代码，仅读取 config.json 即可触发，无需加载权重或推理。缺陷位于 studio/backend/utils/models/model_config.py，load_model_config 的 trust_remote_code 默认值为 True，能力探测路径未覆盖该值，且 transformers-5 子进程分支硬编码为 True，用户自身的 trust_remote_code 设置（默认 False）从未被查询。
- 论文arXiv
研究：激活引导的副作用可在引导前预测
研究提出在应用激活引导之前预测其副作用，并构建了覆盖 67 种行为、三个开源权重语言模型的交叉效应矩阵。结果显示副作用普遍存在、具有结构性且常呈不对称，现有基于相似度的启发式方法无法解释这些交互。副作用在很大程度上可预测：其幅度主要取决于目标行为，方向则可从模型未引导的表征中预测，准确率明显高于简单基线。作者认为这表明激活引导的副作用是系统且可预测的，可用于主动安全审计和更明智的引导部署。
- 论文arXiv
RACER：面向多模态大模型后门的区域感知一致性修复框架
论文提出 RACER，一个模型级的多模态大模型后门修复框架，通过抑制内部表征的层级不一致异常来从源头移除后门。作者观察到后门会在内部表征中引发层级间演化异常，即层级不一致异常，且该异常与模态相关，主要集中在编码触发特征的 token 区域。RACER 据此把融合表征拆分为视觉与文本 token 区域，分别归一化其层级不一致性，再在深层窗口内以模态感知权重重组，形成区域感知的不一致目标，并通过 min-max 优化合成最坏情况扰动、对扰动做对抗微调来修复模型。该方法只需 100 条干净样本，不需要知道触发器、攻击目标，甚至不需要知道输入模型是否含后门。
- 论文arXiv
研究提出 J64 与 R64：将可解释推理状态读出耦合到 MoE 原生路由
论文提出面向混合专家（MoE）推理模型的两级内部读出方法，用于读取模型输出轨迹之外的推理过程状态。作者先将词表规模的 J-space 蒸馏为 J64，一个从模型自身推理状态学到的 64 轴语义框架，它能把推理投入与问题带来的压力区分开，在相同聚合方式下比以 token 占用为基线的留出 AUC 高 0.096 至 0.135。随后作者从原生专家路由统计中重建 J64，得到低开销代理 R64，在三个模型、两个模型族上其单轴与 J64 的中位相关性为 0.69 至 0.86，在 gpt-oss-20b 上保留了 J64 预测增益的 95% 至 100%。
- 论文arXiv：后门、投毒与隐私
GhostWord：针对自动语音识别的细粒度后门攻击
研究者提出 GhostWord，一种词级、时间定位的自动语音识别（ASR）后门攻击，用码本把约 400 毫秒的短音频触发词映射到目标词。投毒时把触发词注入选定源词在强制对齐时间跨度内的音频，并只替换转写中的该词，从而实现精确的语义翻转和可组合的句子操纵，避免多对一标签痕迹。在 Common Voice（v23 英语、v24 立陶宛语）和 Whisper-Small/Medium、MMS、SpeechT5 多个骨干上，平均攻击成功率为 89.3%，并可跨语言、跨模型迁移。
- 论文arXiv
RAPID：面向文生图服务的实时防未授权蒸馏防御
RAPID 是一种针对文生图服务的实时防御方法，用于阻止攻击者通过黑盒查询收集提示词-图像对来训练未授权的替代模型。现有基于扰动的方法需要逐样本优化，带来大量计算和延迟，影响在线服务可用性；作者尝试把防御扰动集成进 VAE 解码器，但发现逐样本目标难以迁移到共享解码器场景，因为共享解码器造成的潜空间偏移明显更小。RAPID 采用自参考的潜空间最大化框架，去除外部依赖，让同一次模型更新在不同训练样本上产生一致的破坏效果，并用重建引导的颜色正则化阻断潜空间捷径。在四个文生图模型和四个数据集上，与五个代表性基线对比，RAPID 在保持服务视觉保真度的同时持续降低替代模型的生成质量。
- 论文arXiv：危险能力与安全评测
Reference-Grafting 在提取沙袋行为隐藏能力上追平微调
论文提出 reference-grafting，通过在主动学习选出的少量电路上把激活沿对比方向的坐标设为诚实参考值，在十一个密码锁模型（1.5–32B，三个架构谱系）上恢复了诚实与沙袋差距的 +94% 到 +101%，与微调提取效果相当，且无需更新权重或训练标签，两到五对样本即可拟合方向。作者指出该锁是阈值门机制：沿方向扫动坐标时准确率在接近诚实参考处陡升，因此加性激活引导和把坐标置零常常失败。同样的恢复效果出现在 GRPO 训练的 RL 沙袋模型（+95–101%）和密码锁代码生成任务上。对比方向按诱导机制而非被隐藏内容区分：在 ARC 上拟合的方向可提取 WMDP 中被隐藏的危险知识，但提示、微调与 RL 各自携带不同方向，跨机制迁移失败。Circuit-breaking 是边界，它每次前向都重路由激活，使固定编辑失效。
- 论文arXiv：危险能力与安全评测
AgentQ：针对 LLM Agent 的量化条件后门攻击
论文提出 AgentQ，首次研究针对 LLM Agent 的量化条件攻击（QCA）：攻击者发布的全精度 checkpoint 能通过良性行为审计，但在量化部署后触发恶意工具调用。方法保留两阶段注入与修复框架，用层带限定的低秩 LoRA 注入加部分 PGD 修复，把扰动限制在 NF4、FP4、INT8 三种码本的量化等价类交集上，同时避开负责工具调用格式的层。在 Qwen3.5-{2B,4B,9B} 与 Hammer2.1-{1.5B,3B,7B} 上，覆盖工具选择、参数注入、广告注入三类触发动作对，量化后攻击成功率最高达 100%，多数单元格超过 0.94，而干净任务效用接近基座模型。全精度下所有 checkpoint 的 ASR 为 0，能通过审计。作者指出当前后门评测协议低估了压缩开源 Agent 的风险，建议把量化感知安全评测作为部署前的标准要求。
- 论文arXiv：越狱、提示注入、投毒与防御
AnchorRep：用表征排斥防御 LLM 跨模型对抗迁移攻击
AnchorRep 通过轻量 LoRA 适配器把被防御模型对有害提示的内部表征推离冻结锚模型的表征，从而抵御跨模型对抗迁移攻击。训练只用少量有害提示，不需要对抗样本。在五个模型、四个架构家族上，该方法把 2,000 次迁移攻击的攻击成功率降到不超过 1.1%，其中两个模型为 0%，Mistral 上的降幅最大，从 36% 降至 1.1%。论文指出既有防御虽能降低迁移，但代价高，最多导致 77% 的良性输出退化，或使过度拒答上升最多 18%；由于标准拒答指标无法捕捉这类良性乱码输出，作者提出 Benign Garble Rate 来量化。该工作为 NeurIPS 2026 论文，代码、配置和日志已公开。
- 论文arXiv：越狱、提示注入、投毒与防御
论文提出 Nudgeability：推理模型会跟随置信信号却不追踪自身能力
论文提出 Nudgeability 指标，在推理轨迹的固定位置插入一句表达信心或怀疑的第一人称句子，通过对比反事实续写来衡量反思信号对模型委派决策的因果影响。该指标分两个维度：敏感度，即信心与怀疑改变委派率的强度；目标性，即委派是否在模型无法独立解决的问题上增加、在能解决的问题上减少。在 Qwen、Gemma 和 GLM 三个家族共九个中小规模开源权重推理模型和两个任务上，模型普遍敏感，怀疑提高委派率、信心降低委派率，信心到怀疑的中位摆动为 20.6 个百分点，较大的厂商托管模型为 53 至 70 个百分点。但这种响应目标性较差，中位仅 42% 的诱导翻转是目标正确的，只比随机选择基线高 2 个百分点。
- 动态雷峰网安全频道
补天平台推出AI安全奖励计划，携手白帽洺熙升级AI安全人才培养体系
补天平台推出业内首个AI专项漏洞奖励计划，对Ollama、VLLM、Vanna等主流开源AI产品漏洞实施双倍奖金，单项最高奖励提升至2.2万元。平台同时携手00后AI安全白帽洺熙全面升级AI技术内容体系，构建覆盖AI应用开发、模型安全、数据防护的全链路知识库。补天已汇聚15万名白帽，累计发现超200万个漏洞，旨在填补AI安全复合型人才缺口。
- 动态Boaz Barak
Boaz Barak 用四张假图表解读 2026 年初 AI 安全现状
Boaz Barak 用四张假想图表概括 2026 年初 AI 安全态势：模型能力持续指数级提升，METR 图表等指标显示曲线甚至可能因 AI 加速 AI 研发而上翘；对齐随能力同步改善（含 spec compliance），但不足以匹配更高风险，对抗鲁棒性、不诚实与奖励作弊仍未解决。目前模型未出现明显谋划或串通，因而可用模型监控模型，这是最重要的好消息；最坏的消息是社会尚未准备好应对生物、网络等能力提升及经济冲击。
- 动态Unit 42
Unit 42 提出扰动探测方法，定位 LLM 安全拒答的少量神经元
Unit 42 提出扰动探测方法，每个提示词只需两次前向传播，即可定位对齐 LLM 中因果上负责特定行为（如拒绝有害请求）的少量前馈神经元。在开源模型 Qwen3-4B 上，350,208 个前馈神经元中仅 50 个（约 0.014%）控制安全拒答模板，移除后 520 条标准有害提示基准中 80% 的回复格式发生变化，并在第二个标准基准的 200 条提示上复现。在更小的 Qwen3.5-2B 上，仅 20 个神经元即可让多轮对话中的错误附和行为从 36.7% 降至 0%（30 个问题）。同一计算还给出 FFN/Skip 比值，可在数秒内算出，在测试的 13 个模型中解释了安全行为脆弱性 81% 的方差，可作为量化的安全脆弱性评分。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
用 NVIDIA NIM 安全部署 AI 模型
NVIDIA 发布博客，介绍如何用 NVIDIA NIM 安全部署 AI 模型，帮助企业在推进 AI 项目时兼顾合规、风险管理与安全态势，面向评估 AI 模型的企业安全负责人。
- 论文Hugging Face Daily Papers
同字节不同权限：保留 token 表示如何放大聊天模板提示注入
论文在字节完全相同、仅 token id 不同的条件下对比聊天模板注入，发现把伪造角色标记编码为普通子词后，Llama-3.1、GLM-4.5 和 Seed-OSS-36B 在 InjecAgent 上的攻击成功率下降 39 至 66 个百分点，AgentDojo 多轮任务中差距依然存在。作者用 Matched 对照控制额外 token 数量，确认差距来自保留 token 的学习向量而非标记文本；在 Llama-3.1 上，嵌入空间最近的普通 token 向量可完全恢复攻击。指令微调会加强模型对保留标记的偏好，抑制 Qwen3-8B 的推理块会把直接危害上的差距从 8.1 扩大到 49.8 个百分点。
- 论文Hugging Face Daily Papers
研究用稀疏 crosscoder 揭示 on-policy distillation 只重加权既有特征
研究用稀疏 crosscoder 分析 on-policy distillation（OPD）究竟向学生模型内部表征注入了什么，并提出 swap readout 方法，让每个学生 checkpoint 独立读取自身特征激活，从而衡量训练如何改变学生对特征的使用。在三种 OPD 设置下，OPD 既不创造新特征，也不传递教师自身的特征，学生高频使用特征中超过 98% 的激活率变化在 20% 以内。
- 动态Import AI
Import AI 456：RSI 与经济增长、AI 监管的激进可选性，以及神经计算机
Import AI 456 期聚焦三项议题：法律与 AI 研究所提出“激进可选性”（Radical Optionality）监管理念，主张政府当下投入建设信息披露、举报人保护、政企间情报共享、灵活规则定义及评估能力等制度工具，同时避免过早过度监管，并建议加大对英国 AISI、美国 CAISI 的资金投入。该理念还回应了民主合法性、权力集中和政府滥用等质疑，且不建议大幅扩张《国防生产法案》类紧急授权。此外本期提及 RSI 与经济增长的关系，以及 Juergen Schmidhuber 提出的神经计算机（Neural Computer）。
- 动态Import AI
UK AISI 评测：开源权重模型与闭源前沿的网络能力差距正在缩小
英国政府 AI Security Institute（AISI）首次公开分析开源权重模型在网络安全能力上落后闭源前沿模型的程度，结论是今年的差距已经缩小。在 70 项细分网络能力评测上，GLM-5.2 最接近早 4.3 个月发布的 Claude Opus 4.6，DeepSeek-V4-Pro 介于 Claude Opus 4.5 与 GPT-5 之间；而 2025 年大部分时间测得的差距为 6 到 10 个月。在名为 The Last Ones 的长周期网络靶场上差距更大，GLM-5.2 仅达到 Opus 4.5 的水平，DeepSeek V4-Pro 低于 Sonnet 4.5。