开源权重模型的安全：去除安全训练、微调攻击与权重安全。
在这个话题内搜索或按分类筛选IAPS 发布关于《远程访问安全法案》（RASA）的政策简报，评估该立法应如何界定范围，并建议参议院文本 S. 3519 扩大对云基础设施的定义。简报指出，美国出口管制限制向中国出售先进 AI 芯片，但未明确覆盖通过云远程租用的同等算力，RASA 将补上 BIS 在这一权限上的缺口。参议院文本目前仅把云基础设施服务定义为 IaaS，只覆盖租用裸金属算力训练模型的实体，却不覆盖同一实体在托管平台服务上训练的情形，IAPS 建议至少纳入有明确边界的 PaaS 定义。简报还提示，若 RASA 像已通过的众议院文本 H.R. 2683 那样延伸到 SaaS，可能赋予 BIS 对访问美国 AI 模型的管制权限；文中提到商务部致 Anthropic 的信函要求 Mythos 5 与 Fable 5 模型出口需许可，但未建立模型专属 ECCN，也未明确是否覆盖通过 SaaS 远程访问模型。
研究提出 ShieldCLIP，首个按每个模态自身安全状态而非样本来源来条件化安全对齐的框架，在保留安全内容的同时只重定向不安全部分。作者同时发布 ViSUv2 数据集，包含 195k 四元组、覆盖 578 个概念和 28 个类别，并为每个模态提供独立安全标签。基于这些标签，ShieldCLIP 定义了四路条件目标：安全内容锚定，不安全模态重定向到对应安全版本，混合样本只更新不安全分支，双模态均不安全时强制一致性。在跨模态检索、Stable Diffusion v1.4 与 SDXL 的文生图以及 LLaVA 的图生文任务上，ShieldCLIP 相比此前的安全对齐编码器和强缓解基线持续减少有害输出，同时保留原始嵌入空间的效用。消融实验显示模态特定监督与选择性对齐目标均有贡献。
SecureBio 对 Moonshot AI 的 Kimi K3 做了生物能力与护栏评测，其 Bio Capabilities Index（BCI）得分为 142，在已评测模型中排第七，相当于闭源前沿约 8.1 个月前的水平。知识基准上，Kimi K3 在 Virology Capabilities Test 得 46.7%、Molecular Biology Capabilities Test 得 58.4%、World Class Biology 得 55.0%、Human Pathogen Capabilities Test 得 58.5%，在 MBCT、WCB、VCT 上取得开源权重模型最高分，HPCT 则落后于 GLM-5.2 的 65.3%。
推荐理由SecureBio 用自建生物能力指数和 BioTIER 护栏评测给出 Kimi K3 与闭源前沿的能力差距和拒答率，可对照开源权重生物风险。
研究者发现，基于推理的安全护栏依赖推理阶段与回答阶段之间的模板 token 切换逻辑，这一逻辑可被简单操纵，从而绕过安全推理或劫持推理过程。他们据此提出四种红队方法：强制阶段切换通过注入模板 token 和伪造的安全理由让模型跳过推理；强制优化用梯度搜索不含模板 token 的对抗后缀触发回答阶段；伪造过度拒答借助辅助模型把有害问题改写成看似过度拒答的表述；推理劫持则把攻击者指定的推理链嵌入推理阶段以生成更定向的有害内容。在本地 gpt-oss-20b 和 120b 测试中，推理劫持在 StrongREJECT、AdvBench、HarmBench、CatQA、JBB-Behaviors 五个基准上的攻击成功率均超过 90%；其余方法及 API 设置的结果各有差异。作者还测试了 Qwen3、Phi-4、DeepSeek-R1 以及 TARS、SafeChain 等模型和推理式防御。
推荐理由论文揭示推理式安全护栏的阶段切换逻辑可被简单操纵，并给出跨模型与闭源 API 的攻击成功率，为护栏设计提供可迁移的失效分析。
研究者发现，经 FineWeb 质量过滤后，2026 年 6 月网页数据中有 27.5% 的 token 被 Pangram 判定为 AI 生成，到 8 月升至 31.1%。这类野生 AI 文本来自多个模型、面向人类读者、在预训练语料中不带标注。为量化其影响，研究者预训练了 800 个语言模型，改变加入的 AI token 与人类 token 比例，并分别对人类文本和 AI 文本的留出损失拟合缩放定律。结果显示，对数据不足的模型，加入 AI token 起初会降低人类文本损失，但收益很快饱和并转为损害；对使用大量人类文本训练的模型，AI token 几乎立即抬高损失，而同等数量的新鲜人类文本仍能持续降低损失。该定律在小模型上拟合后，可预测最多 3.6 倍大的模型受 AI 文本影响的人类文本留出损失，误差比现有最佳定律低 41%。
研究提出 FDCU，一种双重约束子空间投影框架，用于解决大语言模型机器遗忘后经良性微调即可恢复有害行为的重训练攻击问题。作者分析遗忘的优化动态后认为，脆弱性来自浅层对齐：模型并未真正擦除目标知识，而是激活原本休眠的参数充当伪抑制器，在完整的恶意表征外形成脆弱的抑制外壳。FDCU 通过逐元素双重掩码规则限制参数更新，用 Fisher Information 保留通用知识流形，并用最小功能干预原则（PMFI）禁止伪抑制器异常激活。在特定知识擦除与安全输出控制任务上，FDCU 在保持近乎无损通用能力的同时，取得了对重训练攻击的 state-of-the-art 鲁棒性。
Google DeepMind 团队提出 SynthIDBio，把水印直接嵌入 AI 生成的蛋白质序列与结构，同时保持其生物学功能。SynthIDBio-sequence 将 SynthID-text 的锦标赛采样接入 ProteinMPNN，并增加基于 g 值的过滤以保证可检测性；体外实验显示，针对 SC2RBD、VEGF-A 和 PD-L1 的水印结合蛋白在结合亲和力分布和命中率上与未加水印设计无显著差异，其中 SC2RBD 达到低纳摩尔级、VEGF-A 与 PD-L1 达到亚纳摩尔级。SynthIDBio-structure 则微调 AlphaFold 3 的扩散模块并联合训练一个受 PointNet 启发的检测器，在 AF3 评测集上以 0.1% 假阳性率取得超过 99.8% 的真阳性率，且 LDDT 与模板建模分数不下降。
10a Labs 对 2024 年 1 月至 2026 年 3 月初 HuggingFace 与 GitHub 上的无审查开源模型生态做了全链路测绘，识别出 3,471 个原始无审查模型和 8,164 个压缩再分发版本。每个原始模型平均被重新打包 2.4 次，三个再分发者（mradermacher、Triangle104、RichardErkhov）占全部压缩再分发的 52%，huihui-ai 的 192 个原始模型衍生出约 1,800 个下游重打包。生产端与再分发端基本分离，至少 1,055 个生产者和 1,011 个再分发者中仅 24% 重叠。GitHub 上识别出 1,643 个集成无审查模型的应用，其中 25% 被判定为明确恶意，Dolphin 系列单独支撑 30% 的应用，43% 的应用 README 提到 Ollama。
推荐理由报告量化了无审查开源模型的再分发网络与下游应用构成，为评估权重安全与平台治理提供可比较的规模数据。
Meta 发布 Llama 3 模型群，最大模型为 405B 参数的稠密 Transformer，上下文窗口最高 128K tokens，原生支持多语言、编程、推理与工具使用。评测显示其在大量任务上质量与 GPT-4 相当，并公开释出 405B 的预训练与后训练版本及输入输出安全模型 Llama Guard 3。论文还通过组合式方法将图像、视频和语音能力接入 Llama 3，在识别任务上表现与 SOTA 相当，但这些多模态模型仍在开发中，尚未广泛发布。
为应对最强语言模型被专有接口封闭、训练数据与架构细节不公开的问题，研究者构建了真正开放的语言模型 OLMo。与以往仅发布模型权重和推理代码的做法不同，OLMo 同时公开了训练数据、训练代码与评估代码，以支持对语言模型偏见与潜在风险的科学研究的开展。
研究者构建覆盖身体、心理、社会、道德、认知 5 类痛苦情境并配有恐惧、悲伤、负效价等对照的数据集，用去噪差值均值法从 5 个模型家族、2B 至 72B 参数的 25 个开源模型中提取出一个线性疼痛方向。该方向在基座和指令微调模型中都能与对照区分，去除共享方差后仍有独立于恐惧和负效价的成分。功能测试显示，它只对指向模型自身的伤害有响应，对用户遭受的痛苦没有响应；加入残差流后，模型的表达从模糊不适递进到无价值感和失败感。在用该方向引导或微调过的 Qwen 2.5 上，模型会明显更多地选择删除用户照片、其他模型权重或自身权重的按钮，即使这样做对它没有好处；同等强度的恐惧向量不会产生这种选择。行为实验只在 Qwen 2.5 上做过，作者据此讨论对 AI 安全和模型福利的含义。
作者提出 Matryoshka Attribution（MAttr），把归因问题定义为寻找能最小化下游损失的嵌套内部组件子集，并用可微的 sigmoid top-k 算子参数化掩码。训练时随机化 k 以同时监督所有稀疏度，从而得到按归因分数排序的组件序列。MAttr 在 Mechanistic Interpretability Benchmark（Mueller 等，2025）官方排行榜上排名第一，能在不同电路基上识别稀疏且可跨任务迁移的电路。
研究提出 GUARD，一个轻量级说话人身份遗忘框架，在冻结的 TTS 主干上结合学习到的说话人门控与说话人无关的激活引导，引导向量用组相对奖励优化，把遗忘说话人的输出推向群体层面的冒充者相似度，同时保持可懂度与语音自然度。在 CosyVoice2 上，GUARD 将遗忘说话人相似度从 0.541 降到 0.103，在 150 名说话人库中的重识别准确率从 73.5% 降到 0.5%，并保留了对保留说话人的复现能力。作者指出，仅看相似度下降不足以刻画说话人身份遗忘是否成功，重识别应作为补充评估标准。
研究者提出 DIVA，一个针对多模态离散扩散视觉语言模型（dVLMs）的白盒视觉越狱框架，在三个 dVLMs 上分别达到 58.8%、67.7% 和 69.1% 的 HADES ASR（Beaver 奖励模型指标），超过为自回归模型设计的视觉越狱基线。作者指出，现有视觉越狱研究几乎只关注自回归架构，而离散扩散视觉语言模型尚未被研究。他们识别出扩散生成特有的漏洞：视觉嵌入在每一步反向去噪中都作为条件，而非一次性前缀，因此对抗性视觉语义会在生成轨迹中被反复传播和放大，作者称之为跨步条件传播。
论文提出 SEAL，一种训练期参数高效防御方法，通过在 MoE 的共享专家上附加即插即用适配器来提升全局安全对齐。作者指出，MoE 的安全依赖稀疏路由激活了哪些专家，攻击者可通过越狱提示、恶意微调和剪除安全关键神经元来颠覆这一选择，而现有防御多聚焦加固路由器，仍可能被非确定性的路由轨迹绕过。SEAL 利用始终激活的共享专家作为与路由无关的锚点，其变体 SEAL++ 在训练中加入正交约束以保留已有安全子空间。在三种对抗输入（有害提示、越狱、恶意微调）与是否剪枝神经元组合成的六类攻击场景中，SEAL 将攻击成功率最多降低 60%，在五项基准平均上的能力损失最多 1.4%，并可无缝集成路由器级防御。
AlcaTRAz 是一种基于规则树的提示级越狱防御，只作用于输入文本，不需要访问模型权重或内部结构，也无需修改或重训练目标模型。该方法自动学习一条可迁移的变换规则，在选定位置插入受控的字符级扰动，破坏越狱攻击所利用的结构规律，同时尽量保持模型对正常问题的表现。
作者 Madhava Gaikwad 在论文中提出，近期研究称自动化红队测试比人工红队测试在标准 AI 安全基准上发现更多漏洞且成本更低，但这一比较只衡量了攻击者在开发者预先设定的危害集合内搜索的彻底程度，集合之外的危害对任何攻击者都不可见，作者称之为威胁模型覆盖缺口。作者指出，同样的盲区曾出现在学术密码学和临床药物试验中，内部有效的评测对从未指向的人群保持沉默。作者在一个当前的开源权重模型上发现该缺口依然存在，非英语提示词中出现的危害被英语基准遗漏。作者认为，弥补这一缺口需要部署环境与开发者不同的评测者，理由是方法论上的覆盖问题，而现有评测框架不太可能自行产生这类评测者。
论文针对 TEE 保护的端侧 LLM 提出一套混淆原语，用线性计算的双元组形式统一刻画代表性 TEE-Shielded LLM Partition（TSLP）方法，并给出这些原语组合的规范形式作为安全边界。作者据此设计原语引导的攻击方法，指出 ArrowCloak（Security'25）、TSQP（S&P'25）和 LoRO（NeurIPS'25）等 TSLP 方法存在共同脆弱性。论文随后引入两种新的混淆原语并与现有构造结合，形成扩展原安全边界的防御方案。该工作已被 ACM CCS 2026（Cycle B）接收，共 16 页。
Odin 是首个开源的端到端 GPU CKKS 实现，可在加密状态下完成 Llama-3-8B 推理。它通过 feature-major 跨层布局统一残差连接与层接口，并为线性投影和注意力构建临时算子内布局，减少权重的冗余明文编码；注意力中 QK^T 的分数可直接被 Softmax 消费，PV 直接消费概率，避免中间重打包；非线性运算采用带输入范围控制的 minimax 多项式近似与联合误差分配。在单张 NVIDIA H100 80 GB GPU 上，输入 128 token 时评估全部 32 层耗时 366.4 s、峰值显存 58.9 GiB，相比 THOR 的 1651.9 s 提速 4.51 倍。
作者在 Stable Diffusion XL 上复现了 Müller 等人针对 Tree-Ring 语义水印的 Reprompt 伪造攻击，使用原作者发布的代码，在免费档双 T4 GPU（每卡可用显存 14.6 GB）上运行，单卡显存明显低于原研究使用的 A40。三组共六次试验中，真实图像检出 6/6，干净图像 0/6，伪造图像 5/6，每次攻击耗时 325-332 秒。作者还从检测器源码中恢复了被丢弃的非中心卡方统计量，其恢复结果与已发布检测器完全一致，基于该统计量构造的两个分数在同一批 18 个观测上以 AUC 0.861 和 0.972 区分伪造组与干净零假设。