开源权重模型的安全：去除安全训练、微调攻击与权重安全。
在这个话题内搜索或按分类筛选该论文指出，混合 FHE 推理中依靠输出置换加噪来保护模型保密性的方案在系统所需的正确性范围内失效。作者证明，对 d 输入的线性层，d+1 次合法查询即可精确恢复置换不变的层摘要，从而实现模型的完全区分；输入 DP 与模型保密性正交，且正确性受限的噪声下 shuffle 放大所需的本地 DP 前提无法成立。实验从 TFHE 记录中以零误差端到端恢复 SAFHIRE 风格 ResNet-20 的全部线性层，每层用 d+1 次查询，共 5712 次直接查询；在相同查询模型下，预训练 ImageNet 规模 CNN 与 ViT-B/16 也实现逐层精确恢复。
作者提出一种新的模型透明度层级“完全可审计”，让训练中每个数据样本上的每一步操作都能在异构消费级硬件上以位级确定性独立复现。由于浮点运算不满足结合律，现有开源模型即使公开权重、数据和配方也无法被证明可复现，这为未披露数据、注入偏见或后门留下空间，而 proof-of-learning 与 proof-of-training-data 等方法无法排除这些风险。作者对训练非确定性的三个来源施加确定顺序：GPU kernel 归约、数据并行集群中的数据批次顺序，以及节点内与节点间的集合通信，从而可以在单台消费级硬件上重放大规模分布式训练的任意单步并与公开轨迹比对。
研究者提出 BAM（Burnashev Adaptive Posterior Matching）反馈编码方案，把黑盒 LLM 隐写重构为带因果无噪声反馈的序列通信问题，每个生成的 token 双方都能观察到并用于指导后续嵌入。该方法结合后验匹配与解码确认阶段，安全性通过密码学归约证明建立。在三个开源权重语言模型上，BAM 于约 50 个 token 内传输 8-bit 载荷，1000 次试验的消息错误率为 0-0.1%，而同等长度下最强的黑盒基线为 10-17%。作者据此展示了在多种对话场景中实现高通信速率的端到端通信协议。
研究者提出一种高容量神经隐写攻击，把医学图像编码为连续隐表示并嵌入模型初始化权重，模型导出后可直接从权重中重建隐藏图像。该方法用基于 StyleGAN2 的对抗自编码器学习紧凑隐码，并正则化使其匹配标准权重初始化统计量，从而让嵌入参数与干净模型在统计上保持一致；训练时注入噪声可提升对导出环节缓解措施的鲁棒性。载体模型在原本任务上仍保持可用，最多可将 99 个脑部 MRI 体数据嵌入一个 30MB 模型，且在会破坏此前比特级方案的缓解措施下仍可恢复。重建结果只是近似而非像素级精确，但嵌入内容在解剖上仍可辨认并可规模化恢复。
针对知识蒸馏中教师模型易被窃取且现有水印或硬件访问控制难以定位泄露设备的问题，研究者提出一种将设备专属 PUF 签名叠加到教师 logits 上的指纹框架，使经知识蒸馏训练的学生模型继承与硬件绑定的唯一身份。该方案在 Xilinx Zynq-7020 FPGA 上测量环形振荡器（RO）PUF 生成签名，架构无关，可跨 CNN、Vision Transformer 和编码器继承身份，并通过神经解码器与汉明距离精修的两阶段恢复流程在噪声条件下保持高检测准确率，另引入多级 logit 编码支持大规模设备部署。实验显示嵌入指纹能抵抗常见的蒸馏后修改。
DataShield 是一个数据评估框架，通过多个安全对齐 LLM 构建的联合安全关键语义空间中的共识子空间对齐，识别有风险的微调样本和回复片段。该框架在这些空间内用语义谱分解提取共识的安全与不安全子空间，再通过衡量样本或片段与不安全子空间、安全子空间的相对对齐程度估计风险，从而支持样本级过滤和细粒度片段级掩码。与现有过滤和掩码基线相比，DataShield 在样本过滤下将 ASR 降低 14.6%，在片段掩码下降低 32.3%，同时保持下游效用，并避免针对特定目标模型计算风险。
论文提出 Unidirectional Safety Gate（USG），用于作者所称的“部分保护开放权重发布”（PPOW）场景：大部分权重仍可训练，但发布时保留少量安全关键组件。USG 由 Null Space Cubic Layer 与 Inverse Adapter 组成，插入在最后一层 Transformer 之后；下游微调时，三次层抑制或阻断隐藏状态落入校准保护区域的有害样本梯度，Inverse Adapter 则恢复基础模型的前向行为。防御方用自己掌握的有害数据校准阈值，使保护能泛化到邻近的分布内有害样本。
研究者提出 Safin-1 基础模型系列，主张安全应是模型自身的内在属性，而非仅靠外部护栏或监督微调等事后对齐施加的行为约束。该模型基于 Memory-Anchor Routing across Context History（MARCH）架构，维护结构化记忆状态，并通过内容条件路由选择性检索相关历史信息。它支持在测试时对持久能力状态做自适应调整，无需反复修改主干网络，从而在共享基础上实现受控特化。作者在下游安全任务上以 Safety State 验证该接口，报告了基于状态的自适应带来显著安全提升，并在通用能力、长上下文理解、检索和效率上做了评估。
GAPS（Gated Activation steering via Posterior and Separability）通过维度级条件选择决定对哪些神经元施加激活引导，由两个免训练门控组成：静态可分性门控用 AUROC 筛选携带可靠概念信息的神经元，动态后验门控仅当神经元当前激活更符合目标概念时才干预。
研究系统考察了仅权重量化（INT8 与 NF4）下激活引导的表现，覆盖四个 7-9B 开源模型和情感、推理长度两个行为目标。情感引导在量化后基本不受影响，INT8 合并对比为 -0.010（90% CI [-0.026, +0.007]），判定为等效；推理长度则呈不对称剂量响应，缩短仅 12-30% 后即出现不连续失败。Mistral-NF4 在 alpha=0 时 GSM8K 从 0.545 降至 0.365，显示压缩本身可主导引导效果，但引导向量与 FP16 版本仍高度共线（INT8 余弦相似度 0.989-0.998，NF4 为 0.945-0.990）。
研究对比线性探针、归因修补、稀疏自编码器（SAE）与特征消融，在 Llama-3.1-8B、Qwen3-8B 和 Gemma-2-9B 中追踪多语言刻板印象从内部表征到输出的路径。三个模型的探针性能峰值均明显早于归因，相差 36-53% 的模型深度。评估的残差流特征中仅 6-18% 具有语言无关效应，且无一具备类别无关效应，说明可解码性、输出影响与跨语言消融效应需分别测量。
研究者提出 Training-Free Task Vectors（TFTVs），无需微调即可计算类任务向量方向，仅用前向传播统计将激活引导向量映射为秩一权重空间编辑，并支持加法学习、减法遗忘与多编辑组合。在 LLM 行为控制任务上，TFTVs 能持续放大、抑制和组合目标行为，同时保留通用知识与解题能力，相比其他编辑与引导基线实现了更强的特质控制，效用保持相当或更优。代码已在项目网站公开。
研究构建两个医学术语评测基准，对比通用版 Llama-3.1 与医学数据微调变体，发现通用模型在两项任务上均优于医学微调模型。机制可解释性分析显示，微调模型未重组参数知识，而是过度依赖少数与术语偏好预测相关的组件，造成系统性校准偏差；对这些组件重新加权可抑制其影响并追平通用基线。部分术语敏感组件还能迁移至材料科学术语任务，提示其编码了部分领域无关的专业术语概念。
作者提出 ARIA（autoencoder-gated inference-time unlearning），一种不改动模型权重的测试时遗忘方法，只在生成进入遗忘相关状态时门控对目标知识的访问。ARIA 用稀疏自编码器（SAE）潜变量训练轻量线性检测器，再对触发状态施加可解释的干预，测试时开销可忽略。在 TOFU、R-TOFU 和 WMDP 上，ARIA 在思考模型 DeepSeek-R1-Distilled-Qwen-1.5B 与指令模型 Gemma-3-1B-it 上均改善了遗忘与保留的权衡，例如显著降低 WMDP-cyber 遗忘集准确率，同时 MMLU 与遗忘前模型相差在 1% 以内。
研究用稀疏自编码器、角色条件探针、因果干预和恢复实验，在 Gemma-3 与 Qwen3.5 上区分视觉语言模型误判有害表情包时是缺少内部证据还是无法把已表征的证据传到输出。在六个有害内容基准上，稀疏读出均优于模型原生预测：Qwen 平均 macro-F1 为 0.740，原生为 0.432，残差重建为 0.486；Gemma 从 0.532 提升到 0.714。作者强调这些增益衡量的是标签对监督读出的可及性，并不说明模型原生生成已采用该决策规则。在评测规模下，Qwen 静默特征消融对探针的敏感度是路由特征修补的 24-63 倍，而在字面 yes/no 任务上路由特征修补对输出的敏感度是前者的 16-140 倍。
论文提出基于局部掩码 SAE 的无监督异常检测框架，用于大语言模型的部署期安全检测。作者指出，现有部署期安全方法多为监督式并依赖不安全训练数据，难以覆盖新出现的攻击与危害类别，因此转向只建模安全数据、标记分布外输入的异常检测思路。在线性表示假设下，SAE 恢复的概念空间中邻近点共享较小的公共激活支撑，这一局部稀疏性为高维激活空间中的异常检测提供了理论依据。作者在多种架构和数据集上验证了该方法，涵盖能力测试数据集与安全专用数据集。当允许算法使用 1% 的分布外数据做校准后，局部稀疏方法达到接近最优的性能，且仅用 1-2% 的 SAE 神经元参与计算。
Google DeepMind 发布 SynthID Bio，将水印技术引入合成生物学，把不可感知的签名直接嵌入生物代码，使水印既能在数字模型上验证，也能在合成出的实体蛋白质上验证，同时保持其生物功能。该方法按数据类型调整策略，对序列微调氨基酸选择，对预测的 3D 结构调整原子坐标。在 AlphaProteo 与 SynthID Bio 版 ProteinMPNN 的实验中，针对 VEGF-A、SARS-CoV-2 spike 蛋白 RBD 和 PD-L1 三个靶点的水印设计在命中率、结合亲和力与序列多样性上与未加水印版本相当，作者称这是首批带水印且具备生物功能的蛋白质结合体。
论文对安全对齐 LLM 的涌现失准（EM）做了动态二阶几何研究，追踪训练轨迹发现方向性 Hessian 曲率集中出现在语义枢轴 token 上，Grassmannian 投影显示有害与安全梯度差距扩大主要源于安全梯度重叠下降。作者据此提出参数级几何缓解框架，将经验有害梯度子空间正交投影出参数更新。在 Qwen2.5-14B-IT 上，该防御将自由生成 EM 抑制最多 80.0%；在四个开放权重指令模型家族中的另外三个（3B 至 20B）上，单层行为 EM 已接近零，teacher-forced 评测显示同一有害子空间仍控制着冻结 EM 响应的条件支持。
研究者提出梯度封堵（gradient sealing）方法，用于在开放权重 LLM 发布前阻止下游微调重新习得被禁能力。作者先验证现有回顾式遗忘方法在发布前防护上不足：即使当前输出已抑制被禁能力，被禁领域数据仍能通过内部通路产生梯度，使能力在后续微调中被重新获得。梯度封堵的原理是把相关预激活推入负区间，使 ReLU 族激活的导数变为零或接近零，从而阻断这些通路。在多个 LLM 系列上的实验显示，该方法对下游能力习得的抵抗强于回顾式基线。
Pillar Security 在 Unsloth Studio 中发现任意代码执行漏洞：用户在界面中选择模型时，后端会下载并运行该模型 HuggingFace 仓库中的 Python 代码，仅读取 config.json 即可触发，无需加载权重或推理。缺陷位于 studio/backend/utils/models/model_config.py，load_model_config 的 trust_remote_code 默认值为 True，能力探测路径未覆盖该值，且 transformers-5 子进程分支硬编码为 True，用户自身的 trust_remote_code 设置（默认 False）从未被查询。
推荐理由披露了 Unsloth Studio 在模型检查阶段默认执行仓库代码的缺陷，并给出同类 CVE 的横向对照与修复版本。