DNAlign：面向 LLM 的动态零空间安全对齐框架

安全对齐与知识保持被分开处理，推理期干预仍可能伤及流畅性与事实性。

• 部署场景： 作者称 LLM 已用于医疗、金融和教育，但可能生成有害或有偏内容，损害信任并带来社会危害。因此既要对齐人类安全偏好，也要保住预训练知识，以便对良性问题给出事实、流畅的回答。
• 现有不足： 作者称 RLHF 与 DPO 需要大量人工标注，易过拟合特定提示，且难在多样提示间平衡安全。提示工程和受控解码更轻，但对改写、领域或提示结构敏感；动态干预仍可能降低良性任务的流畅性或事实准确性。
• 知识侧缺口： 作者称全量微调与静态表示编辑可能覆盖已有知识，EWC 等持续学习方法又难以扩展到大模型。先编辑再做 RLHF 可能互相覆盖，知识感知提示则对改写和模型偏差敏感。作者认为缺少在同一过程中联合优化二者的框架。
• 本文做法： 作者提出 DNAlign。它把 LLM 当作动态系统，注入不改参数的控制扰动，并把扰动限制在由中性隐藏状态导出的有害相关子空间；在人类偏好数据上训练的价值函数再自适应优化控制信号。

安全对齐

• RLHF 与 DPO： Christiano 等（2017）及后续工作先用人类评价训练奖励模型，再强化学习微调；Rafailov 等（2023）的 DPO 直接按偏好排序优化，不再单独训练奖励模型。作者称二者依赖大量高质量标注，易过拟合训练提示分布，并依赖模型已有知识，复杂领域中可能给出顺从但不准确的回答。
• 测试时干预： 提示工程在输入后附加安全指令；受控解码修改 token 采样以压制不安全输出。作者称前者对细微改写敏感，后者难以适应教育与医疗等不同安全容忍度。
• 动态干预： 作者称把 LLM 建成动态系统的方法更灵活，但仍常降低良性任务的流畅性或准确性。

知识保持

• 全量微调与持续学习： 全参数在新数据上重训可部分保留预训练知识，但作者称计算开销大，且易出现灾难性遗忘。EWC 惩罚对旧任务关键参数的更新，memory replay 重放历史样本；作者称二者对十亿级参数模型开销过大。
• 局部编辑与零空间： ROME、MEMIT 用因果追踪定位与特定事实相关的神经元或注意力并局部修改。零空间投影把参数扰动投到与中性知识表示正交的子空间。作者称这类零空间技术主要处理事实更新，较少处理行为对齐，模型可能事实正确仍给出不适当指导。

安全与知识的结合

• 顺序流水线： 先知识编辑、再 RLHF。作者称后一步对齐会覆盖先前的知识修正。
• 提示式方法： 用提示做事实对齐，不改参数。作者称对改写脆弱，且不能处理表示内部的有害关联。

实验基线与基准

• 基线： 未编辑骨干、Static RE、Contrastive Decoding（CD）、RE-Control。作者将 Static RE 描述为静态的基于奖励的激活调整，CD 为生成时动态整合奖励，RE-Control 为动态控制对齐。
• 基准： 混合评测用 HH-RLHF 与 SHP；有害泛化用 RealToxicityPrompts、ToxiGen、Categorical-HarmfulQA；良性评测用 OSASST1、Dolly、HC3、Alpaca、ShareGPT、Reddit ELI5。

作者将本文定位为用控制论和零空间投影，在同一过程中联合处理安全对齐与知识保持，而不是把二者当作独立目标。

DNAlign 把逐 token 生成写成离散时间动态系统：每步注入临时控制信号，再投影到由中性提示隐藏状态确定的保护子空间之外，使干预主要作用在与该子空间正交的方向。

问题设定

• 生成对象： LLM 按前文预测下一 token。末层隐藏状态经 LMHead 与 softmax 得到词分布。作者称末层状态像语义锚点，可区分中性提示与需要安全处理的提示。
• 两类样本： P0 是中性提示–回答对，P1 是需要安全对齐的有害对。质量由奖励 r(response | prompt; θ) 反映人类偏好。
• 保持约束： 对落在 K0 列空间中的中性状态，干预后奖励应近似不变。K0 的列是中性提示的末层隐藏状态，因此控制信号被要求近似位于 K0 的零空间。

动态系统与控制信号

• 状态： 第 t 个生成 token 的状态为 s_t = {h_t, o_t}。h_t 是各层注意力 key–value；o_t 是 LMHead 之前的 pre-logit。初始状态由未改参数的前向计算得到。
• 无控制转移： 下一状态由原生函数 f_LM 根据当前 KV 与已采样 token 更新。LMHead 权重在推理时固定。
• 控制量： u_t = {u^h_t, u^o_t} 不改参数，且每步重算。u^o 偏置 pre-logit，降低有害候选 token 的概率；u^h 调整 KV，以避免上下文变成语义不一致的转移。
• 设计差别： 作者称这与改权重或截断输出不同，干预限于瞬时状态调整。

零空间投影

• 矩阵来源： 从 SHP 取 N 条中性提示，抽取末层隐藏状态组成 K0，再做 SVD。保留前 k 个左奇异向量构成 U_prot。k 由交叉验证确定，论文未给出选定值。
• 投影： P = I_d − U_prot U_prot^⊤。乘上 P 的向量与保护子空间正交。P 离线计算，推理时加载。
• 施加位置： KV 控制分量在进入 f_LM 前乘 P；pre-logit 上的控制按同一逻辑投影。作者称投影后的信号与中性表示无重叠分量，但仍可作用于与保护子空间正交的有害相关方向。

价值函数与信号优化

• 训练： 三层 MLP V_ϕ(s_t) 在 HH-RLHF 的人类标注安全/有用配对上最小化 Bellman 损失。目标是下一状态价值，或 UltraRM-13B 的最终奖励；stop-grad 阻止梯度传入下一状态估计。论文称 UltraRM-13B 优先考虑无害性。
• 推理目标： argmax_{ut} 𝔼[R]−λ∑_t=1^T|u_t|₂²。它表示最大化期望长期奖励，同时惩罚控制幅度。式（11）在价值函数梯度方向上更新 u_t，并写入与 u_t P 相关的项；纯文本缺括号，各项如何结合论文未再解释。方法节写梯度上升 100 次。λ 与步长 α 的默认数值未在方法节给出。

端到端流程

1. 由输入计算 s_0 = {h_0, o_0}。
2. 加载预计算的 P。作者称在 Vicuna-7B 上，该加载不到总推理时间的 0.1%。
3. 每步用 V_ϕ 优化 u_t，再经 P 投影。
4. 用投影后的信号更新 KV 与 pre-logit，并从 softmax(W(o_t+P u^o_t)) 采样。W 为固定的 LMHead 权重。
5. 遇到 EOS 或达到 200 token 上限即停止。作者称该上限在实验中一致。

Figure 2 把上述步骤画成状态初始化、控制优化、零空间投影和状态更新。Figure 1 用短信链接类安全问答示意：未编辑模型在新安全知识更新后给出与原先拒绝不一致的回答，经 DNAlign 编辑后仍拒绝。该图没有定量分数。

实验设置

• 模型与基线： 被测骨干为 Vicuna-7B 与 Qwen-7B。对照为未编辑骨干、Static RE、Contrastive Decoding（CD）、RE-Control。论文称初始化使用统一随机种子和超参数，未给出种子值。
• 数据： 主比较为 HH-RLHF 与 SHP。有害泛化为 RealToxicityPrompts、ToxiGen、Categorical-HarmfulQA，正文写明对照是 Qwen-7B 基座与 RE-Control。无害评测为 OSASST1、Dolly、HC3、Alpaca、ShareGPT、Reddit ELI5，同样以 Qwen-7B 为主。除指标公式和部分实验写明 1000 条外，论文未逐集给出规模。
• 指标与评审： 平均奖励由 UltraRM-13B 打分后取均值；式中 M 写为 1000，分数未归一化。连贯性是与人类偏好参考的 TF-IDF 余弦相似度，取参考语料最高频 1000 词。多样性由 2-gram 到 4-gram 的 rep-n 构成。综合质量由 DeepSeek-R1-Distill-Qwen-32B 打 1 到 10 分。论文称该评审模型与人类评估分数的相关性为 0.82。
• 流程设置： 价值函数在 HH-RLHF 上、于奖励模型监督下训练；投影矩阵由 SHP 中性提示离线构建。生成上限 200 token。论文未报告重复次数。
• 流程图差异： Figure 3 标有六个泛化数据集，以及三个无害数据集上的 Over-refusal Detection。正文 Section H/I 写的是三个外部有害集和六个无害集。正文未报告单独的过度拒答率。

主结果

平均奖励，据 Table I：

Swipe horizontally to read the table

设置	Base	CD	Static RE	RE-Control	DNAlign
Vicuna-7B, HH-RLHF	0.1410	0.8440	0.9130	0.9614	1.2258
Vicuna-7B, SHP	0.3913	0.7830	0.7831	0.7456	1.0756
Qwen-7B, HH-RLHF	0.5519	0.9036	0.7088	0.7218	0.9430
Qwen-7B, SHP	0.3939	0.6415	0.6546	0.6401	0.9882

• 作者解读： 作者称在 HH-RLHF 的混合提示上，DNAlign 的安全对齐优于 RE-Control 及其他被测系统，且未牺牲流畅性与内容丰富度。在以日常无害查询为主的 SHP 上，作者称干预没有侵蚀通用能力。
• 综合质量： Table I 中 DNAlign 在四格都最高：Vicuna-7B 的 HH-RLHF 为 6.1600、SHP 为 6.9700；Qwen-7B 为 7.3846 与 6.8965。部分基线低于未编辑骨干，如 Vicuna-7B、HH-RLHF 上 Static RE 为 5.0500，基座为 5.3600。
• 例外： 多样性并非每格最高。Vicuna-7B 的 SHP 上基座 0.8833、DNAlign 0.8818；Qwen-7B 的 HH-RLHF 上基座 0.9381、DNAlign 0.9371；Qwen-7B 的 SHP 上 RE-Control 为 0.9424、DNAlign 为 0.9402。连贯性上，Qwen-7B 的 SHP 中 CD 为 0.4247，高于 DNAlign 的 0.4164。同表 Qwen-7B、HH-RLHF 上，CD 平均奖励 0.9036 高于 RE-Control 的 0.7218，但多样性从 0.9381 降到 0.8680。

有害场景泛化

• 设置： Section H 在 Qwen-7B 上比较 DNAlign、未编辑基座和 RE-Control，数据集为 RealToxicityPrompts、ToxiGen、Categorical-HarmfulQA。该节未单独写步长和迭代次数。
• 结果： 作者报告 RealToxicityPrompts 上 DNAlign 平均奖励 0.7999、基座 0.3374，并称增幅 137.1%；多样性 0.9241，连贯性 0.4648。ToxiGen 上 DNAlign 平均奖励 0.5465，Section H 与 Figure 7 图注称相对基座增加 229.4%，Section J 写作 229.4 increase、未写百分号；连贯性 0.2251，多样性 0.9615。Categorical-HarmfulQA 的精确分数正文未逐项列出。
• 作者解读： 作者称安全指标上升时生成指标仍有竞争力。作者同时称部分数据集上综合质量可能略低于未编辑骨干，但未给出这些更低分数。Figure 7 标注了三组 Base、Re-Control、Ours；纯文本中的柱上数字与 Section H 的精确值不能逐列对齐。

无害数据集上的效用

• 设置： Section I 在六个无害集上比较 DNAlign、Qwen-7B 基座和 RE-Control。DNAlign 使用步长 0.2、梯度上升 100 次。
• 结果： 作者给出 DNAlign 的多样性为 0.8464 到 0.8836，连贯性为 0.4077 到 0.5692，平均奖励为 0.3706 到 0.9210。Figure 8 图注与 Section J 称平均奖励相对基座最高增加 81.9%；Section I 写作 81.9 improvement，未加百分号。逐数据集分数未列表。
• 作者解读： 作者称零空间投影把安全干预隔离到与中性知识正交的子空间。作者承认部分情况下综合质量略低于基座，并称仍高于 RE-Control；未给出对应数据集和分数。

推理时间

• 结果： Section F 用 Qwen-7B 和 HH-RLHF 的 1000 条样本。正文称 training batches 从 1 到 10，Figure 5 横轴为 Training Batches。1 个 batch 时，基座 51.059 分钟、RE-Control 71.518 分钟、DNAlign 123.734 分钟；10 个 batch 时分别为 10.556、10.617、12.447 分钟。作者称此时 DNAlign 比基座多 1.891 分钟，比 RE-Control 多 1.83 分钟。
• 作者解释： 作者称初始更慢来自零空间投影模块，预计算矩阵加载不到总推理时间的 0.1%。同节连贯性为 DNAlign 0.4250、基座 0.4192、RE-Control 0.4203，与 Table I 中 Qwen-7B、HH-RLHF 一行相同。

其他消融与分析

• 步长与迭代： Qwen-7B、HH-RLHF 蒸馏子集 1000 条；τ 为 10 到 100，η 为 0.1 到 1.0。作者称多样性多在 0.933 到 0.942，除非 τ 低于 30 或 η 超过 0.8；连贯性在 τ 为 40 到 70、η 为 0.2 到 0.5 时达到峰值。作者选定 τ=100、η=0.2，得到多样性 0.9366、连贯性 0.4238、综合质量 7.24、平均奖励 0.943。Figure 4 为该分析，纯文本无逐点读数。方法节称 100 次梯度上升，Section E 则称 test-time epoch。
• 投影样本数： Vicuna-7B。1 条误差 0.0000035，100 条 0.00258；500 条 0.587，1000 条 0.0415，1500 条 1.757，3000 条 2.923；5000 条 0.0105，10000 条 0.00929，15000 条 0.00949，20000 条 0.0094，50000 条 0.0100。作者称 1 到 100 条误差低但泛化差，500 到 3000 条数值不稳定，并选定 20000；隐藏维度写为 4096。作者称该样本量与此前 Qwen-7B 实验一致。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion 只称四个研究问题得到肯定回答，未写明不足或后续实验。

实验覆盖范围

• 骨干与对照： Table I 与 Section V.B 报告 Vicuna-7B、Qwen-7B，以及未编辑骨干、Static RE、CD、RE-Control。
• 数据与评审： 主比较为 HH-RLHF 与 SHP；有害泛化为三个外部集；无害集为六个。奖励用 UltraRM-13B，综合质量用 DeepSeek-R1-Distill-Qwen-32B。指标定义将测试样本数 M 写为 1000。
• 论文未报告的设置： 重复次数、正则系数 λ、交叉验证选定的 k，以及 HH-RLHF 上价值函数训练与主评测是否划分。
• 分模型实验： 推理时间、步长/迭代、有害泛化与无害集对比写的是 Qwen-7B。投影矩阵样本量消融写的是 Vicuna-7B；作者称 20000 与此前 Qwen-7B 实验一致。
• 预算与图示： 生成上限写为 200 token，方法节写梯度上升 100 次。Figure 3 标有 Over-refusal Detection，正文未给出过度拒答率。

DNAlign 是一个不改 LLM 参数的安全对齐框架，用来在推理时压低有害输出，并减少对中性知识所支持的流畅、事实回答的改动。

• 问题： 作者认为现有 RLHF、DPO、提示工程、受控解码、全量微调，以及先编辑再对齐的流水线，要么标注和计算成本高，要么会破坏流畅性、事实性或已经编辑过的知识。
• 方法： 解码状态写成 KV 与 pre-logit。三层 MLP 价值函数在 HH-RLHF 上按 Bellman 损失训练，推理时沿价值梯度更新控制信号；SHP 中性隐藏状态经 SVD 得到投影矩阵，控制被限制在保护子空间的零空间。生成在 EOS 或 200 token 处停止。
• 主结果： Table I 的四个骨干×数据集格子中，DNAlign 平均奖励都高于 Base、CD、Static RE 和 RE-Control。Vicuna-7B、HH-RLHF 为 1.2258，RE-Control 为 0.9614；Qwen-7B、HH-RLHF 为 0.9430，RE-Control 为 0.7218。这四格的综合质量也最高。多样性与连贯性有反例：Qwen-7B 的 SHP 上，CD 连贯性 0.4247，DNAlign 为 0.4164。
• 其他结果： 作者报告 Qwen-7B 在 RealToxicityPrompts 上平均奖励 0.7999，基座 0.3374；ToxiGen 上 DNAlign 为 0.5465。六个无害集上，DNAlign 多样性为 0.8464 到 0.8836。Qwen-7B、1000 条 HH-RLHF、10 个 batch 时，DNAlign 推理 12.447 分钟，基座 10.556 分钟。
• 作者结论： 作者称安全、效用保持、泛化与实用性四个问题都得到肯定回答，并把该框架定位为可部署的安全对齐方案。论文没有专节讨论局限。