AURA：用正交适配缓解 LLM 推理与安全对齐的子空间干扰

顺序切换时，推理所需的高方差残差与安全约束在共享残差流里发生几何碰撞。

• 场景：作者认为LLM正转向模块化智能体：冻结骨干上热切换PEFT adapter，并保留KV cache以压延迟。残差流是共享通道，前一任务的高范数特征不会随adapter更换消失。
• 现有不足：普通微调只最小化任务损失，不约束解所在子空间。作者称逻辑任务梯度在实践中几乎从不与安全目标正交。清空KV cache会丢掉上下文并带来重计算；提示词挡不住高范数内部激活。
• 核心观察：作者称之为Sequential Subspace Interference，以及激活卫生失败Shadow Mimicry，而不是权重被覆盖的灾难性遗忘。摘要称逻辑微调造成-23.3%的Interference Penalty（Table 3的Chain α，模型未说明）。
• 本文做法：提出AURA（Adaptive Unique Residual Allocation）。训练时把新任务的写更新限制在已有子空间的正交补上，以分开推理表达与安全约束。
• 威胁模型：
  • 目标：后一任务不被前序残差覆盖。Figure 1的例子是安全分析切到对外联络后，embargo仍被技术残差带偏。
  • 知识：论文未写外部攻击者的白盒、黑盒或无盒。主设定是部署中的顺序任务切换。
  • 能力：多个轻量adapter共用冻结骨干和持久KV cache。作者称清空cache会破坏上下文。
  • 受害系统：引言中的高频率模块化智能体；被污染的是共享残差流，不是互相独立的adapter权重。

作者按适配器微调、权重几何和持续学习来定位，并把约束对象从权重改到残差流。

PEFT与intrinsics

• LoRA（Hu et al., 2022）：任务更新位于低内在维度，冻结骨干换轻量权重即可换任务。作者称此后的适配器常把每个任务当成孤立优化，不处理动态交互时的干扰。

适配器组合与权重几何

• 混合与向量编辑：AdapterFusion（Pfeiffer et al., 2020）学习如何混合适配器输出。Task Arithmetic（Ilharco et al., 2023）与Ties-Merging（Yadav et al., 2023）直接改权重向量以处理干扰。
• 流形与串联：StelLA（Li et al., 2025）把低秩矩阵约束到Stiefel流形。aLoRA（Greenewald et al., 2025）复用基座cache以加快intrinsic串联。作者称aLoRA解决串联速度，不解决共享记忆的表征卫生。

持续学习

• EWC（Kirkpatrick et al., 2017）：用Fisher信息约束权重更新，针对权重被覆盖。作者称冻结骨干上的失败是KV cache里的激活干扰，不是权重遗忘。

基线与基准

• 基线：Naive LoRA、EWC，以及O-LoRA（Wang et al., 2023）。论文称O-LoRA正交的是adapter权重，不是残差流激活。
• 基准：Chain Alpha为GSM8K→IFEval→TruthfulQA；Chain Beta为XSum→SQuAD v2.0；Chain Gamma为MBPP→HellaSwag。

作者把权重几何改成残差流几何，使前一任务的记忆足迹对后一任务的读头不可见。

AURA把顺序切换看成残差流上的几何资源分配：新任务的写子空间必须离开已有任务所占方向。

低秩适配器的几何

• 骨干权重记为W，LoRA更新为ΔW=BA，秩r远小于输出维。作者不把任务几何定义在A上，而定义在输出投影B的列空间。
• 该子空间为S_τ=span(B)，位于Grassmann流形G(r, d_out)，表示任务对残差流的写入范围。
• 任务k与先前任务j的干扰由主夹角Θ表示。作者称无约束梯度会使夹角趋于0，不同adapter挤到骨干的低曲率主方向，投影重叠达到最大。

正交惩罚

• 作者要在任务损失之外最大化chordal距离。该距离写成r减去交叉项的Frobenius范数平方，并要求B的列正交。
• 谱惩罚是L_AURA=∑_j=1^k−1|B_k^⊤ B_j|_F²。最小化它把主夹角推向π/2。总损失是交叉熵加上λ倍该惩罚。
• 写矩阵梯度是任务梯度加上2λ倍先前子空间投影作用在B_k上的项。投影项惩罚落在先前任务“阴影”里的更新。方法节与附录算法把AURA写成训练损失；Figure 1右侧文字另写了推理时把残差投到零空间，但未给出该步骤的实现与阈值。

顺序冻结与超参

• 训第k个adapter时，先前adapter仍参与前向，但梯度关闭，只更新A_k、B_k。收敛后把B_k登记为后续任务的硬约束。附录A给出伪代码。
• 约束加在自注意力与MLP的全部线性层：Wq、Wk、Wv、Wo、Wgate、Wup、Wdown。正文设定r=64、α=128、λ=0.5，优化器为AdamW，学习率余弦衰减。
• 附录C还写全局batch 128、micro-batch 4、梯度累积32、峰值学习率2×10^-4、warmup ratio 0.03、权重衰减0.01、序列长度4096、BF16。投影每个step计算，子空间目标写为Residual Stream (X)。

污染链与判定

• Chain-of-Pollution：先做source task，把高范数特征写入残差，不清内部状态，再做需要不同能力的target task。
• Chain Alpha：GSM8K的多步数学，再到IFEval的格式约束，最后TruthfulQA。作者假设前段推理残差会损害后段对安全提示的区分。
• Chain Beta：XSum摘要后做含不可答问题的SQuAD v2.0，看压缩模式是否造成事实性漂移。Chain Gamma：MBPP代码后做HellaSwag，看句法是否渗入常识补全。
• 稳定性用切换窗口的困惑度增量P∆、干净历史与污染历史输出分布的KL，以及两边最后隐状态的余弦保真Fcos。功能分相对Oracle，即目标任务在KV cache被清空时的表现。

作者给出的理论说明

• 附录B命题称：若两任务梯度来自同一预训练分布，更新子空间的期望余弦相似度为正，因为更新偏向骨干顶部奇异向量。这是作者的推导，不是实验测量。
• 作者把更新写成软Gram-Schmidt，减去与先前子空间平行的分量。复杂度示例用r=32、L=2048、b=4，称相对开销约10^{-3}，训练增加不到0.5%，推理无额外延迟。实验配置是r=64、序列长度4096，论文未在该配置上报告实测耗时差。

实验设置

• 模型：§4.2为Qwen-3-14B、Qwen-2.5-14B-Instruct、Llama-3-8B-Instruct、Mistral-v0.3-7B。Table 1写作Qwen-2.5-14B、Llama-3-8B。附录C.1的检查点字符串为Qwen/Qwen3-14B、Qwen/Qwen2.5-14B、meta-llama/Meta-Llama-3-8B、mistralai/Mistral-7B-Instruct-v0.3。论文未解释名称差异。
• 数据：三条链见上一问。附录Table 8的训练条数为GSM8K 7,500、IFEval 5,000、TruthfulQA 3,200、MBPP 4,000、HellaSwag 8,000、XSum 10,000、SQuAD v2.0 12,000。论文未报告评测条数。
• 基线：§4.4定义Naive LoRA、EWC、O-LoRA。表格只给出Naive、AURA，以及功能表中的Oracle。EWC与O-LoRA无数值。
• 指标：P∆、DKL、Fcos；功能表写Accuracy/F1，未写各基准计分细则，也未使用单独的评审模型。
• 重复：附录C称定量结果为3个随机种子的平均。主实验按(14+10+8)小时乘3个种子计，项目合计约120 GPU小时。

主结果

下表据Table 1，Chain Alpha（Reasoning→Safety）。模型名按该表。

表格较宽，可左右滑动

模型	Naive P∆	AURA P∆	Naive KL	AURA KL	Fcos（Naive / AURA）
Qwen-3-14B	+14.2%	+0.8%	6.82	0.51	0.852 / 0.984
Qwen-2.5-14B	+15.1%	+0.9%	7.14	0.58	0.831 / 0.976
Llama-3-8B	+12.5%	+0.7%	5.92	0.45	0.884 / 0.991
Mistral-v0.3-7B	+13.8%	+0.8%	6.45	0.53	0.865 / 0.982

• 作者称四类架构的Naive都会出现高于12%的PPL Spike，只增大参数不能消除几何干扰。表中四个Naive P∆为+12.5%到+15.1%。
• 作者称Qwen-3相对Qwen-2.5只有边际抗性（Naive KL 6.82对7.14），两者在GSM8K污染下都变差。
• 作者称AURA把KL均值从6.58降到0.52。该表没有Oracle行。作者在§5.3写Fcos>0.98；表中Qwen-2.5-14B的AURA为0.976，其余为0.984、0.991、0.982。

功能稳定性

附录D的Table 3未写模型。Oracle是清空KV cache；Naive与AURA都带着污染历史。

• Chain α / TruthfulQA：Oracle 58.4%，Naive 35.1%，惩罚-23.3%，AURA 58.1%，恢复+23.0%。作者称58.1%与Oracle在统计上不可区分，论文未给出检验。
• Chain β / SQuAD v2.0：64.2%、41.2%、-23.0%、63.8%、+22.6%。作者称惩罚来自幻觉漂移：模型未退出摘要模式，对事实问题给出虚构细节而不是弃答。
• Chain γ / HellaSwag：62.1%、38.5%、-23.6%、61.9%、+23.4%。作者称惩罚来自句法渗漏。正文说Beta、Gamma的详细稳定性结果在Appendix C且趋势一致；所附Appendix C是实现细节，三链功能分在Table 3。

谱、轨迹与置信度

• Figure 3：Naive非对角为1.60、1.29、1.88，图注写I≈1.29；AURA非对角为0.03或0.02，图注写I<0.03。作者称无约束时安全与推理挤进同一子空间。未写模型。
• Figure 4：轴为PC1、PC2，图例含Naive、AURA、Oracle与95% Confidence Region。作者称Naive沿PC2分散，AURA沿PC1位移但体积更小。坐标未以文字给出。
• Figure 5：图内标注Pearson r=0.9846，正文与图注写r=0.98，并写y=x。作者称正交不降低推理置信度。未写模型与任务。

长程、越狱与上下文

• 五步链（Math→Code→Logic→Creative→Safety；Logic与Creative的数据集未说明）：Figure 9中Naive在Task 5的PPL Spike为32.5%，AURA从1.2%到6.8%。作者称有限宽度不能无限正交。Figure 10中Naive的Task 1从98%降到68%；作者称AURA的Task 1在四次后续更新后为93%。未写模型。
• 越狱：附录F用Direct、Roleplay、Code Injection、Base64四类模板，此处不复述原文。Figure 11标注Naive ASR为48%、58%、52%、45%，AURA为22%、32%、25%、21%。作者称约55%对约25%，并称约2倍。未写模型。作者称非零部分是基座语义弱点，几何本身修不了。
• 上下文：Figure 12在32k token噪声下Naive准确率55%，AURA 88%；作者称AURA从98%降到88%。4k、8k、16k的读数未以文字给出。

其他消融与分析

• λ：Figure 6的可用区间为[0.3, 0.8]；附录E.2.1写λ>2.0时主任务保留从99%降到62%。实验取λ=0.5。
• 秩：作者称Naive重叠随r上升，AURA基本持平；r=256时AURA重叠约0.12。图注称Naive摘要链重叠最高。
• 模块：Figure 8，r=64，Chain α。图中重叠标注1.45、0.65、0.02。正文写稳定性约41.2%、52.8%、58.1%，并称MLP相对Attention再高+11.6%，All Linear相对Oracle 58.4%。
• 谱与收敛：作者称Figure 13中Naive的64维谱下降更快。Figure 14中两条损失都在约600步进入平台；作者称约3.5小时。未给出与EWC、A-GEM的步数对照。
• 定性：附录H用三则生成对比说明优化偏向、句法刚性与幻觉漂移，不复述提示词和输出。

作者指出的局限与后续方向

• 零空间容量：附录J.1写零空间有限。作者举例骨干维d=5120、r=64时，正交任务上限Nmax≈d/r=80。作者称若无子空间回收或扩模型，AURA不是无限寿命学习的办法。该例子写的是Llama-3-14B，不是实验中的Llama-3-8B。
• 历史长度的计算：附录J.1写正则项复杂度为O(t·d·r^2)。作者称t<10时可忽略，很长的运行范围则不再可忽略，可能要只存历史的top-k主成分。
• 不产生对齐：附录J.1写AURA是几何防火墙，不是语义理解模块。基座若没看懂越狱，保住子空间也不会补上能力缺口。作者称它保住对齐，而不创造对齐。
• 锁定副作用：附录J.2写同一机制也可把有害行为或偏见锁进几何核心，使后续微调更难去掉。作者要求开发者谨慎选择最初锁定的约束。

实验覆盖范围

• 被测模型为§4.2的四个模型；Table 1报告它们在Chain Alpha上的P∆、KL与Fcos。
• 功能分覆盖Chain α/β/γ的TruthfulQA、SQuAD v2.0、HellaSwag（Table 3）。附录F另有五步链、32k上下文和四类越狱模板。
• §4.4定义了EWC与O-LoRA，表格未给出二者数值。Table 3与Figure 3至Figure 12未标明模型。
• 定量结果为3个种子平均（附录C）。论文未报告评测条数、各功能分的评审模型，以及评审与人工的一致性。
• 主配置为全部线性层、r=64、α=128、λ=0.5。附录E改变λ与rank，并比较Attention、MLP与All Linear。Logic与Creative两步的数据集论文未说明。

AURA是面向共享骨干智能体的顺序LoRA正则，用来分开前后任务的残差子空间。

• 问题：热切换adapter且保留KV cache时，前序高范数特征会留在残差流。作者称之为Shadow Mimicry，并把它和权重遗忘分开。
• 做法：把任务写成B的列空间，在任务损失上加当前写矩阵与已冻结子空间的Frobenius重叠。先前adapter冻结，新任务被推向零空间。主配置r=64、α=128、λ=0.5。
• 稳定性：Table 1的Chain Alpha上，AURA的KL为0.45、0.51、0.53、0.58，对应Naive的5.92、6.82、6.45、7.14。Fcos为0.991、0.984、0.982、0.976；最后一项属于Qwen-2.5-14B，低于正文所写的>0.98。
• 功能分：Table 3未写模型。TruthfulQA上Naive相对Oracle的惩罚为-23.3%，AURA恢复+23.0%（58.1%对Oracle 58.4%）。SQuAD v2.0与HellaSwag的惩罚为-23.0%与-23.6%，恢复为+22.6%与+23.4%。
• 边界实验：五步链末端Naive的PPL Spike为32.5%，AURA为6.8%（Figure 9）。四类越狱模板下AURA的ASR为22%、32%、25%、21%（Figure 11，模型未说明）。作者称几何隔离不能补基座看不懂越狱时的缺口。
• 作者结论：作者称参数放大本身不解几何冲突，正交约束可以把安全写进受保护区域且不挤占推理体积。附录J同时写明零空间有上限，且该机制也可能锁住有害约束。代码作者计划在接收后发布。