超越线性表征假设：KANSteer 用非线性激活引导文本到图像模型

有序视觉概念的中间状态常不在端点连线之上，固定方向的激活 steering 因此会漏掉这些状态。

• 场景：季节、昆虫变态、衰老不是缩放单一特征，而是属性在不同阶段出现、变化和消失。作者称可解释性工作主要依赖线性表征假设（LRH），即高层概念是激活空间中的直线方向；在文生图扩散模型中，这一看法被用于内容控制、debiasing 和 unlearning。
• 不足：作者称概念可以线性可识别，却不一定线性可遍历。星期这类离散状态即使轨迹不准，仍可能靠近某一目标；连续视觉概念没有这种简化，中间状态本身就是概念的一部分。端点找对时，直线仍可能在整段过渡中误表示概念。
• 观察：作者用逐步变化的属性提示直接看激活轨迹，并称中间表征偏离端点连线。Figure 1 图注写 block-q 的 delta 激活；中间属性弯离两端点直线，固定方向穿不过它们。图注右侧称线性 steering 守住源属性后跳到目标，而 prompt 生成的属性平滑过渡。该图注未给出 q 的编号。
• 做法：提出 KANSteer。把遍历建成穿过中间状态的一维曲线；KAN 给出一个标量坐标，学到的函数定义轨迹，从而让 steering 方向沿概念变化，同时保留可解释坐标。

按引言和 Related Work，讨论集中在线性方向、扩散模型中的干预，以及非线性轨迹。

线性表征与语言 steering

• 形式化：Park et al. (2023; 2024) 与 Jiang et al. (2024) 将高层概念写成语言模型激活空间中的方向。
• 固定向量：Li et al. (2023) 在推理时干预真实性，Tigges et al. (2023) 处理情感，Arditi et al. (2024) 处理拒答，做法都是加上固定 steering 向量。

视觉与扩散中的线性结构

• 读出与定位：Chen et al. (2023) 用线性探针在去噪完成前提取深度和前景–背景等场景属性。Helbling et al. (2025) 对扩散 transformer 的 attention 做线性投影，得到概念显著图。Basu et al. (2024a;b) 与 Zarei et al. (2025) 讨论特定知识定位到少数 block；Surkov et al. (2024) 与 Cywiński & Deja (2025) 用稀疏自编码器分解可解释、有因果作用的特征。
• 方向干预：Kwon et al. (2023) 把 U-Net bottleneck 当作大体同质、线性的语义空间，缩放单个向量改变属性。后续工作无监督抽方向（Dalva & Yanardag, 2023）、引导属性分布（Parihar et al., 2024）、用最优传输或提示均值差取方向（Rodriguez et al., 2025a;b；Gaintseva et al., 2025），或在文本嵌入中取方向（Kim & Ghadiyaram, 2025；Baumann et al., 2024），或用低秩更新做连续控制（Gandikota et al., 2024; 2025）。作者称这些激活空间方法的干预同为在激活上加一个固定向量的缩放。

可识别但不一定可遍历

• 弯曲流形：Engels et al. (2024) 以星期为例：每一天可识别为单独方向，七天成圆而非线，不同日期间的位移不同。Gurnee et al. (2026) 讨论字符计数落在弯曲低维流形上。作者引用 Engels et al. (2024) 的说法，称此类表征 mostly discontinuous，模型并不自然表示相邻星期或月份之间的状态。
• 轨迹方法：Modell (2026) 用监督探针学习概念流形；Raval et al. (2026) 用多项式核 PCA 得到弯曲轨迹；Wurgaft et al. (2026) 用三次样条穿过概念质心。论文对后者的描述是：样条把 steering 留在模型已有轨迹上，线性方向会经过流形外区域并产生不自然输出。

基线与评测材料

• 基线方法：实验对照是同一组观测属性上的线性方向，图中称 Linear Steering，正文称 closed-form linear direction。
• 概念集：主评测不是文中点名的公开基准，而是自建有序视觉概念。附录表覆盖发卷、月相、年龄、表情、天气、季节、变态、胡须、犬龄、发长等，每概念五档；附录 A.4 给出提示模板。

作者把这项工作与从激活几何或概念质心恢复轨迹的做法分开：用 KAN 直接拟合中间状态，给出显式标量坐标和逐通道分解，并由轨迹定义 steering 规则。作者还称视觉属性与星期不同，即使只指定少数档，仍预期有可直接生成、可观察的中间状态。

KANSteer 把有序属性引起的激活变化建成一条一维曲线，再按曲线产生随位置变化的 steering 向量，而不是加一个固定方向。

设定与诊断

• 属性序列：每个概念指定 K=5 个有序属性。两端是 steering 端点，中间三档由提示直接生成，不依赖 steering 方向。同一模板、同一 seed、同一初始噪声，只改属性短语。发卷示例为 straight 到 coily，年龄示例为 preteen 到 elderly。
• 残差：扩散 transformer 的图像流经残差 block。分析单元是单 patch 上该 block 写出的增量，即离开与进入该 block 的图像流之差，称为 delta 激活。后文拟合固定在 block 18，即最后一个 dual-stream block；块的选择依据放在附录 A.2。
• 直线检视：第 3 节只用两端点学线性方向，再扫描系数，与三个中间提示的表征比较。为看几何，对每个 seed 减去跨属性均值，再投到主成分。Figure 1 图注称中间属性弯离端点直线；附录 Figure 7 把同一观察扩到其余概念。

一维轨迹

同一 seed 的各属性共享初始噪声，激活里仍有布局、身份、背景等内容。作者把属性 ak 下的激活写成共享内容加上轨迹上的一点：

x_k ≈ b + γ(t_k)

b 是该 seed、该 patch 上跨属性共享的内容，γ 是概念轨迹，tk 是 ak 在轨迹上的位置。从 xi 到 xj 的位移写成轨迹两点之差，因此 steering 需要轨迹模型，以及把激活映到坐标的编码器。

拟合

• 转移对：每个 seed、每个 patch 上，所有 i<j 的属性对都是一条训练转移。观测差为 xj−xi，模型预测解码坐标之差。重构损失对全部源–目标对的平方误差求和。
• 单调性：重构只约束差，不保证坐标服从属性顺序。作者对 i<j 且 zi>zj 的违反加惩罚，总损失为重构项加 λ 倍该惩罚。论文未给出 λ。
• 实现：1024² 生成，P=4096，宽度 D=3072。每 seed 随机 10% patch，同一 seed 的 K 档共用索引。800 个训练 seed、100 个验证 seed。激活先除以平均 patch 范数；KAN 的 spline 网格放在 [−1, 1]，设为 5 个区间、3 阶。范数超过该 seed 上、按 K 档最大值所取 0.99 分位的 patch 被丢掉。

沿轨迹 steering

学完编码器与轨迹后不再单独估计向量。激活的当前坐标为 z=eθ(x)，强度 α 是这一维坐标上的位移：

ν_α(x)=γ_θ(e_θ(x)+α)−γ_θ(e_θ(x))

更新是把该位移加回激活。να(x) 依赖当前位置，同一 α 在轨迹不同点可以对应不同的激活位移。作者称若轨迹是仿射的，该式退化为与 x 无关的 αw，即固定向量 steering。推理时从 block 18 起向后每个 block 都加入该向量，并按各 block 的平均 patch 范数重缩放（沿用 Surkov et al., 2024 的加向量范围）。

KAN 参数化

作者称轨迹和编码器可以用多种一维非线性模型；选用 Kolmogorov–Arnold Network（Liu et al., 2024）是为了保留显式标量坐标，同时允许轨迹弯曲。编码器把 D 维激活映到 z；解码器宽度为 [1, D]，每个输出通道是同一标量的单变量函数，由 SiLU 基项与 spline 项相加。作者称 spline 提供灵活性，SiLU 提供平滑基函数。

实验设置

• 模型：FLUX.1-schnell 的 1-step 与 4-step，以及 FLUX.1-dev。架构为 19 个 dual-stream 与 38 个 single-stream block，以 T5-XXL 和 CLIP 文本编码器为条件。5.2 节称 dev 为 50 steps。
• 概念与规模：每概念 K=5。测试集每属性 600 seeds、每概念 3000。拟合用 800 个训练 seed、100 个验证 seed。附录 Table 2–4 各报告 10 个概念的逐属性结果。Table 1 是概念平均，标题未写概念个数。
• 干预：在 block 18 取图像流 delta 激活。推理从 block 18 起向后加向量。轨迹只在 1-step 激活上拟合一次，不改参数用于 4-step 与 dev。
• 两种拟合：in-range 用全部 5 档拟合再 steering；外推只用前 3 档拟合，对 5 档 steering。线性基线使用同一组观测属性。
• 指标：αk 在 calibration split 上选取，使 steered 图与属性提示的 SigLIP2 相似度最大，并满足属性顺序。dir-CLIP 看图像变化是否沿目标文本方向；CLIP-I 与同 seed 直接提示该属性的图比；CLIP-T2I 与属性提示比；LPIPS 相对未 steering 图；FID 对 prompt 生成分布、跨属性汇总；FVU 是拟合曲线未能重建的模型自身属性位移比例。
• 未写项：论文未报告 calibration split 规模、λ、重复次数和人工评审。

主结果

据 Table 1。外推行标题为 FLUX.1 Schnell，未写步数。CLIP-I 与 CLIP-T2I 因列数限制放在表后。

| 配置 | 方法 | dir-CLIP | FID | LPIPS | FVU | | FLUX.1-schnell（1-step） | Linear | 0.1079 | 47.86 | 0.2434 | 0.6187 | | FLUX.1-schnell（1-step） | KANSteer | 0.1703 | 28.56 | 0.2275 | 0.4674 | | FLUX.1-schnell（4-step） | Linear | 0.0855 | 38.17 | 0.2243 | 0.4906 | | FLUX.1-schnell（4-step） | KANSteer | 0.1493 | 28.25 | 0.1932 | 0.4531 | | FLUX.1-dev | Linear | 0.0534 | 46.73 | 0.2121 | 0.5437 | | FLUX.1-dev | KANSteer | 0.1102 | 33.79 | 0.1766 | 0.4811 | | FLUX.1 Schnell 外推（未写步数） | Linear | 0.0501 | 89.12 | 0.3754 | 0.6938 | | FLUX.1 Schnell 外推（未写步数） | KANSteer | 0.1104 | 61.74 | 0.2971 | 0.547 |

• 表中未列的 CLIP-I / CLIP-T2I：1-step 线性 0.8563/0.5367，KANSteer 0.9017/0.5592；4-step 为 0.8147/0.5056 对 0.8625/0.5337；dev 为 0.7932/0.5006 对 0.8375/0.5320；外推为 0.6114/0.4469 对 0.741/0.482（均据 Table 1）。
• 作者称每个设置的每个指标都更好，且不限于单步采样；LPIPS 也更低，作者认为收益不是来自更强扰动。贡献列表把 1-step 写成 dir-CLIP 从 0.108 到 0.170、FID 从 47.9 到 28.6，与表中四位小数并列。
• 作者称轨迹在 1-step 上拟合一次后不改即用于 4-step 与 dev；激活空间里曲线留下的未解释位移少于最佳直线。作者称 FID 差距对应扫描中线性方向靠离开自然分布才到达目标属性。

逐概念与定性

• 作者称两种方法在源属性重合，随 steering 推进分开。FLUX.1-dev 的 human age、middle-aged：KANSteer 的 LPIPS 为 0.142、dir-CLIP 为 0.241，线性为 0.493 与 0.137（Table 4）。Table 2 表情 Neutral：线性 dir-CLIP 为 −0.010，KAN 为 0.093；作者称线性方向甚至离开该经过状态。
• 概念平均上作者称每项都更好。逐属性表并非每格都如此：Table 2 季节 Summer 的 dir-CLIP 线性 0.041、KAN 0.033；Laughing 的 LPIPS 线性 0.219、KAN 0.294；Smiling 的 LPIPS 线性 0.188、KAN 0.246。Table 3 也有线性 dir-CLIP 为负的中间档，如 4-step 发卷 Slightly wavy 为 −0.009、表情 Neutral 为 −0.029。
• 作者称增益最大的是轨迹弯曲的概念；属性接近直线时（文中举例 human age），线性方向仍能到达目标，差别主要在连续过渡。Figure 3 图注称 KANSteer 逐列给出中间属性，线性方向先守住源属性再突然过渡。作者称发卷会先保持直发再卷曲，KANSteer 则先经过 wavy。

超出拟合范围的 steering

• 两者都只在 a1、a2、a3 上训练，在 a1 到 a5 上评测，种子与指标与 in-range 相同。作者称线性外推只是延长已拟合直线，第 3 节的守住再跳跃仍然存在。
• KAN 的 B-spline 网格只覆盖训练时的坐标范围；超出后解码器退化为 SiLU 基项。作者称这是平滑单调延拓，而不是截断。Figure 4 覆盖发卷与装饰；作者称只拟合到 wavy 的 KANSteer 在更高强度仍给出 curly 与 coily，线性方向则冲出伪影。
• 作者称外推结果说明拟合曲线捕捉的是激活空间中的连续结构，而不是记住训练点。Table 1 的对应数字已列入上表，此处不重复。

轨迹曲率是否被用上

• 作者把解码器在经验 z 范围上对正交多项式分解，非线性份额 1−R² 为一次以上的中心能量占比。Figure 5 图注称全属性范围上该份额升至 10−25%；正文写发卷达 25%、表情达 14%，并称随子区间变宽单调上升。
• 对留出种子编码五档激活，比较预测质心位移与真实位移的余弦。作者报告 KANSteer 平均 0.55，线性 0.37；发卷差距最大，0.88 对 0.20。
• Figure 5 图注称 KANSteer 预测沿弯曲质心路径，线性预测塌到单一方向并错过曲率。图中为 block-18 激活的 PCA，含逐 seed 散点与模型预测质心。

其他消融与分析

• 附录 A.1：方向在 700 seeds 的留出划分上拟合，ρk 在其余 seed 上计算。中间属性（索引 2–4）ρk 超过 0.4，作者称通常超过 0.7；作者称至多 30% 的中间档位移落在端点方向上，且没有缩放 α 能再降低 ρk。
• 附录 A.2：去掉 block 18 的全部更新后，作者称后续 block 不能恢复属性。只去掉 top-1 或 patch (63, 0) 时，作者称图像与属性仍保留。最大 patch 范数为中位数的 120–160 倍。
• 拟合丢掉超过 99 分位的 patch（约 41/4096）。作者用占比 0.5%、范数约为中位数 140 倍估计，这些 patch 可占平方范数约 99%，并称它们对概念因果惰性。
• 论文未报告 λ、学习率、训练步数，也没有多种 KAN 宽度或网格的对照表。附录 Figure 9–20 为 FLUX.1 Schnell 上的强度扫描，作者称曲线在 1-step 的 block 18 上拟合一次后直接使用。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion 称线性是概念全范围上的局部近似，并希望把遍历看作曲线，作为解释和控制非线性概念的起点；该段没有把它写成不足清单或后续实验。

实验覆盖范围

• 被测生成为 FLUX.1-schnell（1-step 与 4-step）和 FLUX.1-dev；5.2 节称 dev 为 50 steps。轨迹在 1-step、block 18 激活上拟合一次，不重新拟合即用于 4-step 与 dev。
• Table 1 报告概念平均的 in-range 与外推。附录 Table 2–4 各给 10 个概念、每概念 5 个属性的 dir-CLIP、CLIP-I、LPIPS、CLIP-T2I。Figure 7 与附录 A.4 还包含装饰、河流、腐蚀等更多概念的投影或提示词。
• 测试为每属性 600 seeds、每概念 3000；拟合用 800 个训练 seed 与 100 个验证 seed。生成分辨率为 1024²，P=4096，D=3072。αk 在 calibration split 上按 SigLIP2 最大化选取，并受属性顺序约束。
• 外推在 Table 1 仅有 FLUX.1 Schnell 一行：拟合属性 1–3，steering 属性 1–5；该行未写采样步数。附录 A.2 的置零干预针对 block 18，包括全部 patch、top-1、patch (63, 0) 与 top 1%。
• 论文未报告 λ、优化步数、重复次数、calibration split 规模，以及评审与人工的一致性。

KANSteer 研究文生图扩散模型里，有序视觉概念能否沿单一激活方向被遍历，并改用一维曲线做 steering。

• 问题：LRH 把高层概念当成直线方向。作者认为连续视觉概念的中间状态本身属于概念；端点正确时，直线仍可能在过渡中误表示它。直接提示中间属性后，激活很少落在端点连线上。
• 方法：同一初始噪声下生成五档属性，在 block 18 取图像流残差。KAN 把激活编成标量坐标并解码成轨迹；推理时移动坐标 α，把对应位移加回激活。仿射轨迹退化为与位置无关的固定向量。拟合用 800 个训练 seed，推理从 block 18 起作用于后续 block。
• 主结果：Table 1 里，FLUX.1-schnell（1-step）KANSteer 的 dir-CLIP 为 0.1703、FID 为 28.56，线性为 0.1079、47.86。4-step 为 0.1493 对 0.0855，FID 为 28.25 对 38.17。FLUX.1-dev 为 0.1102 对 0.0534，FID 为 33.79 对 46.73。贡献列表将 1-step 写成 0.108 到 0.170、FID 47.9 到 28.6。轨迹在 1-step 上拟合后不改即用于另两种设置。
• 外推与几何：Table 1 外推行（FLUX.1 Schnell，未写步数）中，KANSteer 的 dir-CLIP 为 0.1104、FID 为 61.74，线性为 0.0501、89.12。作者报告留出种子上质心位移余弦平均 0.55 对 0.37，发卷为 0.88 对 0.20。
• 作者结论：两端方法都能恢复端点，差别在中间。作者称线性是局部近似，不是概念全范围的描述；把遍历看成曲线，可作为解释和控制非线性概念的起点。