从表示到计算轨迹：面向大语言模型来源验证的内在指纹方法 TrFP

1. 01这篇论文试图解决什么问题？

   解决 LLM 权重被改后难溯源的问题：参数指纹不够鲁棒，表示指纹唯一性不足。

   核心问题：模型权重被未授权获取并经微调、剪枝、量化、参数置换等修改后，如何可靠验证一个可疑模型是否源自受保护的源模型。

   • 场景与重要性：作者称，训练 LLM 成本高、是重要数字资产；攻击者获取权重后可用常见技术修改模型，既保留主要能力又掩盖与原始模型的关系，可能造成未授权使用和商业化。
   • 现有方法不足（按论文说法）：水印需发布前嵌入且可能影响性能、无法保护已发布模型；参数指纹在持续训练和结构化剪枝下特征变化大，鲁棒性受限；表示指纹依赖 CKA 相似度，作者发现 CKA 在高维小样本下会高估相似度，且无关模型也可能有高表示相似度，唯一性不足。
   • 核心观察：相似表示不必经过相同的逐层更新过程。作者把表示沿网络深度的逐层更新序列称为计算轨迹，Figure 1 的 UMAP 可视化中不同模型家族的轨迹彼此分开，派生模型跟随其源模型的轨迹，作者据此认为轨迹可同时提供唯一性和鲁棒性。
   • 论文提出：TrFP，一种基于计算轨迹的内在指纹方法，用置换不变的轨迹描述子构造紧凑指纹，并系统评测其在多种模型变换和攻击下的表现。
   • 威胁模型（Section V-A）：
     • 目标：给定源模型 Mv 和嫌疑模型 Ms，判定 Ms 是否与 Mv 同源（相同或经变换派生）。
     • 防御者能力：对 Mv 白盒访问、预存参考指纹；验证时可访问 Ms 的中间隐藏状态；使用私有探针集。
     • 攻击者能力：获得源模型、知道指纹算法；可做微调、剪枝、合并、量化、参数置换，也可显式优化模型降低指纹相似度。
     • 限制：防御者的私有探针集对攻击者保密。

   收起这一问

2. 02有哪些相关研究？

   相关工作分 DNN 指纹、参数型与表示型 LLM 指纹三组，本文以 PCS、ICS、REEF、CREF、AttnDiff 为基线。

   DNN 指纹（行为与参数两条线）

   • IPGuard [25]、Lukas et al. [26]、Peng et al. [27]：从决策行为刻画模型——提取分类边界附近的指纹样本、构造只迁移到替代模型的可转移对抗样本、利用通用对抗扰动刻画决策边界几何。
   • Zheng et al. [28]：把有区分度的模型权重投影到所有者确定的随机空间，生成紧凑指纹。
   • GMFIP [2]、FIT-Print [3]：关注指纹的鲁棒性与安全性，前者训练生成器合成指纹样本以抗修改和提取攻击，后者针对虚假所有权声明提出定向指纹。

   LLM 参数型指纹

   • PCS、ICS [13]：PCS 用参数向量余弦相似度判定溯源；ICS 利用 Transformer 注意力与前馈模块中的参数不变量增强对参数置换的鲁棒性。
   • SELF [14]、GhostSpec [15]、AWM [16]：分别从注意力权重的奇异值/特征值、注意力权重矩阵的谱结构、参数坐标对齐构造指纹。论文指出这类方法依赖参数特征在变换后仍稳定可比，可能在大参数更新、结构变化或弱参数对应下受限。

   LLM 表示型指纹

   • EasyDetector [17]、REEF [18]：前者训练分类器看其能否迁移到嫌疑模型；后者直接比较两模型在同一输入上的中间表示，用 CKA 度量相似度。
   • FNF [19]、CREF [20]、AttnDiff [21]：分别比较共同激活神经元组的激活趋势、用语义概念方向上的模型响应作指纹、用语义冲突提示对的注意力图差异奇异值作指纹。论文指出这类方法以表示相似度作为同源证据，而相似度可能对溯源不具特异性，限制唯一性。

   基线与基准：实验对比 PCS、ICS（参数型）与 REEF、CREF、AttnDiff（表示型）五个基线；探针数据用 ToxiGen（TrFP 默认）、TruthfulQA（REEF 等）等。

   定位：作者称本文揭示了表示型指纹的两个问题（CKA 估计偏差、表示汇聚导致的高相似度），并提出以计算轨迹替代参数或单层表示，声称比若干现有 SOTA 方法有更强的溯源判别力。

   收起这一问

3. 03论文如何解决这个问题？

   TrFP 用层、邻域、累积三个置换不变描述子刻画表示随深度的演化，构造紧凑指纹并按相对深度对齐比较。

   整体思路：不比较参数或单层表示，而是比较计算轨迹——表示沿网络深度的逐层更新方式。TrFP 从私有探针集提取各层隐藏状态，构造轨迹，提取置换不变的轨迹描述子并标准化成指纹，最后按相对深度对齐计算相似度判定溯源（Figure 5）。

   计算轨迹构造

   • 隐藏状态序列：对探针 xi 取每层最后一个 token 的隐藏状态（作者称因果注意力下它聚合了整个输入的信息），得到 h(0)…h(L)。
   • 逐层位移：相邻层隐藏状态之差 d(l) = h(l+1) − h(l)；由于 h(l+1) 由当前隐藏状态和该层参数决定，d(l) 由二者共同决定。
   • 轨迹定义：探针 xi 的计算轨迹为位移序列 T_M(xi) = (d(0), …, d(L−1))。

   三级轨迹描述子

   • 层描述子 ρ：每层位移相对于输入表示的模长比，刻画该层对表示的更新强度。
   • 邻域描述子 δ：相邻层 ρ 之差，刻画更新强度在层间的变化（l=0 时取 0）。
   • 累积描述子 e：前 l 层位移的矢量和的模长，即 e_i^(l) = ‖Σ_k d_i^(k)‖₂，刻画从起点出发的净位移；矢量求和使其反映位移间的方向相互作用。
   • 跨模型可比性：三者只依赖欧氏范数，不需要隐藏维度之间的坐标对应；探针在深度 l 的轨迹状态为 q(l) = [ρ(l), δ(l), e(l)]。

   指纹构造与比较

   • 标准化：对每个层位置计算探针集上的描述子中心 r(l)（均值）和全局尺度 σM，标准化为 q̂ = (q − r)/（σM + ϵ）；作者称这是为了消除描述子间量纲差异和探针间共享基线对判别的干扰。
   • 指纹：FM ∈ R^{L×N×3}，即所有层位置、所有探针的标准化描述子集合。
   • 深度对齐与判定：不同深度模型按相对深度均匀采样 L̄ = min(Lv, Ls) 个对齐位置，逐位置对探针描述子算余弦相似度并平均，得到总相似度 S；S ≥ τ 判为同源，论文沿用先前工作设 τ = 0.5。

   置换不变性分析

   • 三类置换：论文理论分析了注意力置换（query/key 与 value 维度）、FFN 中间维度置换、全局隐藏维度置换。
   • 结论：利用置换矩阵的正交性，三种置换下注意力与 FFN 输出不变或轨迹描述子保持不变，作者称 TrFP 按构造就是置换不变的；实验用 BF16 精度，可能引入与理论不变性的小偏差。

   评测方式

   • 指标：相关/无关模型对的平均相似度、固定阈值 0.5 下的 TPR 与 TNR；鲁棒性实验看源模型与派生模型的相似度；自适应攻击额外评估模型效用；存储开销按指纹大小计。

   收起这一问

4. 04论文做了哪些实验？

   在 7 个家族 56 个模型上对比 5 个基线，并测微调、剪枝、量化、合并、置换与自适应攻击下的鲁棒性。

   实验设置

   • 被测模型：七个开源家族 Falcon3-7b、Llama-3.1-8b、Mistral-7b、OLMo-2-7b、Qwen2.5-14b、Qwen2.5-7b、Qwen3-1.7b，每族含 Base、Instruct、Fine-tuned、Adapter-based、Merged、GPTQ-quantized、Distilled 共 8 个候选模型，合计 56 个；以每族 Base 和 Instruct 为源模型，共 14 个源模型。
   • 模型对：14×56 相似度矩阵，98 个相关对、672 个无关对；PCS 无法比较 GPTQ 量化模型，故其矩阵为 14×49（84 相关、588 无关）。
   • 基线：PCS、ICS（参数型），REEF、CREF、AttnDiff（表示型），尽量沿用原文设置（如 REEF 用 200 个 TruthfulQA 探针、取第 18 层最后 token 表示）。
   • TrFP 设置：默认 200 个 ToxiGen 探针；REEF/CREF/AttnDiff 用线性 CKA，PCS/ICS/TrFP 用余弦相似度。
   • 指标与判定：相关/无关对平均相似度、[email protected]、[email protected]；相似度 ≥ 0.5 判为同源。
   • 重复次数：参数置换实验重复 3 个种子，报告均值±标准差；其余实验论文未报告重复次数。

   主结果

   Table I 的整体溯源结果（56 模型池）：

   表格较宽，可左右滑动

   方法	Rel. Mean ↑	Unrel. Mean ↓	[email protected] ↑	[email protected] ↑
   PCS	0.906	0.034	91.7%	100%
   ICS	0.933	0.003	93.9%	100%
   REEF	0.889	0.728	100%	0%
   CREF	0.898	0.692	100%	2.1%
   AttnDiff	0.988	0.751	100%	28.6%
   TrFP	0.887	0.248	100%	100%

   • 作者解读：PCS/ICS 唯一性好但在 0.5 阈值下漏掉部分相关对；REEF/CREF/AttnDiff 无关对均值高，唯一性受限；TrFP 同时取得 100% TPR 与 TNR。
   • 图示：Figure 6 的相似度矩阵中，PCS、ICS、TrFP 呈对角块结构，REEF、CREF、AttnDiff 在块外也有较高相似度。

   表示相似度的两个验证实验（Section III）

   • CKA 估计偏差：两组独立高斯随机表示，n=200、d=8192 时有偏 CKA 达 0.976，去偏后降到 0.001（Figure 2）；作者称高维小样本下有偏 HSIC 估计会高估相似度。
   • 溯源特异性：7 个无派生关系的预训练模型在 200 个 TruthfulQA 探针上的去偏 CKA 全部落在 0.61–0.80（均值 0.69），超过 REEF 的 0.5 无关阈值；随机重初始化参数后降到 0.31–0.54（均值 0.46）（Figure 3）。作者称高相似度更可能与训练过程（表示汇聚）有关，而非溯源关系。
   • 对 REEF 的复测：14 个模型（7 族 Base+Instruct）上，有偏 CKA 下无关对均值 0.718、相关对 0.843，去偏后分别为 0.646 与 0.801，两种设置下分布都重叠；例如 Qwen3-1.7b-Base 与无关的 Qwen2.5-7b-Base 为 0.685，高于与其自身 Instruct 版本的 0.674（Figure 4）。

   模型变换鲁棒性（Table II）

   • 微调：以 Llama-2-7b 为源、6 个微调派生模型（5M–700B token）。TrFP 相似度 0.9993–0.9999；PCS 在 CodeLlama-7b（500B token）上降到 0.5333，ICS 在 Chinese-llama-2-7b、CodeLlama-7b、Llemma-7b 上分别降到 0.4626、0.0175、0.0159。
   • 剪枝：Llama-2-7b 与 Sheared-Llama 1.3b/2.7b 系列。PCS 全部低于 0.03，ICS 全部低于 0.58；TrFP 为 0.8840–0.9996，AttnDiff 为 0.9903–0.9945。
   • GPTQ 量化：Falcon3-7b、OLMo-2-7b、Qwen3-1.7b。TrFP 为 0.9196、0.8924、0.8286；ICS 在 OLMo-2-7b 上降到 0.0070；PCS 不适用。
   • 模型合并：Evollm-jp-7b 与其三个成分模型。TrFP 为 0.8002–0.8100，低于其他方法（如 AttnDiff 0.9940–0.9966）；作者称合并使轨迹部分偏离各源模型，但所有相似度仍高于 0.5。

   参数置换与自适应攻击

   • 参数置换（Table III）：Qwen2.5-7b 与 Llama-3.1-8b，FFN/注意力/隐藏维度/组合置换各 3 个种子。TrFP 全部 ≥ 0.9968（如 Qwen2.5-7b 组合置换 0.9970±0.0003）；ICS、REEF、CREF、AttnDiff 也接近 1；PCS 在 Llama-3.1-8b 隐藏维度与组合置换下分别降到 0.0427±0.0001 与 0.0426±0.0001。
   • 自适应攻击（Figure 7）：攻击者知道完整指纹流程，用 200 个 TruthfulQA 样本作代理探针集，以 LoRA 在 Alpaca 上微调 Falcon3-7b 与 Qwen3-1.7b，目标为 Ltask + λ·Levade，λ 取 0/1/5/10，共 1000 步。攻击把代理探针上的相似度压向 −1，但防御者私有 ToxiGen 探针上的相似度全程保持在阈值 0.5 以上；λ 从 5 增到 10 对私有探针相似度的额外降低有限，而模型性能下降变大（具体效用数值图上未标注）。作者称 TrFP 在机制完全公开时仍鲁棒。

   其他消融与分析

   • 描述子组合（Table IV）：完整组合 ρ+δ+e 取得 100% TPR/TNR 和四种变换下最高鲁棒性（微调 0.9996、剪枝 0.9121、GPTQ 0.8803、合并 0.8055）；单用 δ 时剪枝仅 0.3122。
   • 探针数据集（Figure 8）：ToxiGen、ConfAIde、TruthfulQA、StereoSet、PKU-SafeRLHF 五种探针下，相关模型相似度均高于无关模型，图上标注的 Gap 为 0.49–0.64。
   • 探针数量（Figure 8）：N 在 10–20 时结果波动，约 100–200 时接近 N=1000 的结果；默认取 N=200。
   • 存储开销（Table V）：TrFP 指纹从 Llama2-7b 的 0.0732 MiB 到 KimiK2-1043b 的 0.1396 MiB；对照 PCS 在 KimiK2-1043b 上为 3978749.2500 MiB、ICS 约 384 MiB、CREF 0.0076 MiB。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称 TrFP 限于白盒、更广架构与更强自适应攻击待研究，并计划扩展到智能体系统。

   作者指出的局限与后续方向

   • 白盒依赖（Conclusion）：作者称 TrFP 需要访问中间表示，因此主要适用于白盒溯源验证。
   • 架构覆盖（Conclusion）：作者称其在更广模型架构上的鲁棒性有待进一步研究。
   • 更强自适应攻击（Conclusion）：作者称对更强自适应攻击的鲁棒性有待进一步研究。
   • 扩展到智能体（Conclusion）：作者计划把 TrFP 从 LLM 扩展到智能体系统，探索规划、工具使用和交互轨迹中的溯源特征。

   实验覆盖范围

   • 被测模型：整体评测覆盖 7 个开源模型家族、56 个模型（含 Base/Instruct/微调/Adapter/合并/GPTQ 量化/蒸馏变体）；存储开销另测 Llama2-70b、GLM-4.5-Air-106b、GLM-4.5-355b、DeepSeek-V3-671b、KimiK2-1043b。
   • 变换与攻击：微调（5M–700B token）、结构化剪枝（Sheared-Llama 1.3b/2.7b）、GPTQ 量化、模型合并（Evollm-jp-7b）、四类参数置换（3 个种子）、LoRA 自适应攻击（λ=0/1/5/10，1000 步，仅 Falcon3-7b 与 Qwen3-1.7b）。
   • 探针设置：默认 200 个 ToxiGen 探针；消融覆盖 5 个探针数据集和 N=10 到 1000 的规模。
   • 重复与统计：仅参数置换实验报告 3 个种子的均值±标准差；其余实验论文未报告重复次数或统计检验。
   • 效用评估：自适应攻击中模型性能每 100 步评估一次，但论文未写明所用效用指标名称和具体数值。

   收起这一问

6. 06总结一下论文的主要内容

   TrFP 用计算轨迹做 LLM 白盒溯源指纹，56 模型池上 TPR/TNR 均 100%，抗多种变换与自适应攻击。

   一篇关于 LLM 所有权保护的指纹论文，针对权重被获取并修改后的白盒溯源验证场景。

   • 问题：作者称参数型指纹在大规模微调、剪枝等变换下鲁棒性不足；表示型指纹依赖 CKA 相似度，存在两个问题——高维小样本下 CKA 高估相似度（n=200、d=8192 时无关随机表示达 0.976），且无关预训练模型间去偏 CKA 仍达 0.61–0.80，唯一性不足。
   • 方法：TrFP 把表示沿网络深度的逐层更新序列（计算轨迹）作为指纹来源，用层、邻域、累积三个只依赖范数、置换不变的描述子刻画轨迹，标准化后按相对深度对齐计算余弦相似度，阈值 0.5 判定同源；作者从理论上分析了其对三类参数置换的不变性。
   • 主结果：7 个家族 56 个模型上，TrFP 相关对均值 0.887、无关对 0.248，[email protected] 与 [email protected] 均 100%；表示型基线 REEF/CREF/AttnDiff 的 TNR 仅 0%/2.1%/28.6%（Table I）。
   • 鲁棒性：对 500B token 微调的 CodeLlama-7b 相似度 0.9993；剪枝模型 0.8840–0.9996；组合参数置换下 ≥ 0.9968；知道完整算法的 LoRA 自适应攻击无法把私有探针上的相似度压到阈值以下（Table II、III，Figure 7）。模型合并场景相似度 0.8002–0.8100，低于其他基线但仍高于判定阈值。
   • 成本：指纹小于 0.3 MiB（Llama2-7b 为 0.0732 MiB），随模型规模变化很小（Table V）。
   • 作者结论：计算轨迹可同时提供唯一性与鲁棒性，TrFP 适合大规模模型溯源；其局限是依赖中间表示访问、主要适用于白盒场景，更广架构和更强自适应攻击留待后续，并计划扩展到智能体系统。

   收起这一问

相关论文