inLoRA-MINT：用内部表示审计领域适配 LLM 的训练数据

核心问题是：不开放全部参数时，判断一条文本有没有被用于 LoRA 微调。

• 场景：作者认为 LLM 已用于医疗、法律、人力资源、教育与金融，训练数据的来源和是否公开仍有争议。审计敏感记录是否进入微调，被作者与隐私、泄露、透明度以及欧盟 2024 年 6 月的人工智能监管联系起来。
• 已有方法：传统 MIA 多在对抗设定下、借助影子模型推断样本是否参与训练。作者此前的 LoRA-MINT 则是严格 black-box，只把候选样本的 perplexity 与域内合成参考分布比较。
• 改动：相对只看 perplexity，本文抽取中间激活、梯度敏感度和输出级信号。作者称这些表示可以在不开放全部参数的情况下训练 MINT 模型，以区分训练样本与非训练样本。
• 提出的方法：inLoRA-MINT。实验写在 Qwen / Qwen3、Phi-4、DeepSeek-V3、LLaMA 3.2-3B 的 LoRA 微调版本上，数据为医疗、数学和学术推理。作者称方法的大部分也可用于其他适配技术或一般 AI 模型，实验仍以 LoRA 为中心。
• 威胁模型：
  • 目标：判断给定文本 d 是否属于模型 M 的训练数据 D（Fig. 1）。
  • 知识：需要开发方一定程度的配合，以取得样本相关的部分参数级信息；不要求全部模型参数。论文未用 white-box、gray-box 或 black-box 命名这一设定；black-box 只用于描述此前的 LoRA-MINT。
  • 能力：直接在被审计的原模型上抽取 q(d)，不训练影子模型。参考集需要已知成员标签。
  • 系统与判定：被审计对象是 LoRA 微调后的 LLM。输出 1（d 属于 D）或 0（d 属于 E）。

成员推断攻击

• 影子模型路线：Shokri 等（2017）研究攻击者能否从模型行为推断某条数据是否用于训练。论文写传统 MIA 常训练影子模型去逼近目标模型。Watson 等（2022）讨论 MIA 中的难度校准。引言引用二者说明可行性及对数据保护的影响，没有与本文做数值对照。
• 文献基线：Loss（Liu 等，2022）、MinK（Shi 等，2024）、MinK++（Zhang 等，2025）。Table I 将三者标为 relevant literature，并在三个数据集、四个 LoRA 模型上以 AUC 比较。正文未展开三者的实现细节。Maths 一行的年份标注在文本中有错位，年份以上述参考文献为准。

MINT 审计框架

• 原始框架：DeAlcala、Morales 等（2025）的 MINT 判断模型是否在给定数据上训练过。作者称它用作审计时假定提供方有一定配合，可覆盖文本、图像、音频，以及从有限披露到完全透明的访问程度。
• 同脉络变体：论文还引用成员推断的影响因素分析、aMINT、图像上的 gMINT，以及目标分类模型上的成员测试，用来说明 MINT 可随访问程度和模态调整。
• 文本与 LoRA：Mancera 等的 LoRA-MINT（COMPSAC 2026）在严格 black-box 下只用 perplexity 和域内合成参考分布。另一项工作把基于梯度的 MINT 用于 LLM 文本（IEEE CAI 2026）。本文在同一审计问题上加入内部激活、梯度敏感度和输出信号，并称访问只是温和增加。

LoRA

• 低秩适配：Hu 等（2022）冻结预训练权重，用秩 r 远小于 min(d, k) 的矩阵近似权重残差，本文写成式 (1)。作者认为 LoRA 会改变微调时的优化图景，可能影响数据记忆和内部表示，因此适合作为 MINT 与隐私相关技术的对象。

基线与数据

• 基线方法：Loss、MinK、MinK++。数据集：Medical-o1-reasoning-SFT、CAMEL Math Reasoning、Maths & College Reasoning。被审计模型在 Table I 与第 V 节写作 Qwen3、Phi-4、DeepSeek-V3、LLaMA 3.2-3B；第 IV-B 节列举时写 Qwen。

作者把本文放在合作式 MINT 而不是影子模型 MIA 上，并用内部表示扩展只依赖 perplexity 的 LoRA-MINT。

inLoRA-MINT 从 LoRA 微调模型抽取与样本相关的内部表示 q(d)，再训练二分类器，判断该样本是否属于微调集。作者称这是用有限内部信号换取高于只看 perplexity 的检出。

问题设定

• 对象：微调集 D 与外部集 E，样本 d 来自二者之并。基座 M 经 LoRA 得到 M_LoRA，对 d 和参数 w 产生输出。论文将适配权重写成 W = W₀ + BA（式 1），W0 冻结，A、B 为低秩矩阵。
• 审计函数：q(d) 是处理 d 时的激活、内部状态或部分参数相关信号。MINT 模型 T(q(d) | θ) 在 D 与 E 的表示上训练；d 属于 D 预测为 1，属于 E 预测为 0。
• 配合假设：作者称需要开发方配合，以便只暴露经过选择的内部信号，而不交出全部参数。
• 四步流程：用已知成员标签收集 q(d)；把 T 训成二分类器；对候选集 C 中的 d 抽取 q(d)；用 T 预测。Fig. 2 标出 E 不属于 D。

表示 q(d)

• 激活：取最后三层。每层在 token 平均表示上计算均值、标准差、该平均向量的 l2 范数，以及 token 级 l2 范数的平均。每层 4 维，三层 12 维。
• 梯度与输出：对输入嵌入的梯度取 l2 范数，得 1 维。输出侧为预测损失，以及按 token 平均的最大预测概率，共 2 维。三层全开为 15 维。
• 其他宽度：协议写单层配置为 7 维，单独的梯度、损失或概率为 1 维。实验 1 又写 L1 只用倒数第三层的统计描述子且为 7 维。7 与「4 个激活统计量 + 梯度 + 两个输出特征」在数字上一致，但论文没有再解释实验条目里的「只用统计描述子」。

分类器与微调

• MINT 网络：全连接网，隐层 32 与 16。每层后接 batch normalization、SiLU，dropout 分别为 0.2 和 0.1。末层输出一个成员分数。损失为带 logits 的 binary cross-entropy。AdamW，学习率 3×10^-4，权重衰减 10^-4，训练 30 个 epoch。
• 被审计模型的微调：约 13k 样本，LoRA 秩 r=32，缩放 α=32，dropout 0.15，注入 query、key、value、output 和前馈投影，原参数不变。10 个 epoch，AdamW，学习率 10^-4。四个模型族用同一协议。
• 未写明的训练细节：论文未报告 batch size、D 与 E 的采样比例、MINT 的训练/测试划分，以及 E 如何构造。

如何判定

• 指标：成员身份是二分类，实验用 AUC。论文未给出把分数改成硬判决的阈值，也未使用 LLM 评审。
• 六种特征配置：L1、L2、L3 为单层 7 维；OnlyGrad 为 1 维梯度；GradProbLoss 为梯度、损失和置信度共 3 维；All3Layers 为 15 维。这些配置的数值在第 4 问，不在这里展开。

实验设置

• 被审计模型：Qwen3、Phi-4、DeepSeek-V3、LLaMA 3.2-3B，均为 LoRA 微调后的 M_LoRA。第 IV-B 节写 Qwen，Table I 与第 V 节写 Qwen3。
• 数据：Medical-o1-reasoning-SFT、CAMEL Math Reasoning、Maths & College Reasoning。微调集约 13k。论文未报告各数据集进入 MINT 训练和测试的条数。
• 基线：Loss、MinK、MinK++。Table I 标为 relevant literature。
• 指标与评审：AUC。无 LLM 裁判，无决策阈值，无重复次数。
• 变体：L1、L2、L3、OnlyGrad、GradProbLoss、All3Layers，定义见第 IV-C 节与第 V 节。
• 固定训练量：微调 10 epoch、学习率 10^-4；MINT 分类器 30 epoch、学习率 3×10^-4。论文未报告划分方式和随机种子。

主结果

表格较宽，可左右滑动

模型与方法（AUC，Table I）	Medical-o1	CAMEL	Maths & College
Qwen3 All3Layers	0.9302	0.9514	0.9857
Qwen3 Loss	0.7508	0.8838	0.9380
Phi-4 All3Layers	0.9819	0.9578	0.9845
Phi-4 Loss	0.9390	0.9160	0.9210
DeepSeek-V3 All3Layers	0.9851	0.9901	0.9901
DeepSeek-V3 Loss	0.8840	0.9051	0.9610
LLaMA 3.2-3B All3Layers	0.9240	0.9645	0.9792
LLaMA 3.2-3B Loss	0.8000	0.8090	0.7850

• 相对基线：作者称 All3Layers 在全部数据集和模型上取得表中最高的总体表现。逐格对照 Table I，该配置高于同格的 Loss、MinK 和 MinK++。MinK、MinK++ 相对 Loss 并不总是更高；CAMEL 上 MinK++ 四格为 0.7823、0.8730、0.8465、0.7985（顺序同表）。
• 摘要概括：摘要写性能分数在 95% 到 98%。表中 All3Layers 并非每一格都落在这一概括里，医疗集的 Qwen3 与 LLaMA 3.2-3B 两行即是。
• 模型族：作者称 DeepSeek-V3 这类更大的模型 AUC 更高、更稳，并认为这可能对应更强的记忆；LLaMA 3.2-3B 更低且更不稳定；Qwen3 与 Phi-4 居中。论文未给出参数量。作者还称方法在不同架构、领域、模型配置和数据分布下有效。

层与信号配置

• 测了什么：同一批模型与数据集上比较六种特征。L1/L2/L3 各为 7 维，OnlyGrad 为 1 维，GradProbLoss 为 3 维，All3Layers 为 15 维。
• 梯度单独使用：作者称梯度本身不足以稳定捕获成员信息。Medical-o1-reasoning-SFT 上 OnlyGrad 为 Qwen3 0.6706、Phi-4 0.7132、DeepSeek-V3 0.6683、LLaMA 3.2-3B 0.5927（Table I）。
• 合用与反例：作者称 GradProbLoss 相对 OnlyGrad 有提升，并举例 DeepSeek-V3 在医疗集为 0.9435、Qwen3 在 Maths & College Reasoning 为 0.9779。Table I 的反例是 Phi-4 在医疗集的 GradProbLoss 为 0.6323，低于同格 OnlyGrad 的 0.7132。作者称更深层信号更强；CAMEL 上 Phi-4 的 L1/L2/L3 为 0.9533、0.9496、0.9480，Maths 上 Qwen3 的 L2 为 0.9855、L3 为 0.9810，并非逐层上升。

LoRA 注入位置

• 设定：Phi-4、Medical-o1-SF，聚合最后三层表示，表注还写配合 MaxGradProb 评分准则（Table II，第 V-A 节）。论文未在正文定义 MaxGradProb 是否就是 All3Layers；完整配置的 0.9819 与 Table I 中 Phi-4、Medical-o1-reasoning-SFT、All3Layers 的数值相同。
• 结果：只开 q_proj 与 k_proj 时 AUC 为 0.6178；注意力四投影全开为 0.6978；只开 up_proj 与 down_proj 为 0.7945；MLP 三层全开为 0.9019；注意力与全部 MLP 一起开为 0.9819。活性模块以第 V-A 节正文为准。
• 作者解读：作者称该设定下 MLP 通路比注意力模块作用更大，二者合用产生协同。

其他消融与分析

• 除 Table I 的六种特征配置和 Table II 的五种模块组合外，论文未报告对 r、α、epoch 或学习率的扫描。
• Maths 上 DeepSeek-V3 的 MinK 为 0.9840，MinK++ 为 0.8945（Table I）。
• Medical 上 Phi-4 的 MinK++ 为 0.9590，L1 为 0.9800（Table I）。
• CAMEL 上 LLaMA 3.2-3B 的 L1 为 0.8948，L3 为 0.9630（Table I）。
• CAMEL 上 DeepSeek-V3 的 L2 为 0.9865，高于同格 L3 的 0.9843（Table I）。

作者指出的局限与后续方向

论文没有 Limitations 专节，也未把某项实验结果写成局限。第 VI 节写出的后续方向如下。

• 多模态风险：作者写将把训练数据审计工具扩展到多模态 LLM（含 VLM）上的其他相关风险（第 VI 节）。
• 偏见与合成操纵：作者写在保持隐私的同时分析偏见和合成操纵，并称之为风险评估与缓解中的关键题目（第 VI 节）。
• 具体领域：作者写把这些风险评估与管理原则用到文档智能、e-learning、游戏和 e-health（第 VI 节）。

实验覆盖范围

• 被审计模型为 Qwen3、Phi-4、DeepSeek-V3、LLaMA 3.2-3B，均做了 LoRA 微调（第 IV、V 节，Table I）。第 IV-B 节列举时写 Qwen。
• 数据集为 Medical-o1-reasoning-SFT、CAMEL Math Reasoning、Maths & College Reasoning；微调集约 13k（第 IV-C 节）。Table II 写作 Medical-o1-SF。
• 指标为 AUC；基线为 Loss、MinK、MinK++；特征配置为 L1、L2、L3、OnlyGrad、GradProbLoss、All3Layers（Table I）。
• LoRA 模块消融在 Phi-4 上比较了部分注意力、全部注意力、部分 MLP、全部 MLP，以及注意力与全部 MLP 合并（第 V-A 节，Table II）。
• 论文未报告外部集 E 的来源与规模、MINT 的训练/测试划分和重复次数，也未报告与 perplexity 版 LoRA-MINT 的同表数值。结论按 larger / smaller 比较模型族，未报告参数量（第 VI 节）。作者在引言和结论称方法的大部分也可用于其他适配技术，相应实验未报告。

inLoRA-MINT 用被审计模型的内部表示，判断一条文本是否进入 LoRA 微调集，并且不要求开放全部参数。

• 问题：作者把任务放在隐私、泄露和人工智能治理下的数据来源审计里。与训练影子模型的 MIA 不同，这里假定开发方配合，直接在原模型上读取经过选择的内部信号。此前 LoRA-MINT 只在严格 black-box 下使用 perplexity。
• 做法：q(d) 含最后若干层的激活统计、对输入嵌入梯度的 l2 范数、损失和置信度。全配置 15 维，送入 32-16 的全连接二分类器。成员标签来自微调集 D 和外部集 E。
• 主结果：Table I 中 All3Layers 高于同格的 Loss、MinK、MinK++。DeepSeek-V3 在 CAMEL Math Reasoning 与 Maths & College Reasoning 上的 AUC 为 0.9901；LLaMA 3.2-3B 在 Medical-o1-reasoning-SFT 上为 0.9240。摘要所写的 95% 到 98% 盖不住后一格。
• 信号与注入：只使用梯度时，医疗集上 LLaMA 3.2-3B 为 0.5927。Phi-4 在该集的 GradProbLoss 为 0.6323，低于同格 OnlyGrad 的 0.7132。更深的层在作者叙述中更有用，Table I 里有不是逐层上升的格子。Phi-4 在 Medical-o1-SF 上，只开部分注意力为 0.6178，注意力加全部 MLP 为 0.9819。
• 作者结论：作者认为成员信息分布在多层和多种信号中，模型规模与结构关系到隐私泄露，并计划把审计扩到多模态模型、其他风险和若干应用领域。实验本身集中在 LoRA 微调的四个 LLM。