Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2601.18110· Pedram Zaree, Md Abdullah Al Mamun, Yue Dong, Ihsen Alouani, Nael Abu-Ghazaleh·Indexed by this site · Originally published

AttenMIA: Membership Inference Attacks on LLMs Using Attention Signals

AttenMIA: LLM Membership Inference Attack through Attention Signals

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

AttenMIA做白盒成员推断；WikiMIA-32、LLaMA-13B的TPR@1%FPR为87.9%。

Threat model白盒且 reference-free。攻击者可读目标 LLM 各层各头注意力，无训练数据与优化器状态，不用影子模型；目标是判断样本是否在训练集中。

Questions
开源 LLM 会记忆训练数据，成员推断可破坏机密性并支撑数据抽取。作者称输出置信度类方法边界重叠，且在分布偏移下脆弱。
Methods
AttenMIA 在白盒下读取各层各头注意力，计算层间一致性与重心漂移，以及 token 丢弃、替换和前缀插入引起的 KL 偏移，再训练 MLP。
Experiments and results
WikiMIA-32 上 LLaMA-13B 的 Perturbed 变体 AUC 为 99.6、TPR@1%FPR 为 87.9%。作者称 MIMIR 上平均优于 RECALL 与 PETAL；GPT-2 抽取分数与 ROUGE-L 的 Pearson r 为 0.480。
Limitations and future work
结论希望后续研究隐私保护训练，以及负责任使用注意力的审计工具。论文未专节写局限。实验含 WikiMIA、MIMIR、去重与 GPT-2 抽取；未报告差分隐私等防御下的数字，也未报告样本量。
Experimental setupLLaMA-13B、LLaMA-30B et al. · WikiMIA、MIMIR et al. · ROC AUC、TPR@1%FPR et al.
Threat model
白盒且 reference-free。攻击者可读目标 LLM 各层各头注意力，无训练数据与优化器状态，不用影子模型；目标是判断样本是否在训练集中。假设无差分隐私、输出扰动或注意力掩码。抽取实验仍无训练语料，对 GPT-2 续写排序。
Evaluated models
LLaMA-13BLLaMA-30BPythia-6.9BPythia-2.8BPythia-1.4BNeoX-20BOPT-66BOPT-6.7BPythia-dedup 1.4bPythia-dedup 2.8bPythia-dedup 6.9bGPT-2
Benchmarks
WikiMIAMIMIRCommon Crawl
Metrics
ROC AUCTPR@1%FPRHellinger DistancePearson rROUGE-L
AI summaryThe researchers propose AttenMIA, a membership inference attack framework that uses Transformer self-attention patterns to determine whether a sample belongs to the training set. Existing membership inference attacks on LLMs mainly rely on output confidence or embedding features, which are relatively weak signals; AttenMIA trains a classifier by combining cross-layer attention head information with perturbation-based divergence metrics. On open-source models such as LLaMA-2, Pythia, and Opt, attention features consistently outperform the baselines, achieving up to 0.996 ROC AUC and 87.9% TPR@1%FPR on Llama2-13b on the WikiMIA-32 benchmark. The authors state that attention signals generalize across datasets and architectures, and provide an analysis of the layers and heads with the most pronounced leakage; after replacing other membership inference attacks in a data extraction framework with it, training data extraction outperforms the current state-of-the-art method.

The researchers propose AttenMIA, a membership inference attack framework that uses Transformer self-attention patterns to determine whether a sample belongs to the training set. Existing membership inference attacks on LLMs mainly rely on output confidence or embedding features, which are relatively weak signals; AttenMIA trains a classifier by combining cross-layer attention head information with perturbation-based divergence metrics. On open-source models such as LLaMA-2, Pythia, and Opt, attention features consistently outperform the baselines, achieving up to 0.996 ROC AUC and 87.9% TPR@1%FPR on Llama2-13b on the WikiMIA-32 benchmark. The authors state that attention signals generalize across datasets and architectures, and provide an analysis of the layers and heads with the most pronounced leakage; after replacing other membership inference attacks in a data extraction framework with it, training data extraction outperforms the current state-of-the-art method.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者提出 AttenMIA，用注意力过渡与扰动特征做白盒成员推断。

    在白盒条件下，如何用 transformer 的 self-attention 判断样本是否在 LLM 训练集中。

    • 场景：作者称 LLM 语料大、会记忆训练数据；Carlini 等可从 GPT 模型抽出逐字样本，Kandpal 等报告个人可识别信息泄漏。成员推断破坏机密性，也可作为逐步恢复训练数据的构件。
    • 不足：作者称现有 LLM 成员推断主要用 log-likelihood、perplexity 或 token 置信度，成员与非成员边界重叠，低假阳性下变差，且分布偏移时脆弱。引言称 LiRA 与 semantic MIA 更准但计算贵、可解释性有限；梯度与隐藏表示已被使用，注意力未被系统研究。
    • 假设：H1，成员的层间、头间注意力过渡更一致，非成员更嘈杂。H2，扰动使成员变为非成员，注意力偏移应大于非成员。
    • 提出：AttenMIA（文中亦作 ATTEN MIA）抽取过渡特征与扰动特征，训练分类器，并替换数据抽取流程中的成员打分。
    • 威胁模型：
      • 目标：给定生成式模型 fθ 与样本 x，推断 m(x) 取 0 或 1，区分训练成员与非成员。
      • 知识：white-box，可读各层各头注意力矩阵；无原始训练数据，也无优化器状态。对应开源权重发布，文中举例 Llama2。
      • 能力：对输入提取注意力；不训练影子模型，作者称攻击为 reference-free。抽取设定中无训练语料，用短前缀生成续写再排序。
      • 假设：未施加差分隐私、输出扰动或注意力掩码。

  2. What related research exists?

    相关工作覆盖成员推断、数据抽取与注意力攻防；作者称此前未系统用注意力做 LLM 成员推断。

    第 7 节分三组；实验节另列基线。

    成员推断

    • 输出统计：Shokri 等（2017）提出成员推断；Yeom 等（2018）用损失；Carlini 等（2021）把低 perplexity 当作记忆迹象。Min-K%（Shi 等，2023）与 Min-K%++（Zhang 等，2024）使用最低 top-K% token 概率。引言批评的是这类输出信号：边界重叠，且分布偏移下脆弱。
    • 影子模型：LiRA（Carlini 等，2022）与 Truth Serum（Tramèr 等，2022）用影子模型近似目标。作者称需训练数十个影子模型，对 LLM 计算代价高。引言另把 semantic MIA 与 LiRA 并称为计算贵、可解释性有限。
    • 直接探测目标：RECALL（Xie 等，2024）看条件对数似然变化；neighborhood（Mattern 等，2023）与 semantic MIA（Mozaffari 与 Marathe，2024）不另训辅助模型；PETAL（He 等，2025）用 token 语义相似度近似输出概率再算 perplexity。Related Work 把后一组写成无需辅助训练，与引言的并列方式不同。

    内部状态与投毒

    • Nasr 等（2019）用梯度，Song 等（2019）用内部表示做成员泄漏。论文将其列为特征型路线。
    • Chen 与 Pattabiraman（2024）、Chaudhari 等（2023）先投毒数据集，再看输出以判定成员。
    • Mireshghallah 等（2022）、Fu 等（2024）讨论微调自回归模型的记忆，以及微调后的成员泄漏。

    训练数据抽取

    • Carlini 等（2019，2021，2023）用提示抽出训练文本并量化记忆；Nasr 等（2023）从 ChatGPT 抽出数 MB 训练数据。第 6 节以 Carlini 等（2021）的打分作抽取对照。
    • Mamun 等（2023）、Yu 等（2023）用提示与解码参数提高抽取；Lee 等（2023）比较 top-k 与 top-p。Kandpal 等（2022）讨论去重降低隐私风险，第 5.3 节沿此测试去重。

    注意力与安全

    • 作者称，尽管注意力负责信息流（Vaswani 等，2017），针对 transformer 的对抗攻击大多未利用注意力。
    • 作者称未见基于注意力的隐私攻击；已有工作用注意力做越狱（Zaree 等，2025；Pandya 等，2025）或检测越狱（Pu 等，2025）。

    基线与基准：实验基线为 PPL、Loss、Ref、Zlib、Neighbor、Min-K%、Min-K%++、PETAL、RECALL。Table 1 另有 LIRA。Table 3 另有 WS、RS、BT，正文未定义这三项。基准为 WikiMIA 与 MIMIR。

    作者称，据其所知 AttenMIA 是首个系统抽取注意力特征、用于 LLM 成员推断的框架；引言称它是首个面向 LLM 的基于注意力的白盒 MIA。

  3. How does the paper address this problem?

    AttenMIA 拼接层间一致性、重心漂移和三种扰动偏移，再训练 MLP。

    AttenMIA 从目标 LLM 读取 self-attention，分过渡与扰动两条通路，拼成向量 z，训练 MLP，输出成员概率（Figure 1，Algorithm 1）。

    设定与假设

    • 背景节写 m(x, y) 为 1 当且仅当 (x, y) 在训练集中。威胁模型对生成样本写作 m(x)∈{0,1}，1 表示成员。
    • 攻击者只从 fθ 提取注意力权重 {A^(l,h)}，不训影子模型。作者称因此是 reference-free，以区别于依赖参考模型的框架。
    • H1：训练样本诱导更一致的层间、头间过渡，非成员更嘈杂、更少结构。H2：扰动把成员变成非成员，注意力偏移大于仍为非成员的样本。
    • 第 5.1 节仍用数据集金标签监督训练分类器。论文未写这一训练条件与“无原始训练语料”如何同时成立。

    过渡特征

    • Aℓ,h 为层 ℓ、头 h 的 T×T 注意力。相邻层计算三项一致性：向量化后的相关（Consistency–Corr）、Frobenius 距离除以 T 的平方（Consistency–Frob）、逐行 KL 的平均（Consistency–KL）。
    • 作者称三项分别描述整体结构是否相似、差异幅度，以及 token 级分布如何移动，合在一起比单一度量更完整。
    • 重心：每行注意力的加权位置，再取相邻层绝对位移的均值与方差（Barycenter–Mean、Barycenter–Var）。
    • Figure 3 为这五类特征的核密度，成员蓝色、非成员橙色。作者称两组可分开，且重叠少于先前输出统计。文本未给峰的坐标。

    扰动特征

    • 三种启发式：在预定位置丢掉固定数量 token；把选中 token 换成无关词表项；前面加上无关非成员前缀。主实验未写丢弃或替换的个数。Figure 2b 的直觉设置是固定位置丢掉 7 个 token。
    • 每个头的偏移是扰动前后注意力行的平均 KL。论文定义为 Δκℓ,h=1/T∑i=1TKL(Aℓ,hi,:‖ A′ℓ,hi,:)，即扰动把该头注意力推离原分布的程度。
    • 作者给出两种直觉：成员更深地嵌在参数中，或扰动对成员的影响不对称。Figure 4 在 MIMIR 的 Arxiv 子集、Pythia-1.4B 上，作者称多种层与扰动下头级相关的核密度分开。

    聚合与判定

    • 每个样本拼接五类过渡统计，以及三种扰动的 Δκ。作者称各扰动互补，合并后 ROC AUC 与 TPR@1%FPR 更高；各层都有信息，跨深度拼接优于单层或层组。
    • 分类器为轻量 MLP，标签 Member=1、Non-Member=0。Algorithm 1 为抽特征、训练、预测三步，并写 n 折；实验节定为 5 折。论文未报告网络宽度、学习率、决策阈值或查询次数。
    • 沿用先前工作的两个指标：ROC AUC，以及假阳性率 1% 时的真正例率 TPR@1%FPR。成员标签来自数据集金标签，不是 LLM 评审。

  4. What experiments did the paper conduct?

    WikiMIA-32、LLaMA-13B 上 Perturbed 的 AUC 为 99.6，TPR@1%FPR 为 87.9。

    实验设置

    • 模型：发布权重、不做微调。Table 2 为 Pythia-6.9B、LLaMA-13B、NeoX-20B、LLaMA-30B、OPT-66B。摘要把 0.996 与 87.9% 写在 Llama2-13b 上，对应 Table 2 的 LLaMA-13B。Table 3 为 Pythia-1.4B、2.8B、6.9B。Figure 2 为 OPT-6.7B。去重为 Pythia-dedup 的 1.4b、2.8b、6.9b。抽取目标为公开 GPT-2，对照打分用 GPT-2 XL 与 GPT-2 Small。
    • 数据：WikiMIA，长度 32、64、128。MIMIR 七个子集：Wikipedia、GitHub、Pile CC、PubMed Central、arXiv、DM Mathematics、HackerNews，均有金标签。论文未报告样本量。抽取前缀来自 Common Crawl，长 5–10 token，固定解码生成 256 token，共 14,000 对。
    • 协议：5 折交叉验证，报告折间均值。分类器用金标签监督训练。
    • 基线：PPL、Loss、Ref、Zlib、Neighbor、Min-K%、Min-K%++、PETAL、RECALL。Table 1 另有 LIRA。Table 3 另有 reference、neighborhood、WS、RS、BT。抽取对照为 PPL-XL、S/XL perplexity 比、小写/XL 比、zlib 及 zlib/XL 比。
    • 指标：ROC AUC 与 TPR@1%FPR。无 LLM 裁判。Table 2 的 AUC 写成 64.1、99.6 这种刻度；Table 3 写成 0.62、0.99。摘要的 0.996 与 Table 2 的 99.6 对应同一格。抽取用分数与参考续写的 ROUGE-L 的 Pearson r。
    • 重复：只报告 5 折均值。论文未报告折外重复次数，也未命名 Ref 所用参考模型。

    主结果

    WikiMIA 长度 32 的 AUC / TPR@1%FPR（据 Table 2）：

    Swipe horizontally to read the table

    模型TransitionalPerturbedRECALL
    Pythia-6.9B98.9 / 86.498.2 / 66.091.6 / 28.5
    LLaMA-13B99.3 / 84.899.6 / 87.992.2 / 13.3
    NeoX-20B99.4 / 86.898.9 / 86.490.5 / 25.3
    LLaMA-30B99.7 / 94.199.7 / 94.790.7 / 18.4
    OPT-66B97.6 / 84.297.8 / 84.685.1 / 8.3
    Average99.0 / 87.398.8 / 83.990.1 / 17.5
    • 作者称两种变体在所有模型与长度上最好，并称 WikiMIA-32、Llama2-13b 在低假阳性区间达到新的 state of the art。长度 128 的 Table 2 有例外：Pythia-6.9B 的 Perturbed 为 91.5 / 17.5，低于 RECALL 的 92.6 / 33.3；NeoX-20B 的 Perturbed AUC 为 86.6，低于 RECALL 的 91.7（TPR 为 36.5，RECALL 为 30.3）。
    • 作者称序列变长后记忆信号变弱，低 FPR 对长上下文更敏感。Table 2 平均 TPR，Transitional 在长度 64、128 为 70.1、48.9，Perturbed 为 70.6、45.4。作者称 NeoX-20B 在长度 32、transitional 下 AUC 与 TPR 接近 100%；同表该格 TPR 为 86.8、AUC 为 99.4。
    • Table 3 中 Perturbed 的平均 ROC AUC 为 0.83、0.86、0.87（Pythia-1.4B、2.8B、6.9B），RECALL 为 0.55、0.54、0.56，PETAL 均为 0.67。作者称相对 RECALL 高 55%、相对 PETAL 高 27%，并称平均 TPR@1%FPR 为 47.8%，RECALL 为 19.6%，PETAL 为 13.3%（指向 Table 7；该表 Perturbed 平均列为 41.6、50.4、51.4）。Transitional 并非处处高于 PPL：Wikipedia、Pythia-6.9B 为 0.61，PPL 为 0.64。Pile CC、Pythia-1.4B 的 Perturbed TPR 为 3.7，低于 zlib 的 4.4。

    层、长度与扰动

    • 层：Pythia-1.4B 共 24 层，PubMed Central，扰动特征（Figure 5）。图中标出 0.954 与 0.862；图注称标出最佳单层值，并称使用全部层时达到峰值。作者称单层都有成员信息，层组聚合优于单层。
    • 长度：Figure 6 横轴为 32、64、128，纵轴为 ROC AUC 与 TPR@1%FPR，模型为 Pythia-6.9B、LLaMA-13B、NeoX-20B，分 transitional 与 perturbed。曲线端点数值文本未列出，定量结果以 Table 2 为准。
    • 扰动：Table 4 在 Pythia-1.4B、MIMIR 各子集上单独使用三种扰动。平均 ROC AUC 均为 0.77；平均 TPR@1%FPR 为 35.1（非成员前缀）、35.9（丢弃）、35.8（替换）。作者称合并后最强；合并结果不在 Table 4，而在 Table 3 的 Perturbed 列。

    去重防御

    • Table 5 比较去重与未去重 Pythia 的 ROC AUC。作者称差值多在 0.00–0.03。GitHub 上 Perturbed 为 0.99（0.00）、0.99（0.00）、0.99（-0.01）；HackerNews 上为 0.70（0.00）、0.71（-0.01）、0.71（-0.01）。
    • Table 8 的 TPR@1%FPR：Perturbed 在 GitHub 为 92.8%（+1.5%）、97.3%（+1.7%）、94.7%（-0.7%），HackerNews 为 15.1%（+1.3%）、16.5%（+3.5%）、16.5%（-2.4%）。Transitional、GitHub、Pythia-6.9b 为 43.0%（-17.1%）。作者称去重只轻微降低攻击，不足以去掉 AttenMIA 利用的信号；附录 C 称粗粒度去重不够，细粒度去重可能丢掉有用知识。

    训练数据抽取

    • 设置：公开 GPT-2，white-box，无训练语料。14,000 条前缀–续写；源文档续写作参考，用 ROUGE-L 代替文中所说的人工核验。AttenMIA 用扰动注意力特征，经 MLP 得到 [0,1] 分数。相关分析取 ROUGE-L 最高与最低各 1,000 条。
    • 结果：Table 6 中 AttenMIA 与 ROUGE-L 的 Pearson r 为 0.480；ratio zlib xl 为 0.321；ppl xl、ppl lower、ppl s 为 -0.206、-0.238、-0.256。表中把 0.480 标为 Strong correlation，把 0.321 标为 Moderate correlation。Figure 7 两例分数为 ROUGE-L 0.901、AttenMIA 1.0，以及 0.843、0.783。论文未报告逐字命中率。
    • 作者解读：作者称注意力扰动特征比 perplexity 或压缩比更直接地对应训练数据熟悉度，因此换入抽取框架后抽取成功更高。作者写实验只用公开模型与非敏感互联网文本，目的是审计记忆。

    其他消融与分析

    • Table 1（MIMIR 的 GitHub，Pythia-1.4B，仅 Consistency–Corr/Frob/KL）：Hellinger Distance 为 0.704、0.663、0.701；LIRA 与 Zlib 为 0.557，LOSS 与 MIN-K% 为 0.532，Neighbor 为 0.545，MIN-K%++ 为 0.506。正文称若干头的 HD 在 0.60 到 0.70，基线为 0.506–0.557。
    • Figure 2（OPT-6.7B）：作者称成员在更深层相对均匀分布的 KL 更高；丢掉 7 个 token 后成员的层间变化更大。逐层数值文本未列出。
    • Figure 3、4：作者称成员与非成员核密度可分开。峰坐标文本未给出。
    • 附录 PCA：作者称单独遮最早 token 时位移大；累积遮到约 6 或 7 个 token 时位移最大。坐标数值未给出。
    • Figure 9：Pythia-1.4B、5 折均值 ROC 与 PR，阴影为折间标准差。作者称 arXiv 与 DM Math 接近完整分离，GitHub 与 HackerNews 较低。正文列七个子集；图中子图标题为 arXiv、DM Math、GitHub、Pile CC、PubMed Central、Wikipedia。

  5. What are some points that can be further explored?

    结论希望做隐私保护训练与注意力审计；论文未专节讨论局限。

    作者指出的局限与后续方向

    • 论文未专门讨论局限，没有 Limitations 专节。
    • 结论第 8 节写：希望后续研究隐私保护的训练策略，以及负责任地利用注意力通路的审计工具。

    实验覆盖范围

    • 成员推断模型为 Pythia-1.4B、2.8B、6.9B，LLaMA-13B、LLaMA-30B，NeoX-20B，OPT-66B；OPT-6.7B 用于 Figure 2；Pythia-dedup 的三种规模用于去重；抽取目标为 GPT-2，打分对照为 GPT-2 XL 与 GPT-2 Small（第 5、6 节，Table 2、3、5）。
    • 基准为带金标签的 WikiMIA（长度 32、64、128）与 MIMIR 七个子集；分类器做 5 折交叉验证并报告均值（第 5.1 节）。论文未报告各子集样本量。
    • 防御实验为去重后的 Pythia，子集为 GitHub 与 HackerNews（Table 5、8，附录 C）。第 3 节假设无差分隐私、输出扰动或注意力掩码；论文未报告这三项下的数字。
    • 抽取实验有 14,000 条 256-token 续写；Pearson 分析使用按 ROUGE-L 排序的头尾各 1,000 条（第 6 节）。论文未报告逐字命中率、查询次数、Ref 基线的参考模型名称，以及 MLP 宽度、学习率与 5 折以外的重复次数。
    • 扰动为非成员前缀、token 丢弃与 token 替换（第 4.3 节，Table 4）。丢掉 7 个 token 只写在 Figure 2b 的直觉实验中，主实验未写丢弃个数。

  6. Summarize the main content of the paper

    AttenMIA 用白盒注意力做成员推断，作者称在低假阳性下优于输出类基线。

    AttenMIA 是面向开源权重 LLM 的白盒、reference-free 成员推断：读内部注意力，而不是只看输出置信度，判断样本是否在训练集中。

    • 问题：作者认为预训练会使成员的注意力更集中，层间过渡更稳，扰动下的偏移也不同。输出类方法在低假阳性与分布变化下不够用，影子模型路线对 LLM 又贵。
    • 做法：相邻层计算相关、Frobenius 距离、行级 KL 和重心漂移；再对 token 丢弃、替换、非成员前缀计算注意力 KL 偏移。特征拼接后，用数据集金标签训练 MLP。实验为 5 折。威胁模型写明攻击者没有原始训练语料。
    • WikiMIA：长度 32、LLaMA-13B、Perturbed 的 AUC 为 99.6，TPR@1%FPR 为 87.9%（Table 2；摘要写作 0.996 与 87.9%）。同表 LLaMA-30B 的 Perturbed 为 99.7 / 94.7。长度 128 并不处处高于 RECALL：Pythia-6.9B 的 Perturbed TPR 为 17.5，RECALL 为 33.3。
    • MIMIR 与去重：Pythia-6.9B 上 Perturbed 平均 ROC AUC 为 0.87（Table 3）。作者称跨规模平均 TPR@1%FPR 为 47.8%。GitHub、Pythia-6.9B 的 Perturbed 为 1.0；去重后 GitHub 上仍为 0.99（Table 5）。作者称去重不足以去掉这些信号。Pile CC 上 TPR 较低，Pythia-1.4B 的 Perturbed 为 3.7。
    • 抽取与结论：GPT-2 上，AttenMIA 分数与 ROUGE-L 的 Pearson r 为 0.480，zlib/XL 比为 0.321（Table 6，2,000 条）。论文未报告逐字命中率。作者称把该分数换入抽取框架后优于已有打分，并称用于解释的注意力也会带来隐私风险；结论希望后续做隐私保护训练和审计工具。
Read originalarxiv.org