LLM-Attacker：面向分离式与分布式LLM系统隐私评估的统一红队框架

1. 01这篇论文试图解决什么问题？

   切分LLM隐私评估难比较，LLM-Attacker把观察、知识和评分规则记成可核验实验。

   切分语言模型的隐私评估缺少可核对的实验契约：攻击者看到的消息、掌握的权重、语料和恢复度量不同，结论就难以比较。

   • 场景：split learning 把私有文本留在客户端，把各 token 的 activation 发给服务器；训练时服务器返回 gradient。作者称两类消息都含私有文本信息，已有攻击可从 gradient、activation 或两者重构文本。
   • 现有不足：作者称结果取决于攻击者看见哪些消息、知道哪些权重、用多少公开文本和计算，以及数据集和恢复度量。防御可能在攻击本就会失败时显得有效；平均 token 分数可能掩盖整篇文档或敏感片段的精确恢复。
   • 要回答的问题：评估必须记录并检验什么，另一名研究者才能核验结论、公平比较并扩展它。
   • 本文给出的东西：LLM-Attacker 记录攻击者观察、知识与资源；兼容攻击重放同一批消息，预测被保存以便独立评分。评分要求先有关联的无防御参照，报告还标明未测试的攻击。作者称此处的 GPT-2 实验与配套研究共用，用来看评估如何响应观察变化。
   • 威胁模型：主攻击者被动观察一个切分点。
     • 目标：从越过切分点的消息重构私有文本。
     • 知识：默认持有客户端层的公开副本，即可下载的预训练层；更强条件改为训练后副本，含客户端微调后的 embedding，并另给公开校准文本。
     • 能力：看见训练与推理时的 activation，以及训练时返回的 gradient；不修改流量，收不到私有文本、next-token labels 或服务器层。capture harness 用 labels 计算 loss，但不把 labels 交给 predictor。
     • 与更强角色的差别：该观察契约不同于控制返回张量的 active server，也不同于直接持有 loss labels 的服务器。labelled-example、key-solving、active-server 和 side-channel 模块另行声明额外权限。

   收起这一问

2. 02有哪些相关研究？

   作者把LLM-Attacker定位为split系统的实验契约，而非复现全部被引协议。

   论文在 Related Work 里把相关工作分成评估框架、重构攻击和更早的 split learning 攻击。

   评估框架

   • VFLAIR-LLM（Gu et al., 2025）：把可配置的 split inference、fine-tuning 与攻击、防御放在同一框架。
   • garak（Derczynski et al., 2024）：用 generator、probe、detector 和 report 组织对大语言模型的安全探测。
   • ML Privacy Meter（Murakonda and Shokri, 2020）：用 membership inference 度量训练数据隐私风险。

   文本重构攻击

   • 梯度重构：DLG（Zhu et al., 2019）、TAG（Deng et al., 2021）、LAMP（Balunović et al., 2022）从梯度恢复文本。
   • 激活反演：Vec2Text（Morris et al., 2023）与 SipIt（Nikolaou et al., 2026）从 activation 反演输入。
   • BiSR（Chen et al., 2024）：learned inverter 再经 gradient 与 activation 精炼，面向 split fine-tuning。作者在本地 single-seam 契约下比较移植与归档参考实现，并把适配版与固定预算的其他攻击比较。

   早期 split learning 攻击

   • Pasquini et al.（2021）与 Erdoğan et al.（2022）展示了 inversion、model stealing 和 label inference。
   • Dong et al.（2025）讨论深度本身为何不保证隐私；Gu et al.（2026）讨论 split inference 中的恢复。作者称这些工作促使评估覆盖不同切分深度和观察面。

   基线与数据

   • 基线方法：activation-only、shuffled-gradient、random-candidate、backward-only heuristic、SipIt，以及校准文本上的最常见 token；BiSR 比较使用归档参考实现和 refined BiSR。
   • 基准/数据集：固定的 32-token WikiText-2、WikiText-103 训练划分中的新留出文档、仓库 Python 源码、模板化合成临床笔记、pilot WikiText-2，以及 32-token 对话前缀。

   作者把 LLM-Attacker 定位为 split 与分布式系统的实验契约：显式观察与知识、共享 capture、关联控制、执行覆盖和版本化证据。其余模块被写成本地实现或适配，证据层级分开记录；作者称这不是对每篇被引论文完整协议的复现。

   收起这一问

3. 03论文如何解决这个问题？

   用记录、重放和带无防御参照的评分，把一次隐私评估做成可核对实验。

   LLM-Attacker 把一次隐私评估写成可记录、可重放、可独立评分的实验，而不是只报一个恢复率。

   评估要记录的分量

   一次评估写成 E=(T,V,O,K,B,C,M,G)。T 是目标模型、切分、防御和 checkpoint；V 是攻击者位置与权限；O 是观察；K 是知识；B 是校准、优化和搜索预算；C 是语料、划分和分词；M 是测量结果；G 是对照、不确定性计算和决策规则。这些分量记在固定协议、运行配置和结果记录里。

   读 gradient 改变 O，拿到训练后的层改变 K，把 Wikipedia 换成代码改变 C。攻击比较保持其余分量固定，并报告每个攻击的预算。joint 与 activation-only 还对齐每位置候选数和 beam 宽度，以便对照隔离 gradient 中的信息。作者注明对齐搜索并不对齐总计算量，因为 joint 还用 gradient 给候选排序。

   捕获、重放与模块契约

   捕获把目标执行和攻击执行分开（Figure 1）。split capture 保存前向消息，训练时还保存返回的 gradient，以及会话和顺序元数据。兼容攻击对同一 checkpoint 和文档重放这些观察。计时或模型输出等其他观察面使用各自的 observation provider。重新生成预测，与对已保存预测重新评分，是两件不同的检查。

   每个模块声明支持的模式、输入要求、威胁元数据和执行函数；注册表拒绝重名。新攻击可按同一输入输出契约进入已冻结的比较，并自带对照和预算。运行中断时仍保留已完成的测量。补充材料把观察点写成 S1–S9，复核后再加 S10–S14（Figure S2、Table S1）。默认攻击者只读切分点的 activation 与 gradient；读其他表面的模块假定更强攻击者。

   评分与通过规则

   token 重构的简单猜测，是攻击者校准文本里最常见的 token。对有有效测量的适用攻击，测试包络取各攻击超额的最大者：

   L_run(E)=max_a100[U₉₅(p̂_a,n_a)−p_0,a(C)]

   括号内乘 100 后单位为百分点。U95 是带版本的单侧 Wilson 上界，z=2.5392。该乘数来自九次 known-plaintext probe 的百分之五误差预算，并固定用于其他攻击。作者称它不是对全部 64 个模块的同时置信保证；token 相关也限制按独立二项分布来读。作者称这个门是操作上的筛查约定，不是无分布假设的隐私保证。

   • 防御通过：最大超额至多 1 个百分点；至少三次随机种子；关联的无防御参照在 scorecard-policy.v3 下合格。参照须覆盖同一 attacker family，且有一条超额高于 1 个百分点的结果。
   • 证据不足：缺少或不合格的对照使候选通过变为 INSUFFICIENT_EVIDENCE。测到的高恢复无论对照是否可用都保持可见。没有有效攻击时，包络为 unmeasured。规则在防御测试前固定。
   • floor：有限样本下，点估计即使恰在基线，上界仍使超额为正。样本小时 floor 可超过 1 个百分点，未通过的门要连同估计和区间一起读。协议与已有测量固定时，增加攻击只会提高包络或使其不变。
   • 不自动推广：整篇和 span 恢复保留各自度量。membership、timing 和 agentic 结果不经过这个 token 界。裁决要写明语料、攻击者集合和设置。

   主比较里的重构方式

   activation-only 用公开 activation 拟合到 token embedding 的 ridge decoder，每位置 32 个候选，beam 宽度为 2，去匹配重算的 activation。joint 保留 16 个 activation 候选，再从上一位置的 negated gradient 加 16 个；重叠从 activation 列表填补；第一位置只用 activation 候选。候选数与 beam 宽度对齐。

   shuffled-gradient 在文档间打乱 gradient；random-candidate 用随机 token 替换 gradient 侧候选。backward-only 只读 gradient。SipIt 按位置搜索；作者称自行实现已发表算法，预算用尽时返回已试 token，精确恢复保证不再成立。附录 S2 给出四步说明。

   white-box 路径知道防御，优化连续 embedding，使其经过客户端层和真实压缩器后匹配观察。inversion 用同类线性映射，不做 beam search。BiSR 被适配到单切分：inverter 先猜测，再分别匹配 gradient 与 activation。作者称比较的是各自固定预算，不是等计算排名，也不是原 two-cut 协议。

   覆盖、资格与证据

   三份输出回答不同问题：scorecard 按声明规则评估已测量结果；coverage report 把适用威胁标为 covered、partial、unmeasured 或 out of scope；module-validation matrix 把资格标为 reference conformance、adaptation、real-model qualification、synthetic qualification 或 unmeasured capability。执行失败不是负的攻击结果；仅注册也不是真实模型验证。完整矩阵为 Supplementary Table S15，共 64 个模块，含三个编排辅助模块。

   证据流程按保留哈希核对文件，从预测重算指标，并从固定输入重新生成预测。作者称无签名的哈希链可以重算，因此不能认证不可信的生产者；科学有效性依赖协议、对照和可复现分析。攻击集合或评分政策变更会得到新版本。

   收起这一问

4. 04论文做了哪些实验？

   GPT-2第6层公开层上，加入梯度后token从94.20%到97.38%，整篇从13.71%到37.77%。

   主实验在受控 GPT-2 上改变攻击者是否看到 gradient，用来看记录下来的评估如何变化。

   实验设置

   • 被测模型：主重构为 GPT-2 124M，切分在第 3 或第 6 层。Section 6 的资格程序还写入 Qwen3-0.6B、Qwen3-8B、Qwen3.5-27B、Qwen3.5-35B-A3B、Mistral-7B-Instruct、Mistral-NeMo-12B-Instruct。作者称 GPT-2 实验与配套研究共用；Qwen 切分训练审计引自配套研究。
   • 数据：主实验为固定 32-token WikiText-2；每轮 32 篇公开校准、128 篇训练、256 篇留出评估。另有源码、模板化临床笔记、pilot WikiText-2、WikiText-103 训练划分中的新文档，以及 64/128-token 文本和 32-token 对话。
   • 种子与主检验：十个独立种子用 AdamW 微调后冻结，再以两个攻击种子攻击。主检验预先固定：第 6 层、公开层上，joint 减 activation-only 的 token 增益，其 95% 区间下端须高于 2 个百分点。bootstrap 对训练模型和文档独立重抽样，100,000 次，种子 93281。另有 47 个 Bonferroni 校正的次要对比。
   • 对照与预算：activation-only、joint、shuffled-gradient、random-candidate、backward-only、SipIt；BiSR 比较另含归档参考实现。joint 与 activation-only 对齐候选数 32 和 beam 宽度 2。
   • 指标与判定：token recovery；exact-document recovery 要求文档内每个 token 都正确。评分器比较保存的预测与留出文本，论文未使用 LLM 评审。防御门另用相对校准多数 token 的超额。
   • 规模：3,200 条训练测量，加 480 条被明确复用的 activation-only 推理测量，共 3,680 条，同一留出集。Table 1 每个数字汇总 5,120 条文档级分数。

   主结果

   据 Table 1（GPT-2 124M，同一 256 篇留出文档、十个训练模型、两个攻击种子）：

   | 深度 / 层 | Act. token | Joint token | Act. 整篇 | Joint 整篇 | | 3 / Public | 97.39% | 98.29% | 43.13% | 55.51% | | 3 / Trained | 97.81% | 98.72% | 51.41% | 66.13% | | 6 / Public | 94.20% | 97.38% | 13.71% | 37.77% | | 6 / Trained | 94.81% | 98.27% | 20.23% | 58.55% |

   • 主检验：正文写 token 增益为 3.17 个百分点，附录 S6 写 3.1714；95% 区间 [2.72, 3.64]，下端高于预先固定的 2 个百分点。作者报告主检验通过（Section 5.1）。
   • 次要对比：47 个预先指定的次要对比在 Bonferroni 校正后都偏向 joint，区间高于 0（Section 5.1）。
   • 作者解读：整篇恢复的变化大于 token 增益所暗示的幅度。Figure 2 把不同观察、知识和投入放在同一无防御第 6 层边界上；匹配比较以 Table 1 为准。

   语料、防御与压缩

   • 语料：同一 inversion、第 6 层公开层、推理、三种子、每语料 3,072 个位置（Table 2）。源码恢复 64.94%（基线 20.31%，超额 46.78 个百分点），模板临床笔记 100.00%（基线 6.25%，超额 93.75），WikiText-2 63.25%（基线 2.64%，超额 62.79）。超额用 Wilson 上界，不是点估计减基线。三种无防御条件都未通过 token 门。作者称临床结果描述规则合成模板，不测量临床记录。
   • 两种防御：secret mixup 下 token 恢复 83.01–90.67%，整篇至多 1.48%；姓名 span 47.85–66.15%（716 个 span、249 篇），无防御时姓名 span 为 67.36–97.44%。几何平均 perplexity 在第 3 层高 31.8%、第 6 层高 26.9%。replica median 不改 activation；作者称 token 恢复与无防御对照的差距在三分之二个百分点以内。受影响最大的整篇设置从 43.77% 到 36.11%（公开层、第 3 层、SipIt 128 步，S3.1）。
   • 压缩与时长：知道压缩器的 white-box 路径，在稳定压缩器各深度的平均 token 恢复为 18.85–68.59%，尽管把 768 维压到 64–256；协同训练协议为 23.52–67.68%（Section 5.2）。六防御试点在 20 与 100 step 之间裁决未变。500 step 时，mid-lite 把声明的、不知道投影的 inversion 压到多数基线 4.83–4.96% 以下（恢复 0.04–0.85%），交叉熵为 7.42–7.75，无防御为 4.39–4.44。更长文本上无防御 inversion 为 76.56–90.22%，σ=15 的激活噪声为 9.96–55.05%。

   已发表攻击的移植

   • 一致性：single-seam 契约下，移植与归档参考实现在 3,072 对预测上 token 全部相同（Section 5.3）。作者称这不覆盖 BiSR 原论文的 two-cut 协议。
   • 配对比较：第 6 层公开层，refined BiSR 为 93.21%，与 joint 的差为 −4.17 个百分点，95% 区间 [−4.79, −3.53]。训练后层上差为 −0.02，区间 [−0.63, 0.58]。15 个次要对比中，10 个区间低于 0，1 个高于 0，4 个跨过 0。
   • Table 3：作者称没有一种被测配置在每个设置都更高。例如第 3 层、训练后层，SipIt-128 为 98.89%，joint 为 98.72%，refined BiSR 为 97.79%。Activation、SipIt 与 joint 是主实验复用的对照，各攻击使用自己的固定预算。

   测量代码与现场智能体

   • 测量代码：预先选定 25 个开发测试函数，参数化后 37 个用例，覆盖七组性质。全部符合预期，无失败、无跳过（Section 5.4、Table S11）。只改 BiSR scorer 可见的文本时，预测逐字节相同；把该文本交给 predictor 会被拒绝。完全相关的文档列从 2 增到 500 时，区间仍为 [0, 1]。
   • 现场规划器：Qwen3-0.6B、关闭 reasoning。十个固定设置都产生可测量动作；二十次试验无策略违规，但六个被允许的 peer-request 试验全部被拦。作者称这只说明规划器与工具已接通并存在过度拦截，不建立一般的 agentic security（Section 6、S3.6）。
   • 配套审计：作者报告 Qwen3-0.6B 切分训练审计在主运行全部 4,096 帧上恢复 real/decoy 划分，forward-only 门仍通过；结构恢复与文本重构被写成不同结果（Section 6）。

   其他消融与分析

   • 第 6 层公开层：shuffled-gradient 93.91%，random-candidate 93.89%，backward-only 49.98%（Section 5.1）。
   • 同设置扰动 gradient：0.1 倍文档 RMS 的高斯噪声 97.31%，八比特量化 97.33%。
   • Figure 2(c)：SipIt-32 的 token 91.49%、整篇 1.70%；SipIt-128 的 token 95.25%、整篇 20.76%。除末档外用公开层。
   • secret mixup：数字 span 93.94–96.50%（297 个 span、142 篇），标识符 span 90–100%（2 个 span、2 篇）。标注在运行前固定，姓名有 AI 辅助；作者称不是 human gold labels（S3.1）。
   • 域实验推理行 floor 为 0.84–1.90 个百分点；训练行 floor 在附录 S6 写为 3.911、2.603、2.342 个百分点（n=768）。
   • 噪声感知 whitening：推理恢复从 21.65% 到 13.09%，训练恢复从 11.46% 到 13.67%（S3.3）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者在Section 6写明，最强定量重构比较针对GPT-2 124M的所述设置。

   作者指出的局限与后续方向

   论文没有单独的 Limitations 节。下列语句来自 Section 6：

   • 定量比较的范围：作者写明，本文最强的定量重构比较针对 GPT-2 124M，以及所述语料、长度和预算。
   • 后续可扩展的证据：更长上下文、新目标和其他攻击预算，可以通过同一流程扩展证据。
   • 协议不能合并：作者写明，把不同协议收成单一成功率会丢掉语料基线、效用测量和匹配对照所提供的解释。
   • 智能体层级：现场层级说明规划器与工具接通，并识别过度拦截；作者写明它不建立一般的 agentic security。

   实验覆盖范围

   • 主重构实验为 GPT-2 124M，切分在第 3 或第 6 层，32-token WikiText-2，十个训练种子、两个攻击种子、256 篇留出文档（Section 4.1、Table 1）。
   • Section 6 列出的资格程序覆盖 Qwen3-0.6B、Qwen3-8B、Qwen3.5-27B、Qwen3.5-35B-A3B、Mistral-7B-Instruct 和 Mistral-NeMo-12B-Instruct。
   • 防御相关测量包括 secret mixup、replica median、PCA 与 bottleneck 压缩、added noise、sparsify-10%、mid-lite、santext-30%、at-lite，以及 σ=15 的激活噪声（Section 5、S3）。
   • 注册模块 64 个，资格矩阵在 Supplementary Table S15；测量代码 37 个选定用例全部符合预期（Section 5.4）。评分比较预测与留出文本，论文未报告 LLM 评审，也未报告 span 标注与人工金标的一致性。
   • BiSR 一致性使用 single-seam 和 WikiText-103 训练划分中的新文档，共 3,072 对预测；作者写明原 two-cut 是另一协议（S3.4）。临床笔记为模板化合成文本，作者称不测量临床记录（Section 5.2）。

   收起这一问

6. 06总结一下论文的主要内容

   作者报告梯度、语料和防御会改变恢复，评估记录可独立复评。

   LLM-Attacker 是面向切分与分布式语言模型的隐私评估框架，用来把攻击者条件记成可核验实验。

   • 问题：客户端保留文本，但 activation 和训练返回的 gradient 会离开客户端。观察、知识、语料或度量一变，隐私结论就可能变；平均 token 分数还可能盖住整篇恢复。
   • 做法：用分量 E 记录模型、观察、知识、预算、语料、度量和对照；兼容攻击重放同一捕获。token 门比较已测攻击相对校准文本多数 token 的 Wilson 上界超额。防御通过需要重复运行和合格的无防御参照，未测攻击保持可见。
   • 主结果：GPT-2 124M、第 6 层、公开层、256 篇留出 WikiText-2 上，joint 的 token 恢复为 97.38%，activation-only 为 94.20%。正文写增益 3.17 个百分点，95% 区间 [2.72, 3.64]（Section 5.1、Table 1）。同设置整篇恢复从 13.71% 到 37.77%。
   • 其他测量：同一 inversion 在模板临床笔记上的 token 恢复为 100.00%，代码 64.94%，WikiText-2 63.25%（Table 2）。refined BiSR 在第 6 层公开层为 93.21%，与 joint 的配对差为 −4.17 个百分点（Section 5.3）。测量代码 37 个选定用例全部符合预期。
   • 作者的结论：攻击者知识、返回的 gradient、语料、防御和攻击配置会实质改变恢复。每条切分模型隐私主张都应写明攻击者、语料和评分规则，报告对照，并把未测攻击标为未测。

   收起这一问

相关论文