Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2602.11528· Dong Yan, Jian Liang, Ran He, Tieniu Tan·Indexed by this site · Originally published

Stop Tracking Me! Proactive Defenses Against LLM Attribute Inference Attacks

Stop Tracking Me! Proactive Defense Against Attribute Inference Attack in LLMs

Quick read

Defenses

Based on 论文 PDF （AI 生成）; refer to the original

作者提出用户侧防御TRACE-RPS，称开源模型上属性推断准确率从约50%降到5%以下。

Threat model攻击者用冻结LLM和属性推断模板，从用户自由文本推断年龄、地点、性别等属性，目标是最大化推断准确率。

Questions
LLM能从用户发到网上的普通文本推断年龄、地点、性别等未写明的属性，所用提示不触发拒答。现有匿名化粒度粗，改写后模型仍可推理。用户通常只能在分享前自己处理文本。
Methods
TRACE用注意力抽出高贡献词，并生成逐步推断链，指导匿名化模型改写泄露片段。能读到logits时，RPS以两阶段随机搜索追加后缀，把输出推向拒答；对仍会作答的模型，MPS把预测推向错误属性。
Experiments and results
作者称开源上TRACE-RPS准确率从约50%降到5%以下。Synthetic里Llama3.1的TRACE-RPS准确率为0、ASR为13.48。闭源只有TRACE。LLMSanitize会抬高部分剩余准确率。
Limitations and future work
论文未专门讨论局限。实验使用Synthetic、SynthPAI和自建Reddit数据；RPS需要logits，闭源主结果只有TRACE。论文未报告样本条数、重复次数和实际优化查询次数。
Experimental setupLlama2-7B-Chat、Llama2-13B-Chat et al. · Synthetic dataset (Staab et al., 2024)、SynthPAI (Yukhymenko et al., 2024) et al. · attribute inference accuracy、ASR et al.
Threat model
攻击者用冻结LLM和属性推断模板，从用户自由文本推断年龄、地点、性别等属性，目标是最大化推断准确率。用户不能改攻击提示或攻击模型，只能在分享前处理自己的文本。RPS需要目标模型logits；无logits时只用TRACE。论文未使用white-box或black-box描述该攻击。
Evaluated models
Llama2-7B-ChatLlama2-13B-ChatLlama3.1-8B-InstructDeepSeek-R1-Distill-Qwen-7BQwen2.5-7B-InstructGPT-3.5-TurboGPT-4oGemini 2.5 ProLlama3.2-1B-InstructLlama3.2-3B-Instruct
Benchmarks
Synthetic dataset (Staab et al., 2024)SynthPAI (Yukhymenko et al., 2024)real-world Reddit dataset (Appendix C)
Metrics
attribute inference accuracyASRSRRSoRRutilitysemantic similarity
AI summaryThe paper proposes a unified defense framework, TRACE-RPS, against attribute inference attacks where LLMs infer private attributes such as age, location, and gender from user text. TRACE uses attention mechanisms and chain-of-thought generation to identify and anonymize text elements that leak privacy; RPS uses lightweight two-stage optimization to induce refusal behavior in the model, thereby preventing attribute inference. Evaluations on multiple open-source models show attribute inference accuracy drops from about 50% to below 5%, with cross-model generalization, robustness to prompt variations, and a utility-privacy trade-off. The code has been open-sourced on GitHub.

The paper proposes a unified defense framework, TRACE-RPS, against attribute inference attacks where LLMs infer private attributes such as age, location, and gender from user text. TRACE uses attention mechanisms and chain-of-thought generation to identify and anonymize text elements that leak privacy; RPS uses lightweight two-stage optimization to induce refusal behavior in the model, thereby preventing attribute inference. Evaluations on multiple open-source models show attribute inference accuracy drops from about 50% to below 5%, with cross-model generalization, robustness to prompt variations, and a utility-privacy trade-off. The code has been open-sourced on GitHub.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    用户分享的文本可被LLM推断出敏感属性，粗粒度匿名化挡不住推理。

    LLM能从用户准备分享的文本推断未写明的敏感属性，而改写式匿名化挡不住后续推理。

    • 出现场景：作者称，即便模型没有记住具体用户信息，仍可从网上的用户生成文本推断年龄、性别、地点、社会经济地位等。这类请求是良性提示，不触发对齐模型的拒答。作者转述Staab et al. (2024)：攻击可扩展、可自动化，且多数安全规范在技术上允许。Synthetic上无防御时，GPT-4o的准确率为71.24%（Table 1）。
    • 现有不足：作者称现有匿名化多在粗文本粒度上修改，不能定位最贡献泄露的词。改写后模型仍可推理；对性别、收入等类别少的属性，匿名文本仍给出可解析线索，匿名化本身不能阻止推断发生。作者认为不能靠削弱推理来解决，否则损害效用，保护因而落在用户侧。
    • 作者的设想：分享前先做词级匿名化；若能读到logits，再追加不改原文语义的后缀，使模型拒答或给出错误属性。
    • 提出的方法：TRACE-RPS。TRACE做细粒度匿名化；RPS用两阶段优化诱导拒答。作者称RPS是其所知首个针对属性推断的优化式防御。对仍会作答的强指令遵循模型，另给MPS，把预测转向错误属性。
    • 威胁模型：
      • 攻击目标：最大化所有用户、所有目标属性上的推断准确率。形式化见第3.1节。
      • 攻击者知识：使用冻结的预训练LLM，并用属性推断模板构造提示（Staab et al., 2024），从文本线索中取属性。论文未将该攻击称为white-box、black-box或no-box。
      • 防御者能力：不能修改攻击提示或攻击模型，只能在推断前处理自己的文本。RPS需要模型logits；闭源模型无内部访问时只能用TRACE。
      • 受害系统：即将公开分享自由文本的用户。防御成功指预测值错误，或模型明确拒答（文中记为Reject）。

  2. What related research exists?

    相关工作涉及记忆泄露、PII匿名化与越狱式提示优化；作者把优化转用于防御。

    训练数据记忆与推断时隐私

    • Carlini et al. (2021; 2022)、Lukas et al. (2023)、Kim et al. (2023)、Ippolito et al. (2023)、Brown et al. (2022)研究模型从训练语料复现敏感序列。
    • Staab et al. (2024)讨论模型从用户生成文本推断未明示的敏感属性；Yukhymenko et al. (2024)将其与训练数据泄露区分开。
    • 差分隐私（Ponomareva et al., 2023; Li et al., 2022）和解码控制（Ippolito et al., 2023）已被提出。作者称它们对基于推断的泄露仍然有限。

    PII检测与匿名化

    • 基于规则的PII检测（Subramani et al., 2023; Asthana et al., 2025）难以处理隐式披露。Dou et al. (2024)用社会属性分类体系检测自我披露，以提高覆盖和精度。
    • Azure Language Services（Aahill, 2023）遮蔽可识别片段。作者称它挡不住利用上下文线索的推断。
    • Frikha et al. (2024)的IncogniText用属性随机化改写误导推断；Staab et al. (2025)用反馈引导的匿名化降低可识别性。作者称这类方法仍然粒度粗、缺少词级精度，也没有充分利用对抗式LLM做精确匿名化。方法部分又把Staab et al. (2025)具体写成只依赖粗粒度对抗反馈。

    提示优化与越狱

    • 梯度法如GCG（Zou et al., 2023），以及Zhou et al. (2024)、Shin et al. (2020)、Jia et al. (2025)、Zhu et al. (2024)、Guo et al. (2024)，需要白盒梯度来改输出分布、绕过安全对齐。
    • 无梯度搜索包括遗传算法（Lapid et al., 2023; Liu et al., 2024）和引导搜索（Andriushchenko et al., 2025; Sitawarin et al., 2024; Hayase et al., 2024），以及用LLM生成或改写提示（Chao et al., 2023; Shah et al., 2023; Mehrotra et al., 2024; Zeng et al., 2024; Liu et al., 2025）。
    • 作者称这些方法面向越狱，成本高或只做粗粒度单步优化；本文把提示优化转用于防御，用低成本、细粒度的两阶段优化诱导拒答。

    基线方法与基准

    • 基线方法：No Defense、Azure、Dou-SD、D-Defense（Agnew et al., 2024）、FgAA（Staab et al., 2025）。带†的Azure与Dou-SD数字引自Staab et al. (2025)，其评测模型写的是GPT-4。
    • 基准/数据集：Synthetic（Staab et al., 2024）、SynthPAI（Yukhymenko et al., 2024）；附录C另有按Staab et al. (2024)流程自建的Reddit数据。PersonalReddit因隐私未公开。

    作者把TRACE定位为带词级注意力词表和推断链的匿名化，把RPS定位为针对属性推断、不改原文、用后缀诱导拒答的优化式防御。

  3. How does the paper address this problem?

    TRACE用注意力和推断链做词级改写，RPS/MPS用后缀搜索诱导拒答或错判。

    TRACE-RPS在用户发文前使用：TRACE改写泄露片段；能读到logits时，RPS或MPS再追加后缀。Figure 1是框架示意图，其中的百分比是示意，不是实验测量值。

    攻击与防御目标

    • 数据是用户及其自由文本。目标属性集合的例子包括年龄、地点、性别。攻击者用前缀、格式化文本和后缀拼出提示，冻结LLM输出各属性预测。
    • 防御者只能把原文t变成t̃。成功指预测错误，或输出拒答Reject。
    • 第3.2节的用户侧目标是少预测对、多拒答：argminTdef E∑j(I[ŷ=y]−λ I[ŷ=Reject])。λ是正的权衡系数。论文未报告实验中的λ。RPS实际优化的是下面的token对数概率，而不是直接优化该式。

    TRACE：细粒度匿名化

    • 每一轮同时使用隐私词表和推断链。作者将其区别于只靠粗对抗反馈的做法（Staab et al., 2025）。
    • 隐私词表：用因果语言模型最后一层、提示最后一个token的注意力，把token分数加到词上，取Top-K。实验用Llama2-7B-Chat提取注意力。Synthetic上K=10，SynthPAI上K=30。作者引用Ren et al. (2024)作为关注最后一层的依据。
    • 推断链：对抗模型除预测外还给出逐步解释，标出支撑推断的片段。匿名化模型同时看到词表和推断链，改写关键片段。实验中该模型为GPT-3.5-Turbo或GPT-4o。附录I给出完整提示词。
    • 迭代直到攻击模型预测置信度低于预定阈值2、文本不再变化，或达到5轮（附录G）。TRACE与FgAA共用这些停止条件。

    RPS：两阶段随机搜索

    • 在原文后追加后缀，不改原文语义。优化时只解码一到两个token的对数概率，不用梯度。优化模型与当次推理模型相同。
    • 分数为 J(s)=log p(y1=I∣ P(t̃))+βlog p(y2∈ R∣ P(t̃), y1=I)。R是固定的拒答相关token集合。实验中R包含apologize和cannot，阶段2的β=5。
    • 阶段1把第一个token锚到I，从当前最优后缀的随机位置替换n个token，保留分数更高者，直到对数概率达到log(0.8)或迭代上限。论文未给出n的数值。
    • 阶段2把第二个token推向R，阈值log(0.55)。总迭代上限10000，batch size为1。初始后缀是人工构造的提示片段，论文未在正文给出该片段。作者称同一段后缀常可迁到新文本，或作为少量步数内的初始化。附录A给算法，附录J给案例。

    MPS与判定方式

    • 作者称Qwen一类强指令遵循模型可能先拒答仍继续预测属性。MPS把预测从真实属性推向指定的错误属性，同样随机搜索后缀。迭代上限500。附录A在RPS仍给出属性时调用MPS。
    • 主指标是与标签比较的属性推断准确率。推断用Staab et al. (2024)的提示，zero-shot CoT。温度为0，贪心解码。附录B的ASR在拒答查询上按该属性的类别数k计入1/k，用来表示攻击者对拒答改随机猜测。论文未说明预测与标签的字符串匹配规则。

  4. What experiments did the paper conduct?

    作者称开源模型上TRACE-RPS把准确率降到5%以下；闭源主表只有TRACE。

    实验设置

    • 推理模型：Llama2-7B-Chat、Llama2-13B-Chat、Llama3.1-8B-Instruct、DeepSeek-R1-Distill-Qwen-7B（表头写DeepSeek-R1 Distill）、Qwen2.5-7B-Instruct、GPT-3.5-Turbo（表头写GPT-3.5）、GPT-4o、Gemini 2.5 Pro。Table 6另报Llama3.2-1B-Instruct与Llama3.2-3B-Instruct。
    • 数据：Synthetic、SynthPAI、附录C自建并人工标注的Reddit数据。论文未给出各数据集条数，也未报告标注人数或一致性。
    • 基线：No Defense、Azure、Dou-SD、D-Defense、FgAA。带†的数字引自Staab et al. (2025)，该文评测模型为GPT-4。
    • 防御配置：注意力用Llama2-7B-Chat；匿名化用GPT-3.5-Turbo或GPT-4o。RPS/MPS的优化模型与当次推理模型相同。闭源无logits，表中相应格为“–”。
    • 指标与解码：属性推断准确率；括号为ASR。Figure 2用SRR、SoRR、Acc。TRACE的效用来自Staab et al. (2025)的LLM评判（含义保持、可读性、幻觉），论文未写评判模型名。RPS用paraphrase-MiniLM-L6-v2的语义相似度。温度0，贪心解码。
    • 预算：RPS最多10000次迭代，batch size为1；MPS为500次。硬件为一或两块NVIDIA RTX 3090。论文未报告重复次数和实际查询次数。提示变化实验用GPT-4生成100条提示。

    主结果

    下表为Synthetic上的属性推断准确率（%）。TRACE与TRACE-RPS以GPT-4o为匿名化模型；RPS不依赖匿名化模型。括号为ASR。据Table 1。闭源格在论文中为“–”。

    Swipe horizontally to read the table

    模型无防御RPSTRACETRACE-RPS
    Llama2-7B-Chat53.711.71 (14.10)20.191.52 (13.94)
    Llama2-13B-Chat56.194.38 (16.09)21.330.19 (13.38)
    Llama3.1-8B-Instruct57.140 (13.48)18.480 (13.48)
    DeepSeek-R1 Distill49.716.48 (17.59)18.102.86 (14.07)
    GPT-3.5-Turbo67.62未报告25.14未报告
    GPT-4o71.24未报告26.67未报告
    Gemini 2.5 Pro68.38未报告23.81未报告
    • 作者称开源模型上TRACE与RPS合用时，准确率从约50%降到5%以下，不少格子为0。Table 1里两种匿名化下的开源TRACE-RPS均低于5。仅RPS时，作者称准确率小于7%、ASR低于18%；该表Synthetic上仅RPS的ASR最高是DeepSeek-R1 Distill的17.59。准确率为0时ASR仍约为13–14，因为拒答按随机猜测计入。
    • 同一表中，以GPT-3.5-Turbo为匿名化模型时，开源TRACE-RPS为0.19、1.14、0、1.71。并非总是GPT-4o匿名化更低：Llama2-7B-Chat的TRACE-RPS在两种匿名化下分别为1.52与0.19。作者称Synthetic上闭源TRACE相对无防御约下降45%，并低于各匿名化基线。†行Azure在GPT-4o列为56.00、Dou-SD为47.00，评测模型是GPT-4。
    • SynthPAI无防御的开源准确率为41.45到54.52，闭源为57.12到70.64（Table 1）。GPT-4o匿名化下TRACE-RPS为0.27、0.09、0、3.58，对应ASR为14.16、14.19、14.10、15.41。Llama2-13B-Chat上D-Defense为44.92，高于无防御44.58。作者未解释该格。

    Qwen上的MPS

    • Table 2只测Qwen2.5-7B-Instruct。无防御57.52，D-Defense 48.00，MPS 10.29。
    • FgAA为28.76（括号内、GPT-4o匿名化为22.10），TRACE为22.67（18.86），TRACE-MPS为5.14（4.38）。
    • 作者称MPS把预测转向错误属性；与TRACE合用后准确率更低。

    提示变化、模型迁移与多模型后缀

    • Figure 2在Llama2-7B-Chat、Llama2-13B-Chat、Llama3.1-8B-Instruct上测试GPT-4生成的100条提示，指标为SRR、SoRR、Acc。作者称优化后缀能跨提示诱导拒答。正文未给出各柱数值。
    • Figure 3把一个模型上优化的后缀转到其他目标模型。作者称准确率下降，加上TRACE进一步下降；Llama2-7B-Chat的后缀可降低Llama2-13B-Chat的准确率，DeepSeek-R1-Distill上的后缀在两种匿名化模型下都有迁移。正文未给出Figure 3的读数。
    • Table 6在Synthetic上联合优化Llama2-7B-Chat、Llama2-13B-Chat、Llama3.1-8B-Instruct。无防御文本上三者准确率为4.95、4.00、0；优化时未见的Llama3.2-1B-Instruct为6.86↓26.28，Llama3.2-3B-Instruct为0↓54.10。作者称后缀可迁到未见的Llama3.2。

    真实数据、自适应攻击与分属性

    • Table 7：TRACE-RPS在三个开源模型上为4.29、2.86、0；仅RPS为7.14、2.86、0。GPT-4o匿名化下，闭源TRACE为28.57、30.00、32.86，无防御为65.71、78.57、72.86。Llama3.1上TRACE为34.29，高于同表FgAA的32.86。D-Defense在Llama2-7B-Chat上为57.14，高于无防御44.29；GPT-3.5-Turbo上为72.86，高于65.71。作者未解释这些升高。
    • Table 9，Synthetic：SuffixDrop-ℓ（ℓ取8、16、32、64，表中未分ℓ）使Llama2-7B-Chat从1.71升到27.43，Llama3.1从0升到0.76。LLMSanitize（GPT-4o预过滤）分别为23.62和33.90，无防御为53.71和57.14。作者称自适应攻击削弱防御，但RPS仍常把准确率降到接近无防御的一半。表中33.90相对57.14的降幅小于一半。
    • Table 5，Llama2-13B-Chat，八个属性来自Synthetic与SynthPAI，表中未再分数据集。无防御下出生地83.75、性别79.25、教育16.00。TRACE后地点6.94、出生地15.00、性别52.83。RPS后收入3.62、教育0.76，其余为0。作者称类别少的属性上匿名化不能完全阻止推断，RPS用拒答处理这一点。

    其他消融与分析

    • Table 3，GPT-3.5-Turbo为推理模型、Synthetic：词表加推断链的Top@1/2/3为26.86/45.33/56.38；去掉词表为31.43/48.76/58.86；去掉推断链为31.62/51.62/59.05；都去掉为37.14/57.33/64.38。
    • Table 10，只开词表、Synthetic：K=5为33.33，K=10为31.62，K=15为34.10。作者称K=10最好。
    • Table 8：前缀1.9/0.19/0，中缀0.36/0.09/0，后缀1.71/4.38/0（Llama2-7B-Chat、13B-Chat、Llama3.1）。作者称各位置均低于5；表中最高为4.38。
    • Table 4：Model列为GPT-4o时，FgAA效用88.29、准确率39.05，TRACE为86.65、28.38；GPT-3.5行TRACE效用80.83、准确率26.86，去掉词表后效用86.83、准确率31.43。Llama2-7B-Chat的RPS相似度为98.17、准确率1.71；DeepSeek-R1 Distill为98.27、6.48。这些准确率与Table 1中GPT-3.5-Turbo作匿名化模型的Synthetic数字相同。正文另称用GPT-4o作匿名化模型时TRACE效用为86.65。两处对86.65所属角色的写法不一致。
    • 附录G只规定停止条件（置信度低于2、文本不变或最多5轮），未另给随迭代变化的准确率。论文未报告各次优化的实际步数。

  5. What are some points that can be further explored?

    论文没有专门写出的局限或后续工作。

    作者指出的局限与后续方向

    论文未专门讨论局限。Conclusion、Ethics、Reproducibility和附录都没有把某项结果写成局限或未来工作。Ethics只说明研究目的，以及真实数据来自公开来源并做了匿名化。Reproducibility写的是代码已经公开，不是待完成的计划。

    实验覆盖范围

    • 第5.1节的推理模型为Llama2-7B-Chat、Llama2-13B-Chat、Llama3.1-8B-Instruct、DeepSeek-R1-Distill-Qwen-7B、Qwen2.5-7B-Instruct、GPT-3.5-Turbo、GPT-4o、Gemini 2.5 Pro；Table 6另报Llama3.2-1B-Instruct与Llama3.2-3B-Instruct。
    • 数据为Synthetic、SynthPAI和附录C的Reddit真实集。论文未报告三者的样本条数，也未报告真实数据的标注人数或一致性。
    • 对照为No Defense、Azure、Dou-SD、D-Defense、FgAA。Azure与Dou-SD的†数字来自Staab et al. (2025)，评测模型写的是GPT-4，Table 1中其余格为“–”。
    • RPS与MPS在可取logits的开源推理模型上优化，优化模型与推理模型相同。GPT-3.5-Turbo、GPT-4o、Gemini 2.5 Pro的主表没有RPS或TRACE-RPS。注意力提取固定为Llama2-7B-Chat，匿名化模型为GPT-3.5-Turbo或GPT-4o。
    • 自适应攻击（附录E）为SuffixDrop-ℓ与LLMSanitize，数据为Synthetic，模型为Llama2-7B-Chat与Llama3.1-8B-Instruct。提示变化为100条GPT-4生成的提示、三个开源模型（Figure 2），正文未给出SRR、SoRR、Acc的数值。论文未报告重复次数、优化的实际查询次数，以及预测与标签的匹配规则。

  6. Summarize the main content of the paper

    用户侧TRACE加RPS/MPS，在分享前降低LLM对敏感属性的推断准确率。

    这是一项用户侧防御：在文本公开前降低LLM对敏感属性的推断，而不是改攻击提示或削弱模型推理。

    • 问题：对齐模型对良性的属性推断提示不拒答。作者认为粗粒度匿名化既找不到最泄露的词，改写后模型仍能推理，类别少的属性尤其如此。
    • 方法：TRACE用Llama2-7B-Chat最后一层注意力取Top-K词，并让对抗模型写出推断链，再由GPT-3.5-Turbo或GPT-4o改写关键片段。RPS在与推理模型相同的开源模型上做无梯度两阶段随机搜索，把后缀优化到首token为I、次token落入拒答集合。对仍会作答的模型，MPS把预测推向错误属性。作者称RPS是其所知首个针对属性推断的优化式防御。
    • 主结果：Synthetic上无防御的GPT-4o准确率为71.24%。同表Llama3.1-8B-Instruct的TRACE-RPS准确率为0，ASR仍为13.48，因为拒答按随机猜测计。作者称开源模型上合用后准确率从约50%降到5%以下。闭源不能跑RPS；GPT-4o同时作推理与匿名化模型时，TRACE为26.67%（Table 1）。
    • 其他结果：Qwen2.5-7B-Instruct在GPT-4o匿名化下TRACE-MPS为4.38%（Table 2）。真实数据上Llama2-7B-Chat的TRACE-RPS为4.29%，仅RPS为7.14%（Table 7）。LLMSanitize使Llama3.1的RPS准确率升到33.90%（Table 9）。Table 4中RPS的语义相似度为98.17与98.27。
    • 作者结论：作者称该框架可跨攻击模型泛化，对推断提示的变化仍诱导拒答，并给出效用与隐私的权衡。作者将其写成不依赖模型提供方的用户侧隐私工具，并在贡献中称开源与闭源设置都达到其所写的state-of-the-art隐私保护。
Read originalarxiv.org