拆解 LLM 交互中的隐私-效用权衡：Veilmind-4B 意图驱动本地保护框架

敏感信息对回答的价值随用户意图变化，静态净化难以同时保住隐私和效用。

• 场景：作者称高质量回答依赖含个人约束的细粒度指令；敏感性取决于意图和任务，并与 contextual integrity 一致。Figure 1 标出临床、关系与财务属性可能对应的医疗欺诈、情感操纵和经济剥削。
• 不足：作者称既有方法多用与上下文无关的静态规则或通用启发式，不评估细节相对用户目标的边际贡献，常把必要上下文与非必要噪声一起去掉（Mireshghallah 等 2024）。净化程度如何影响下游表现也缺少细粒度刻画。
• 观察：作者把权衡拆成何时净化、如何净化、净化范围。属性可从关键约束变为可删噪声；删除或替换取决于事实完整性还是结构连贯；属性之间有协同依赖或拮抗冗余。
• 做法：提出意图驱动的本地保护框架，把上述发现蒸馏进轻量模型 Veilmind-4B，执行抽取、净化与恢复，并设 Utility Priority 与 Privacy Priority。
• 威胁模型：
  • 目标：减少发往不受信任远程服务器的敏感属性，同时尽量保持本地恢复后的回答效用。
  • 位置：保护在推理阶段、本地完成。本地模型可见原始提示词和远程响应；远程模型只收到净化后的提示词。
  • 受害侧：用户与第三方 LLM 服务的交互。作者称风险是画像和针对性现实滥用，区别于训练语料记忆。
  • 判定：Privacy Score 为修订提示词中敏感陈述的保留率，越低越强；Utility Score 为净化回答相对原始回答的 win/tie 率。论文未使用 white-box 或 black-box 描述攻击者知识。

相关工作按训练侧与用户–LLM 交互两侧组织。作者把本文放在推理阶段，并要求净化动作随意图变化。

训练语料中的隐私

• 清洗与识别：Lison 等（2021）、Kandpal、Wallace 与 Raffel（2022）从训练集检测并涂改 PII；Chen 等（2023）提出 Hide and Seek。作者称启发式过滤和 NER 容易漏检，并破坏语言连贯（Lukas 等 2023）。
• 差分隐私：Abadi 等（2016）、Li 等（2021）把 DP 用于训练；Yu 等（2022）、Sinha 等（2025）尝试扩到 LLM。作者称尽管有理论保证，加噪仍会带来效用代价。
• 机器遗忘：Jang 等（2023）、Liu 等（2024a, 2025b）试图擦除特定敏感样本的影响，以符合“被遗忘权”。作者称难点是灾难性遗忘，删除特定知识会连带损害一般能力（Yao、Xu 与 Liu 2024；Xu 等 2025）。

推理阶段的表示级方法

• 嵌入加噪：Feyisetan 等（2020）、CAPE（Plant、Gkatzia 与 Giuffrida 2021）、Meehan 等（2022）、Du 等（2023）扰动输入表示。作者称它们与只接受文本的商业 API 不兼容，且可能被反演（Song 与 Raghunathan 2020）。
• DP 解码：Majmudar 等（2022）、Zhang 等（2024）、Zeng 等（2025）在解码或推理中加入形式化隐私。作者称直接对生成加噪常破坏语义，使下游模型难以使用提示词。

文本级净化

• 规则系统：Microsoft Presidio（2025）与 Lison 等（2021）。作者称其不看上下文，常删除任务相关细节，造成 utility collapse。
• LLM 净化：Ngong 等（2025）改写脱离上下文的信息；Shen 等（2024）按泄露风险调节强度；Papillon（Li 等 2025）在本地与远程模型之间委托推理；Chowdhury 等（2025）对敏感 token 做保格式加密。作者称这些方法仍多靠静态启发式，未处理属性组合交互，也未按用户意图选择动作。

基线与基准

• 基线：Papillon 的 zero-shot Base，以及 DSPy 调过的 Optimized（Khattab 等 2023）；PUFT 的 Static（预定义属性列表）和 Dynamic（随交互上下文调整）。Section 4.3 称 PUFT 用 Contextual Integrity 改写提示词，只保留任务必要细节。
• 基准：人工核验子集 Uprise（N=200）；Pupa-tnb（Li 等 2025），含带 PII 的真实用户查询。机制分析另用固定 5 条敏感陈述的 Dmulti（384 条）。

作者认为，现有推理阶段方法缺少何时净化、如何净化、净化范围的粒度，因而权衡次优；本文用受控消融写出决策边界，再蒸馏到本地模型。

先在受控子集上拆开隐私–效用权衡，再把发现写成推理指令，蒸馏进 Veilmind-4B，由它在本地完成抽取、净化与恢复。

数据与分类

• 敏感陈述：揭示具体个人属性的离散文本单元，例如一个从句。全量 9,757 条：真实 5,928 条来自 ShareGPT-X、LMSYS-Chat-1M 和 WildChat；合成 3,829 条把 Nemotron-Personas 注入原本无敏感信息的查询。
• 合成与质检：Qwen3-Embedding-8B 取 top-8 人设，Qwen3-Reranker-8B 重排；DeepSeek-V4-Flash 给注入适宜性打 1–5 分，≥3 才注入。附录 A 给出过滤、注入、抽取和复核模板。随机 N=200 的人工检查错误率为 2.5%。
• 类别与子集：意图 6 类、隐私属性 7 类，定义见 Table 7。Dmulti 只留恰好 5 条敏感陈述的提示词，共 384 条，用以去掉信息量混杂。gemini-2.5-flash 标注该子集，分布见 Figure 2。

机制分析的操作定义

• 效用差：gemini-2.5-flash 在 temperature=0、max_tokens=8192 下回答原提示词和净化提示词。Skywork-Reward-V2-Llama-3.1-8B 给奖励，∆R 为净化回答减去原始回答，负值表示效用下降。单条删除由 gemini-2.5-flash 按附录模板执行。
• 策略差：替换用合成占位代替敏感属性。D 等于删除的 ∆R 减去替换的 ∆R；正文称正值表示删除保留更多效用，负值表示替换更好。Section 3.4 未写明执行替换的模型。
• 交互分：对陈述对同时删除，定义为 I_A,B=Δ R(A,B)−(Δ R(A)+Δ R(B))。I<0 为协同，联合删除的效用下降大于各自之和；I>0 为拮抗，即信息重叠。Section 3.5 未写明成对删除的执行模型。Figure 5 空格表示该类型对无数据。

三阶段本地框架

• 抽取：本地模型从提示词 P 得到敏感陈述集合 S，包括显式 PII 和隐含属性。
• 规划与净化：按意图和隐私类别，给每条陈述分配 Keep、Remove 或 Replace，输出净化提示词和计划。作者称会去掉拮抗对，以减少只删一边仍能还原的冗余，并在任务需要时保留协同对。
• 两种模式：Utility Priority 在细节构成关键约束时保留，正文举例为解题中的财务数据；Privacy Priority 尽量净化，除非提示词会不连贯。模式模板在附录。
• 恢复：净化提示词发给不受信任的远程模型；本地模型用计划和原始陈述把扣下的上下文写回远程回答。作者称原始敏感数据不发给远程服务器。

蒸馏与评测定义

• 蒸馏：教师 DeepSeek-V4-Flash 合成带理由的抽取、两种模式下的推理轨迹与改写提示词，以及恢复后的回答。学生 Qwen3-4B 经全参数监督微调后称为 Veilmind-4B。附录 C.2 写训练在单张 NVIDIA H200 上，使用 ms-swift。附录 Table 15–20 为提示词，其中的替换例子和判定细则这里不转述。
• 评测定义：主评测集为人工核验的 Uprise（N=200），Pupa-tnb 作补充。DeepSeek-V4-Flash 计算 Utility Score（净化回答相对原始回答的 win/tie 率，越高越好）和 Privacy Score（修订提示词中敏感陈述保留率，越低越强）。

实验设置

• 机制分析：远程回答、单条删除和子集标注用 gemini-2.5-flash；效用代理为 Skywork-Reward-V2-Llama-3.1-8B。解码 temperature=0，max_tokens=8192。数据为 Dmulti，384 条，每条恰好 5 条敏感陈述。
• 框架模型：Veilmind-4B，以及未蒸馏的 Qwen3-4B。Table 1 另列教师 DeepSeek-V4-Flash 的策略比例。论文未写明 Uprise 与 Pupa-tnb 上哪一个模型生成远程回答。
• 基线：Papillon 的 Base 与 DSPy Optimized；PUFT 的 Static 与 Dynamic。
• 指标与评审：Utility Score 为 win/tie 率，越高越好；Privacy Score 为敏感陈述保留率，越低越强。评审为 DeepSeek-V4-Flash，它同时是蒸馏教师。
• 规模：Uprise N=200。Pupa-tnb 样本量论文未报告。论文未报告重复次数或显著性检验。抽取标签的随机人工检查为 N=200、错误率 2.5%。

主结果

据 Table 6，数字为百分比。隐私列越低表示保留越少。下表省略 PUFT Static。

Swipe horizontally to read the table

系统	Uprise效用	Uprise隐私	Pupa效用	Pupa隐私
Veilmind-4B Utility Priority	87.00	72.78	77.12	49.14
Veilmind-4B Privacy Priority	66.00	40.50	58.05	14.76
Qwen3-4B Utility Priority	75.50	62.86	64.98	27.14
Qwen3-4B Privacy Priority	65.50	52.57	56.96	15.99
PUFT Dynamic	48.00	42.40	25.00	6.10
Papillon Optimized	24.00	32.31	24.89	2.75
Papillon Base	17.50	40.63	27.12	10.00

• 作者称 Figure 6 上，Privacy Priority 的效用高于 Papillon Optimized，隐私分只略高，并在两项上优于其余基线。摘要称到达低泄露点；同表 Papillon Optimized 的保留率更低。效用模式的保留率高于同表其余行。
• 作者称 Utility Priority 保留关键约束后回答质量更高，并使用户能在两种模式间调节，把权衡推向 Pareto 前沿。
• 省略的 PUFT Static 为 Uprise 效用 60.50、隐私 53.95，Pupa-tnb 效用 28.81、隐私 13.53（Table 6）。Pupa-tnb 上 Veilmind 隐私模式的效用高于 Papillon 与 PUFT，保留率也高于这两组；作者未解释与 Uprise 的差别。作者称未蒸馏 Qwen3-4B 仍优于 PUFT 和 Papillon；表中其效用更高，但除 Uprise 隐私模式相对 PUFT Static 外，隐私保留率高于这些基线。

删除、替换与成对交互

• 何时删除：Figure 3 每次删一条。Task Execution 删除 Social and Relational Information 的 ∆R 为 −14.25，删除 Health and Wellness 为 +0.19。Personalized Interaction 删除 Health 为 −5.78、删除 Social 为 −2.07。Analysis & Reasoning 删除 Health 为 +0.12；Information Acquisition 删除 Financial 为 +0.56。作者称约束型任务里细节界定解空间，逻辑型任务里个人属性可以是无关噪声，去掉后奖励甚至上升。
• 删还是换：Figure 4 比较替换与策略差 D。Task Execution 与 Health 的 D 为 +14.04；作者称客观任务里虚构值会成为错误前提，删除更好。Personalized Interaction 中 Health 的 D 为 −1.64，Problem Solving 中 Financial 的 D 为 −1.33；作者称此时敏感陈述是对话锚点，结构有效性高于输入事实是否准确。
• 组合范围：Figure 5 中，Health and Wellness 与 Interests, Beliefs, and Opinions 的 I 为 −6.05，Behavioral Data 与 Social Information 的 I 为 +4.14。Task Execution 中同时去掉 Social Information 与 Interests 的 I 为 +47.8。作者称 Personalized Support 里 Health 使 Professional Background 冗余，I 为 +28.2，并认为交互由意图决定，不是类别固有。空格表示无数据。

蒸馏与三阶段消融

• 策略迁移：Table 1 抽取成功率从 Qwen3-4B 的 52.4% 到 Veilmind-4B 的 72.7%，教师为 77.4%。Privacy 模式移除率从 54.5% 降到 33.6%，替换升到 48.6%；Utility 模式保留率从 24.5% 升到 62.8%。恢复增益从 +3.5% 到 +7.0%，教师为 +10.0%。正文写效用模式效用从 75.5% 到 86.8%、隐私模式泄露从 52.6% 到 40.5%；Table 6 为 75.50% 到 87.00%、52.57% 到 40.50%。
• 去掉抽取或指南：Table 2 在 Qwen3-4B 上，无抽取时隐私从 52.6% 到 71.6%（+19.0），无抽取输出的提示词从 30 到 81，效用 82.00%（+16.5）。作者称更高效用来自识别不足，不是更好的权衡。去掉 Sanitization Guideline 后隐私 60.7%（+8.1）、效用 71.5%（+6.0）。
• 去掉恢复：隐私仍为 52.6%，效用降到 62.0%（−3.5）。作者称抽取负责覆盖，净化把条目变成删除或替换，恢复在不增加暴露的情况下拉回回答质量。

其他消融与分析

• 附录 Figure 8：同一属性对在不同意图下的协同或拮抗不同；正文未逐格列出全部 I。
• 附录 Figure 9–12 四个案例各自标注 Privacy Leakage Score 0.0、Utility Score 1.0；论文未说明该分数即 Table 6 的百分比。
• Table 3（蒸馏用 9,757 条）：English 6,232（63.87%），Chinese 1,691（17.33%）。
• Table 4 意图占比最高为 Creation 21.94%，最低为 Interaction 9.12%。
• Table 5 抽取声明 53,572 条，Interests 26.21% 最高，Financial 2.36% 最低。
• 附录 A.1：过滤后候选提示词 61,275 条，长度约束 16 < L < 4096。

作者指出的局限与后续方向

• 多轮交互：Conclusion 写，未来工作将把这一意图中心范式扩展到多轮交互，用户目标和隐私边界会随对话历史逐步变化。

实验覆盖范围

• 机制分析使用 Dmulti 384 条、每条 5 个敏感陈述；远程模型为 gemini-2.5-flash（temperature=0，max_tokens=8192），效用代理为 Skywork-Reward-V2-Llama-3.1-8B（Section 3.2–3.5）。
• 框架比较包括 Veilmind-4B 与 Qwen3-4B 的两种模式，以及 Papillon Base、Papillon Optimized、PUFT Static、PUFT Dynamic；数据为 Uprise（N=200）和 Pupa-tnb（Section 4.3、Table 6）。
• 评审为 DeepSeek-V4-Flash，蒸馏教师同为该模型；学生为 Qwen3-4B，全参数监督微调，硬件为单张 NVIDIA H200（Section 4.2–4.3、附录 C.2）。
• 论文未报告 Uprise 与 Pupa-tnb 上生成远程响应的模型、Pupa-tnb 样本量、重复次数和统计检验。
• 构建数据 9,757 条，真实 5,928、合成 3,829；抽取标注的随机人工检查 N=200、错误率 2.5%（Section 3.1）。单条删除写明由 gemini-2.5-flash 执行；Section 3.4 与 3.5 未写明替换和成对删除的执行模型。

本地侧的意图驱动净化，用来降低用户提示词发往不受信任远程模型时的敏感属性暴露。

• 问题：敏感陈述的边际效用取决于意图，也取决于属性单独出现还是成对出现。作者称静态规则不区分关键约束和可删噪声。
• 方法：在 384 条、每条 5 个敏感陈述的子集上比较删除、替换和成对删除，再把决策蒸馏进 Veilmind-4B。本地抽取后按 Utility Priority 或 Privacy Priority 执行保留、删除或替换；远程模型只看净化提示词，回答回到本地再恢复。
• Uprise：Table 6 中 Veilmind-4B 隐私模式效用 66.00%、保留率 40.50%，效用模式为 87.00%、72.78%。隐私模式效用高于 Papillon 与 PUFT；保留率高于 Papillon Optimized 的 32.31%。摘要称低泄露点，Section 4.3 则称相对 Papillon Optimized 隐私分只略高。
• Pupa-tnb：隐私模式效用 58.05%、保留率 14.76%，效用高于 Papillon 与 PUFT，保留率高于 Papillon Optimized 的 2.75% 和 PUFT Dynamic 的 6.10%。
• 机制：Task Execution 删除 Social and Relational Information 的 ∆R 为 −14.25；该意图下 Health 的策略差 D 为 +14.04。Health 与 Interests 的全局交互分 I 为 −6.05。
• 作者结论：作者称最优净化要随任务在事实完整性与结构连贯之间选择动作，并处理协同与拮抗。作者称该框架比面向隐私的基线保留更高回答效用，并向 Pareto 前沿推进；Conclusion 将后续工作定为多轮交互。