GraphProfiler 用个人知识图谱推断敏感属性并溯源到具体帖子
GraphProfiler: Source-Linked Sensitive Attribute Inference via Personal Knowledge Graphs
GraphProfiler在SynthPAI八属性上ASR为86.7%,并可为逾98%的预测解析出源帖证据。
读取用户帖子或评论历史,推断敏感属性并返回证据集。
- 敏感属性常由许多普通帖子中的弱线索汇合暴露,而不是一句直接自述。LLM画像器能自动聚合这些线索,但难以指出是哪些帖子、概念和关系使推断成立,因此无法只改写少数泄露帖。
- GraphProfiler把每帖建成带来源链接的个人知识图谱,按属性检索局部图上下文,再把模型引用的表记录映射回源文件。支持审计、只用被引文本的推断,以及删除后重建索引,用来检查这些源帖是否真与推断有关。
- 在SynthPAI八属性上GraphProfiler总ASR为86.7%,PANDORA年龄与性别为84.6%且覆盖率100%。逾98%的预测可解析到源帖;删除被引帖比等量随机删除更降低ASR。
- 作者写明这不是完整缓解系统。删被引帖后冗余线索仍可能保留推断;local search引用并非穷尽证据。评测用GPT-4o,SynthPAI为合成历史,PANDORA标签来自flair。未含匹配的chunk级RAG基线。
- 威胁模型
- 读取用户帖子或评论历史,推断敏感属性并返回证据集。攻击侧能从这些文本建个人知识图谱再查询;论文未用white-box或black-box。SynthPAI评八属性,PANDORA评age与sex。ASR把精确、语义等价或粒度兼容的预测计为成功。作者称该图兼作攻击基底与风险记录定位。
- 基准
- SynthPAIPANDORA
- 指标
- ASRprediction coverageevidence coveragesupport-audit rateevidence-only inference rateSBERT cosine similarity
研究者提出 GraphProfiler,一种可审计的 LLM 画像方法,将用户发帖历史表示为带来源链接的个人知识图谱,节点和边可回溯到原始帖子,属性预测可引用图谱记录和源文本。在八属性的 SynthPAI 基准上攻击成功率达 86.7%,与纯文本强基线相差不到两个百分点,在 PANDORA 上为 84.6%,超过 98% 的预测附有支持证据。消融实验显示,移除被引用的帖子比移除同等数量的随机帖子更能降低攻击成功率,说明这些帖子确实贡献了推断结果。该工作已被 EMNLP 2026 主会接收。
深度解读
这篇论文试图解决什么问题?
长历史中的弱线索足以推断敏感属性,但现有profiler难以定位到具体源帖。
长历史里的敏感属性可由分散弱线索推断,但现有 profiler 往往说不清是哪些帖子促成了推断。
- 场景:作者认为年龄、收入、职业、地点、教育、关系与出生地等,很少出现在单句自述里,而从兼职、租金、学业、家庭角色和记账等普通帖子汇合。只判断“该用户可被画像”,不足以支持只改写少数帖。
- 现有不足:作者称 LLM profiler 能自动聚合弱线索并得到高准确率,但输出难审计。作者并称删除直接标识符不够,成功推断常来自工作日程、学业时间线、财务习惯和关系用语。
- 假设:把每帖记为带来源的实体与关系后,证据可跨属性复用,新帖也可并入而不必整段重索引。问题从能否推断,转为哪部分历史使推断成立、改动后结果是否改变。
- 系统:作者提出 GraphProfiler。它为每位用户构建源链接个人知识图谱,按属性查询,并把预测解析到被引图记录与源文本。
- 威胁模型:
- 目标:从用户文本历史推断敏感属性,并同时返回预测与证据集。
- 范围:SynthPAI 评八个属性:age、education、income、location、occupation、POB、relationship status、sex。PANDORA 评 age 与 sex。
- 知识:读取帖子或评论,建成图后从结构化索引查询。论文未使用 white-box、black-box 或 no-box,也未声称可读模型参数。
- 判定:ASR 把精确、语义等价或在评测粒度上兼容的预测计为成功,各方法共用同一策略。作者称该图既是聚合弱信号的攻击基底,也可标出应改写、泛化或删除的源记录。
有哪些相关研究?
相关工作分作者画像、GraphRAG与解释忠实性;本文要可删除检验的源级证据。
论文把相关工作分成作者画像、知识图谱和解释忠实性三组,并把本文放在可复用、可干预的源链接证据上。
- 作者画像与属性推断
- 传统画像:Tigunova et al.(2020a, 2020b)、Gjurković et al.(2021)与 Harrigian(2018)从 Reddit 等文本恢复人口统计、地理位置、特质,或从对话抽取个人属性。论文只把它们写成这一威胁的前身。
- LLM profiler:Staab et al.(2024)用单次 LLM 推断恢复 location、income、education 等;AutoProfiler(Du et al., 2026)用智能体工作流扩展。作者称它们可以标出支持片段,但不建立可独立于最终预测再分析的持久源链接结构。
- TRACE-RPS:Yan et al.(2026)改写聚合历史以降低属性推断风险。作者称它不指出哪些原帖对推断贡献最大,因此留下本文要处理的审计缺口。
- 知识图谱与 GraphRAG
- 去匿名:Qian et al.(2019)讨论结构化知识表示可加强社交网络去匿名攻击。
- 统一框架:Pan et al.(2024)讨论把 LLM 与知识图谱用于推理和 grounding。
- GraphRAG:Edge et al.(2024)构建图索引,并检索局部或社区级上下文。Liu et al.(2025)主要研究从原文和结构化图信息中抽取数据的风险。作者称本文改做跨文本间接线索的潜在属性推断,并把图同时用作检索结构与源链接溯源基底。
- 忠实性、归因与溯源
- 自解释与检索归因:Madsen et al.(2024)研究 LLM 自解释是否忠实;Qi et al.(2024)研究检索增强生成中的答案归因。作者称 GraphProfiler 与之互补但不同:不判断理由是否听起来可信,而把个人知识图谱当作证据,用支持审计、仅证据推断和引用源删除做功能检验。
- 基线与基准
- 基线方法:FTI(Staab et al., 2024)、AutoProfiler(Du et al., 2026)。基准:SynthPAI(Yukhymenko et al., 2024)、PANDORA(Gjurković et al., 2021)。
作者将本文定位为可审计的 LLM profiler:攻击成功率要与文本型画像器可比,同时把每次推断解析到可删除检验的源记录。
- 作者画像与属性推断
论文如何解决这个问题?
GraphProfiler把帖子建成源链接个人知识图谱,按属性检索并解析回源帖。
GraphProfiler 先把用户历史建成源链接个人知识图谱,再按属性检索,并把预测解析回源帖。
输入与任务
- 帖级文件:每个帖子或评论是一个源文件,带稳定标识。图记录若链到该文件,预测就回到这一帖,而不是整段聚合历史。
- 分开的两个问题:属性能否被推断,以及历史的哪一部分支持该推断。
- 输出:对目标属性同时给出预测和证据集。属性范围见第 3 节。
个人知识图谱
- 索引:按用户适配 GraphRAG(Edge et al., 2024)。索引含文本单元、实体、关系、社区报告、嵌入和源映射。
- 抽取:按帖识别实体与关系,并保留源文件链接。作者不做额外的全局本体规范化,使相近提及仍可是不同图记录,再通过共享源或关系相连。附录 J 给出完整抽取提示词。
- 两层证据:局部层是源连接的实体与关系;摘要层是对拓扑簇的社区报告。作者后来把社区报告当作次要上下文。
- 设计陈述:抽取面向画像,保留可能支持敏感属性推断的概念。作者称要的是结构化隐私风险表示,不是通用用户摘要。引言写新帖可并入已有图,并只重查受影响邻域。
分属性查询
- 分开查询:不为全部属性发一次查询。作者称分属性检索局部图上下文可以加强检索,同时不丢失相关证据,并举例 age 覆盖教育时间线、职业阶段与育儿,income 覆盖工作角色、生活方式与财务压力。
- 返回字段:预测值、置信度、证据模式、被引图表引用和短理由。证据模式为 grounded、weak、implicit 或 none。作者称它只是诊断性自我报告,不是正确性过滤器。
- 引用来源:模型被要求引用支持预测的表记录。解析不接受模型自由写出的文件名。
证据解析
每个用户-属性的画像输出为 ⟨ ŷu,a, cu,a, mu,a, Ru,a, Su,a, zu,a ⟩,依次是预测值、置信度、证据模式、被引图记录、对应源文件和自然语言理由。
- 映射:用图索引把被引表记录映射回图条目和源文件。作者称该对象是检索条件化的,不表示已穷尽历史中的全部证据。
- 三件分开的事:预测是否正确、被引证据是否支持、删掉它之后推断是否改变。
判定与实现
- ASR:精确、语义等价,或在评测粒度上兼容即成功,例如教育层级、收入分档、包含标注年龄的区间、更粗但兼容的地理层级。各方法同一策略。附录 A 与附录 L 给出匹配细则和评判提示词。
- 溯源指标:evidence coverage、被引源数量、support-audit rate、evidence-only inference rate、引用删除后的 ASR 变化,以及 semantic retention。后者是原历史与删除后历史的 SBERT 余弦,模型为 sentence-transformers/all-MiniLM-L6-v2。作者称只作粗语义代理。
- 实现:每用户一个 GraphRAG v2.7.0 索引。抽取、claim 抽取、社区报告、画像查询和 LLM 评测使用 Azure OpenAI GPT-4o;检索嵌入为 text-embedding-3-small。报告的运行使用分属性查询。图布局嵌入与 UMAP 关闭。附录 G、J–M 有设置与完整提示词。
论文做了哪些实验?
SynthPAI总ASR为86.7%,PANDORA为84.6%且覆盖率100%;删被引帖比随机删除更降ASR。
实验设置
- 模型:全部报告的画像实验,以及支持度自动审计,使用 Azure OpenAI GPT-4o。语义保留使用 all-MiniLM-L6-v2。
- 数据:SynthPAI 使用与基线相同的过滤集,269 名用户、700 个属性-用户对、八属性。PANDORA 评 age 与 sex;过滤后 208 名用户、93,591 条评论。过滤含多次 flair 上的稳定标签、英语、去重、去掉被标为直接年龄或性别自我披露的评论;少于 100 条英语评论的合格用户全留,更高桶抽样 10%,排除 2500 条及以上。Figure 8 与附录 B 给出构成。
- 基线:FTI 与 AutoProfiler,共用附录 A 的解析与匹配策略。
- 指标:主指标为 ASR。prediction coverage 是有可解析预测的评测对比例。evidence coverage 是被引图引用能解析到源级证据的预测比例。
- 评审:属性对错由同一评测流水线判定。支持审计用 GPT-4o。人工为两名研究团队标注者,独立判断 100 个证据集,不知该集是 cited 还是 random;主文把 Yes 与 Partial 二值化为 supportive。附录 F 有标签定义。
- 删除协议:每个数据集选 30 名已正确推断属性的用户。cited 删除去掉溯源到的源文件,random 删除同一用户上等量文件。剂量为 25%、50%、100%。删除发生在建图之前,然后重建索引并重跑同一属性查询。
主结果
表格较宽,可左右滑动
方法 SynthPAI总ASR SynthPAI覆盖率 PANDORA总ASR PANDORA覆盖率 FTI 88.7% 100.0% 92.1% 96.6% AutoProfiler 88.3% 100.0% 57.0% 69.2% GraphProfiler 86.7% 100.0% 84.6% 100.0% 据 Table 1。PANDORA 只含 age 与 sex。
- 分属性与作者解读:作者称 GraphProfiler 在 age、education 上高于两基线,在 sex、POB 上匹配或接近,其余属性仍可比较,总差距在两个点以内,并解释为面向溯源而非单纯预测的取舍。Table 1 中 SynthPAI 的 location 为 81.2%,低于 FTI 的 86.2% 与 AutoProfiler 的 93.8%;POB 为 92.0%,与 FTI 相同,低于 AutoProfiler 的 100.0%;sex 为 86.5%,等于 AutoProfiler,低于 FTI 的 88.3%;income 为 64.4%,等于 AutoProfiler,低于 FTI 的 71.1%。
- 长历史与对齐子集:作者称 PANDORA 评论更吵,标签来自 flair,证据可分布在数百到数千条评论上。该数据上 GraphProfiler 的 age、sex ASR 为 80.8%、88.5%,FTI 为 90.4%、93.8%,AutoProfiler 为 49.5%、64.4%。FTI 在完成运行上更高,但有 7 名用户因上下文限制失败。AutoProfiler 完成 144/208 名用户。三方法都有可解析预测的共享子集为 286 对、143 名用户:GraphProfiler 85.3%,FTI 94.8%,AutoProfiler 82.2%。
- Overall 怎么读:Table 1 的 Overall 与该数据已报告属性列的平均一致。作者把 AutoProfiler 在 PANDORA 上的 Overall 称为 coverage-aware overall ASR;论文未另给把未完成用户计为失败后的公式。作者称 GraphProfiler 是两个基准上唯一对每名用户都完成推断的方法,并提供源链接溯源。
证据是否紧凑、支持且足够
- 解析与占比:证据解析成功率为 SynthPAI 99.1%、PANDORA 98.8%(6.2 节)。摘要另写 over 98% 的预测引用了 supporting evidence,与后文“支持审计通过”不是同一数字。PANDORA 上中位被引帖占该用户源文件的 2.6%(age)与 3.1%(sex)。作者称 SynthPAI 也呈集中模式;正文未给出各属性中位数。
- 支持审计与人工:GPT-4o 比较被引证据与同一用户的等量随机帖。作者报告 PANDORA 上 cited 69.4%、random 16.9%,SynthPAI 上 88.3% 与 17.5%(附录 D)。Figure 3b 对 PANDORA 的 cited 柱标注 65 与 74,另有标注 12 的较低柱。100 个证据集上,cited 在标注中被判支持的比例为 85.0%,random 为 33.0%;同批 LLM 评审为 76.0% 与 18.0%。人-人二元一致 72.0%,人-LLM 77.0%(Figure 4)。作者称自动审计偏保守,而不是偏高。
- 仅证据推断:只用被引源文本做直接 LLM 推断。PANDORA 上 cited 的 ASR 为 51.9%,random 为 7.5%;SynthPAI 上为 58.2% 与 4.9%。作者称小子集常常已含足够信号,但不预期达到全图水平,因为有些属性需要图来组织分散弱线索。Figure 3c 可见 44、60、21、8 等标注,纯文本不能把每个数坐实到分属性柱。
引用删除的功能重要性
- 条件:在成功推断上做等量匹配删除,每数据集 30 名用户。作者写明这不是总体缓解有效性估计。
- PANDORA:全量 cited 删除后 ASR 从 100.0% 降到 73.3%,全量 random 后为 88.3%;SBERT 损失为 2.8 与 0.2 点(Figure 5)。图中还有 25% 与 50% 剂量,正文未给出这两个剂量的总体 ASR。
- SynthPAI 与残留:全量 cited 删除后 ASR 为 66.4%,等量 random 后为 80.9%;SBERT 损失 9.3 与 6.3 点(附录 E、Figure 11)。作者称删除后仍非零,是因为属性可在历史多处冗余编码,因而更接近迭代审计。作者还称 SynthPAI 上 location、POB、income、sex 下降更大,education 与 relationship status 较小;PANDORA 的 age、sex 也下降,但小于部分 SynthPAI 属性。Figure 12 的逐格数字在纯文本中可能错列,此处不摘。
图结构与个案
- 实体类型:Figure 6 给出成功预测直接引用的实体类型计数,颜色为行内占比。作者称记录落在语义相关邻域:age、education、occupation、sex 较多引用对应类型,income、location、POB、relationship status 也使用财务习惯、文化传承、地点与个人经历等辅助线索。格点数字不摘。
- 个案:Figure 7 与附录 I 中,一名 SynthPAI 用户在全图和等量随机删除后的收入预测为 Low,删除被引证据并在重新索引前移除后变为 Medium。作者称没有单条帖子直接陈述低收入。附录给出完整源文本与图记录。
- 社区报告:作者将其视为次要上下文。附录 H、Figure 14 按用户统计主题是否出现。作者称 PANDORA 上若干宽主题更常见,因为评论更多。
其他消融与分析
- SynthPAI 全量索引墙钟:中位 170.4 秒/用户,均值 200.9 秒;首次全属性图查询中位 61.2 秒、均值 66.3 秒(附录 G)。
- PANDORA 分五台 VM 索引;论文未给与 SynthPAI 可比的单用户墙钟。
- 摘要的 over 98% 指预测带有被引证据;6.2 节解析成功率为 99.1% 与 98.8%,6.3 节支持审计通过率更低。
- 附录 D、Figure 10 有 SynthPAI 分属性支持率与仅证据 ASR;纯文本列对齐不可靠,不摘格点。
- 删除还包括 25% 与 50%,正文只解释 100% 的总体 ASR。
- 作者用冗余编码解释删除后的残留成功;对 SynthPAI location 低于两基线未另作解释。
有什么可以进一步探索的点?
作者称这不是完整缓解系统,引用并非穷尽证据,且未测其他建图方式。
作者指出的局限与后续方向
- 不是完整缓解:结果应作为面向审计的隐私研究来读,不是完整缓解系统(Limitations)。
- 删除不一定清除推断:长历史可能含冗余或替代线索;实际缓解可能要迭代审计、改写、重建索引和再评测。Discussion 另写,删除研究不估计总体缓解有效性。
- 覆盖率不是检全:100% 预测覆盖不表示隐私风险被完整检出;错误预测仍可能漏掉真实泄露,未能恢复某属性也不说明它不可推断(Limitations)。
- 溯源有边界:local search 返回选定图上下文,不是整图,被引证据不应视为穷尽。实体与关系的抽取忠实性没有大规模独立标注(Limitations)。
- 建图与对照:对其他 PKG 构建方法的敏感性未测。评测没有匹配的 chunk 级 RAG 基线,图结构相对于只做检索引用的边际贡献仍待建立(Limitations)。
- 数据、模型与后续:SynthPAI 有受控真值但是合成历史;PANDORA 是真实历史,flair 代理标签可能有噪声或时间上不稳定。实现全程使用 GPT-4o。作者提出后续测试 open-weight 模型、扩大人工验证、评测多语言,并研究针对被引证据的隐私保护变换(Limitations)。
实验覆盖范围
- 画像实验与自动支持审计使用 Azure OpenAI GPT-4o;FTI、AutoProfiler 与 GraphProfiler 使用该同一模型(第 5 节、6.3 节)。
- 数据为 SynthPAI 过滤集(269 用户、700 对、八属性)和 PANDORA 过滤子集(208 用户、93,591 条评论、age 与 sex;保留英语评论,并去掉直接年龄或性别自我披露)(第 5 节、附录 B)。
- 干预包括引用源删除与等量随机删除(每数据集 30 名已成功推断的用户,剂量 25%、50%、100%),以及支持审计、仅证据推断和 100 个证据集的双人标注(第 6 节、附录 E、F)。
- 论文报告 SynthPAI 全量索引与一次全属性查询的墙钟(附录 G),未报告新帖并入后只重查受影响邻域的耗时,也未报告重复次数或随机种子。
- 论文定义了 evidence mode,但未按该模式分层报告 ASR;Limitations 写明抽取忠实性未做大规模独立标注。
总结一下论文的主要内容
GraphProfiler用源链接个人知识图谱做属性推断,准确率接近文本基线,并把证据定位到少量源帖。
GraphProfiler 是一个可审计的 LLM 敏感属性画像器:用源链接个人知识图谱,把推断落到具体帖子。
- 问题:长历史中的年龄、收入等属性可由分散弱线索聚合得到,但现有 profiler 不提供可复用、可干预的源级证据,定向改写缺少对象。
- 方法:每帖建文件并抽取带来源的实体与关系,社区报告只作次要上下文;按属性检索局部图,再把模型引用的表记录映射回源文件。ASR 与溯源检验分开。
- 准确率:SynthPAI 八属性总 ASR 86.7%(FTI 88.7%,AutoProfiler 88.3%),覆盖率均为 100%(Table 1)。PANDORA 年龄与性别总 ASR 84.6%,覆盖率 100%;FTI 为 92.1% 但覆盖率 96.6%,AutoProfiler 为 57.0%、覆盖率 69.2%。三方法都能解析的 286 对上,GraphProfiler 85.3%,FTI 94.8%,AutoProfiler 82.2%。
- 溯源:证据解析成功率 SynthPAI 99.1%、PANDORA 98.8%。PANDORA 上年龄与性别的中位被引帖占比为 2.6% 与 3.1%。支持审计中 cited 高于等量 random(PANDORA 69.4% 对 16.9%;SynthPAI 88.3% 对 17.5%)。仅用被引文本时,PANDORA ASR 51.9%,random 为 7.5%。
- 干预:在各 30 名已成功推断的用户上,PANDORA 全量删除被引帖后 ASR 从 100.0% 降到 73.3%,等量随机删除后为 88.3%。SynthPAI 上相应结果为 66.4% 与 80.9%。
- 作者结论:作者认为源链接 PKG 是双用途表示,既能支持属性推断,也能把潜在泄露变成可检查、可针对性干预的对象;隐私保护需要识别哪些记录使推断成立,而不只是过滤直接标识符。