LeakageBench：文档图像中个人身份信息脱敏的文档级泄漏风险

文档图像上的PII脱敏只要漏掉一个范围内标识符，该页就不安全；实体级F1不能代替这一页级风险。

• 场景： 作者称机构经常对扫描和渲染后的商业文档做PII脱敏。OCR错误、复杂版式、重复标识符和视觉噪声使它不同于干净文本上的标注。
• 现有不足： 多数PII基准衡量文本span的precision、recall和F1；文档理解基准通常只针对选定关键字段。作者称二者都不直接衡量发布安全。
• 观察： 作者把误检与漏检看成不对称权衡：误检遮掉有用内容，一次漏检就可使页面不宜发布。页级泄漏是面向召回的补充，不是定位与分型F1的替代。
• 提出： LeakageBench是500页、11954条GDPR对齐标注的挑战集，区分直接标识符、关联键和上下文再识别面，并用统一图像空间接口比较现成OCR管线与OCR-free模型。
• 任务边界： 评测对象是单页文档图像上的可见PII。系统须定位每个范围内区域并给出类型，可选抽取文本；推理按页独立，页内匹配，不提供跨页上下文。安全判定是范围内标注是否仍有未匹配项。

作者按四类工作说明现有评测不直接回答文档图像的页级发布安全。

文本PII检测与匿名化

• span级基准： Pilán等人（2022）的TAB、Gambarelli等人（2023）的SPEDAC、Mo等人（2025）的DataSIR、Holmes等人（2024）的教育数据PII竞赛，以及Stubbs等人（2015）的i2b2临床叙事去标识，建立span级检测与匿名化。作者称这些工作不包含文档图像伪影、空间定位和页级发布安全。

文档图像理解

• 字段抽取： FUNSD（Jaume等人，2019）、SROIE（Huang等人，2021）、CORD（Park等人，2019）和DocVQA（Mathew等人，2020）评测表单理解、收据抽取、OCR和视觉问答。BuDDIE（Wang等人，2025）覆盖多项商业文档任务，并含人物与地址字段。作者称这些基准针对任务特定抽取，而不是穷尽式PII定位和残余脱敏泄漏。

OCR相关与OCR-free模型

• 版式模型： LayoutLM（Xu等人，2019）和LayoutLMv3（Huang等人，2022）把识别文本与二维版式结合；Donut（Kim等人，2022）直接从文档图像生成结构化输出。作者称对脱敏而言，前者会传播OCR和文本到框的对齐错误，后者必须同时学习视觉阅读和空间定位。

面向泄漏的隐私评测

• 残余暴露： PRvL（Garza等人，2025）评测基于LLM的PII脱敏与残余暴露；ProPILE（Kim等人，2023）用定向探测研究隐私泄漏；RedactBuster（Beltrame等人，2024）讨论已脱敏文档对下游推断仍可能脆弱。作者称这些工作推动面向暴露的评测，但没有提供带页级发布准则的定位式文档图像基准。

基线与数据

• 本文对照： 实验基线包括Presidio（Tesseract）、共享Textract上的GLiNER系列、Amazon Comprehend PII、OpenAI Privacy Filter、Google DLP，以及Qwen3-VL-32B、InternVL3-38B、GPT-5.4、GPT-5.5及其Code Interpreter配置。评测集是LeakageBench，页面抽样自OCR-IDL、VRDU Ad-buy Forms和FCC公开文件。

作者把本文放在统一图像空间接口下，同时评测两类系统，并把实体级F1与页级泄漏放在同一脱敏任务中。

整体做法是把脱敏做成图像上的高召回定位，而不是只在OCR文本上打标签。LeakageBench用统一预测格式比较现成系统，并用DocLeak判断页面是否仍不宜发布。

任务与匹配

• 输入： 扫描件、截图或PDF渲染的单页。系统标出每个含PII的可见区域、分配类型，并可选择抽取原文。gold含图像框、细粒度类型、风险组和可选逐字value。
• 预测： 轴对齐框、PII类型、可选value、可选置信度（0到1）。OCR管线的框来自词框；OCR-free模型直接从图像预测。
• 匹配： 页内一对一。IoU不低于τ才可配对，按IoU从高到低贪心选取，每条预测和gold至多用一次。定位匹配不看类型；typed匹配还要求类型一致。有value时只在已匹配对上评value。
• 标题准则： Tables 3–4的DocLeak用type-aware匹配：只有IoU合格且类型相同，gold才算被保护。诊断另用type-agnostic匹配，因为类型错误但位置正确的框仍会遮住标识符。

指标

页级泄漏定义为

DocLeak=(1/|D|)∑_{d∈ D}1[d leaks]

D是至少含一个范围内标识符的页面；只要有一个范围内gold未匹配，该页即泄漏。DocLeakall覆盖全部PII，DocLeakcrit只覆盖Direct与Linkage。该指标不惩罚多余预测，因此与F1一起报告：F1loc是type-agnostic的页宏平均定位F1；F1type还要求类型正确，并在gold类型上宏平均。未另作说明时τ=0.75。一对一匹配避免一个框为多个gold得分。

数据与schema

• 来源： 500页、291份公开商业文档，作者将其定位为挑战集，而不是全部部署场景的代表。Source A为OCR-IDL的103份文档、113页；Source B为VRDU Ad-buy Forms的107份、222页；Source C为FCC自由格式文件的81份、165页。
• 规模： 11954条PII，平均每页23.90条；Direct+Linkage共4315条，平均每页8.63条（Table 2）。Other为239条，如签名和机构代码。
• 分组： Direct含姓名、地址、邮箱、电话；Linkage含各类编号等查找键；Contextual含日期、地点、机构名、Business ID（Table 1）。作者称Contextual单独不一定是个人数据，而是与直接标识符或关联键结合时放大再识别的表面。
• 诊断视图： Figure 1是每页PII数量的直方图加CDF。Figure 2把每页分成不重叠的14×14像素块、步长14，得到60×60共3600块，分别汇总全部PII和关键PII。页类型合计为发票229、表单39、邮件90、信函/通信62、文件页47、其他33（Table 7）。

标注与质控

• 流程： 前两位作者将500页随机等分后独立标注。框紧贴可见文本，value逐字转录、不做规范化；多行使用论文规定的换行记号。
• 一致性： 每人抽出所分页面的10%做交叉标注，共50页；分歧经联合裁定形成单一gold。对齐要求IoU≥0.75且细粒度类型相同，否则计为不一致。该子集上Cohen's κ=0.979。

评测协议

• 现成系统： 不在LeakageBench上训练或调参。全schema评分中，不支持的类型、无效输出和越界框计为漏检；无法解析的页面按空预测计。附录B记录OCR引擎、检测器设置、schema映射和转换规则。
• OCR相关： Presidio使用Tesseract。其余更强检测器除Google DLP外共享Amazon Textract词框，包括受限GLiNER的Presidio-best、GLiNER-base、GLiNER multi-PII、NVIDIA GLiNER PII、GLiNER2、Amazon Comprehend PII和OpenAI Privacy Filter。检测在OCR文本上做，再映回匹配词框的最小外接矩形；对不齐的检测丢弃。
• OCR-free： Qwen3-VL-32B、InternVL3-38B、GPT-5.4单次视觉，以及GPT-5.5的单次视觉和Code Interpreter配置。提示词给出完整schema，覆盖率按配置为1.0，不代表检测可靠。框先用0–999归一化坐标，再转到像素。GPT-5.5使用high image detail和medium reasoning effort；工具配置须检查页面，并可在最终预测前裁剪或放大。附录C给出完整提示词。
• 未纳入训练式模型： 作者把LayoutLM式文档NER留到后续trained-baseline track，因为它们通常需要监督微调、任务头、OCR token对齐和训练划分。

实验设置

• 系统： Table 3的14个现成配置，均未在该集上训练。OCR相关为Presidio（Tesseract），以及共享Textract的Presidio-best、GLiNER-base、GLiNER-multi-PII、NVIDIA GLiNER PII、GLiNER2、Amazon Comprehend PII、OpenAI Privacy Filter；Google DLP用厂商OCR。OCR-free为Qwen3-VL-32B、InternVL3-38B、GPT-5.4、GPT-5.5、GPT-5.5+Code Interpreter。
• 数据： LeakageBench，500页、11954条标注，关键标识符4315条。来源构成见Table 2。
• 指标： F1loc、F1type、DocLeakall、DocLeakcrit；Valid是可解析且符合schema的页面比例。主结果τ=0.75，DocLeak为type-aware。不支持类型和无效输出计为漏检。
• 判定： 与gold框做IoU一对一匹配，论文未使用单独的LLM裁判，也未报告重复次数或查询预算。
• 标注质控： 交叉标注50页，κ=0.979。

主结果

下表摘自Table 3（全schema，τ=0.75）。省略Presidio-best、GLiNER-base、GLiNER-multi-PII、GLiNER2、OpenAI Privacy Filter和Qwen3-VL-32B。其中GLiNER-multi-PII的F1type为0.091、DocLeakcrit为0.972；Qwen3-VL-32B的Valid为0.666。

表格较宽，可左右滑动

系统	F1loc	F1type	DocLeakall	DocLeakcrit	Valid
Amazon Comprehend PII	0.304	0.085	0.992	0.968	1.000
NVIDIA GLiNER PII	0.288	0.109	0.992	0.986	1.000
GPT-5.5 + Code Interpreter	0.249	0.119	0.990	0.968	1.000
Presidio	0.137	0.048	0.994	0.990	0.996
GPT-5.5	0.090	0.050	1.000	0.990	1.000
Google DLP	0.076	0.013	1.000	1.000	1.000
GPT-5.4	0.044	0.031	1.000	1.000	1.000
InternVL3-38B	0.012	0.019	1.000	1.000	0.540

• 作者称更强检测和工具辅助改善了定位，但没有使多数页面达到可发布。作者给出的type-aware DocLeakcrit范围为0.968–1.000。
• 改为任意IoU合格框都算保护后，该范围变为0.945–1.000。作者认为高泄漏主要不是类型标错造成的。
• 作者称泄漏不是边际性的失误：各系统泄漏页平均仍保留5.3–8.7个关键标识符；未匹配数最低的系统在泄漏页上平均漏5.3个（中位数4，P90为11），作者称约相当于适用页面关键标识符的66%。Table 13的mean missed为5.308–8.652，mean proportion为0.656–0.990。

支持类型后的泄漏

• 测了什么： Table 4只保留各系统能输出的gold类型。受限覆盖为0.208（Presidio、Presidio-best、Amazon Comprehend PII）或0.250（Google DLP、OpenAI Privacy Filter）；GLiNER2为0.958。作者不对受限块的泄漏排序，因为支持的类型集合不同。
• 结果： 全schema且共享Textract的三个GLiNER系统，Direct页泄漏为0.942–0.954，Linkage页为0.967–0.973。GPT-5.5+Code Interpreter的Direct/Linkage/Contextual为0.887/0.964/0.908。
• 作者解读： 作者称失败不只是taxonomy不匹配；OCR错误、重复标识符、span碎片化和框重建也造成残余暴露。作者称即使标签集可用，稀疏查找键、密集表格、OCR碎片化和版式变化仍然困难。

失败归因

• OCR相关： type-agnostic匹配下，泄漏的关键标识符被归到OCR漏识、零重叠的检测器漏检，或有重叠但IoU低于0.75的框/对齐失败。一对一冲突至多0.2%。九个系统中七个以框/对齐为主，占其可归因泄漏的45.9%–84.5%；检测器漏检占15.5%–48.8%（Table 14）。GLiNER-multi-PII的检测器漏检为48.8%、框/对齐为34.9%；OpenAI Privacy Filter为44.4%与36.6%。Google DLP的OCR漏识份额未报告，因厂商OCR文本不可用。
• OCR恢复： 4280条有原文的关键标注中，Textract不能恢复623条（14.6%），Tesseract不能恢复765条（17.9%）。4315条中有35条没有逐字gold（Table 15）。作者称共享Textract的管线差异主要来自OCR之后。
• OCR-free： Table 5中，界面失败占Qwen3-VL-32B泄漏关键实例的27.8%、InternVL3-38B的36.9%，GPT配置为0。剩余泄漏中，亚阈值框占Qwen的51.7%、GPT-5.4的83.5%、GPT-5.5的96.1%、工具辅助配置的98.9%。作者称这些百分比是剩余错误的构成，不是总体定位失败率。工具辅助把Direct泄漏从0.956降到0.887、Contextual从0.986降到0.908，Linkage仍为0.964。作者用Figure 3示意转录、检测、定位失败和一次工具辅助修正；图例为绿色gold框、橙色虚线亚阈值框、蓝色工具辅助框、品红点线OCR区域。

IoU扫描

• 测了什么： 附录G在τ为0.50、0.75、0.95下重复全schema评分（Table 10）。
• 结果： 据Table 10，DocLeakcrit最低为0.775，对应GPT-5.5+Code Interpreter、τ=0.50，此时F1loc为0.614。同阈值下Amazon Comprehend PII的DocLeakcrit为0.901。τ=0.95时，除Amazon Comprehend PII为0.998外，表中其余系统的DocLeakcrit均为1.000。
• 作者解读： 作者称实体级F1随τ变化很大，但文档级泄漏在各阈值下仍然很高。

其他消融与分析

• OpenAI Privacy Filter的Valid为0.806（Table 3）；Linkage类型覆盖为0.077（Table 8），支持类型上的Linkage泄漏为0.994（Table 4）。
• Table 9全schema：Google DLP的Direct与Linkage均为1.000；Amazon Comprehend PII的Linkage为1.000、Direct为0.908。
• Table 13：泄漏页mean missed为5.308–8.652；适用页mean proportion为0.656–0.990。
• Table 4：GLiNER2的类型覆盖为0.958，含不支持类型的页面比例为0.094。
• Table 8：Presidio的Direct覆盖为1.000、Linkage覆盖为0.000、Contextual覆盖为0.333。
• 交叉标注50页，κ=0.979（Sec 4.6）。

作者指出的局限与后续方向

• 场景范围： 作者称这是来自公开商业文档的500页挑战集，不是全部脱敏场景的代表性样本；不覆盖重度手写、医疗、法律发现、多语言或非美国文档（Limitations）。
• 页内评测： 评测按页进行，不衡量多页上下文推断；Sec 3.1称评估多页上下文推断仍是后续工作。Sec 5把需要微调的layout-aware模型留到trained-baseline track。
• 政策依赖： Direct与Linkage是主要发布安全目标；是否遮盖Contextual取决于适用政策（Limitations）。
• 匹配准则： 标题DocLeak用type-aware匹配和IoU τ=0.75，类型错误但定位正确的框计为泄漏。作者同时写出type-agnostic下DocLeakcrit仍在0.945到1.000（Limitations）。
• 几何与效用： 轴对齐框和IoU不直接衡量倾斜、手写或不规则区域的像素覆盖。F1会惩罚多余预测，但作者称未定义文档级过度脱敏或效用指标（Limitations）。
• 归因与配置： 35条关键标注缺少可用原文，无span级对齐日志，Google DLP的厂商OCR未保存，框错误与对齐错误不能完全分开。OCR-free结果对应特定模型和推理配置，其API行为可能变化（Limitations）。

实验覆盖范围

• 评测为Table 3的14个现成配置，均未在LeakageBench上训练或调参（Sec 5–6）。
• 数据为500页、291份文档、三个来源；标注11954条，其中Direct 3779、Linkage 536、Contextual 7400、Other 239（Table 2）。
• 主指标在IoU τ=0.75；附录G另报告τ为0.50、0.75、0.95（Table 10）。
• 交叉标注为50页，协议为IoU≥0.75且细粒度类型一致，κ=0.979（Sec 4.6）。
• 论文未报告value正确率汇总、各系统查询次数或重复实验次数。Sec 3.3规定有value时只在已匹配对上评value。

LeakageBench用页级泄漏衡量文档图像PII脱敏能否发布，而不是只比较实体F1。

• 问题： 扫描件、截图和PDF渲染上的脱敏受OCR、版式和视觉噪声影响。作者称漏掉一个范围内标识符，页面就不安全；误检与漏检是不对称的。
• 数据与协议： 500页、11954条标注，分Direct、Linkage、Contextual。预测必须是图像框。页内按IoU 0.75一对一匹配；DocLeak看是否仍有未匹配gold，F1loc和F1type同时约束多余预测和类型。系统都不在该集上训练。
• 主结果： Table 3中F1loc最高为Amazon Comprehend PII的0.304，F1type最高为GPT-5.5+Code Interpreter的0.119，二者DocLeakcrit均为0.968。工具辅助使GPT-5.5的F1loc从0.090升至0.249，Linkage泄漏仍为0.964。type-agnostic下DocLeakcrit仍为0.945–1.000。
• 失败来源： 作者把失败归到schema覆盖、OCR可恢复性、检测、接口有效性和空间定位。Textract对4280条有值关键标注的不可恢复率为14.6%。全覆盖GLiNER的Linkage页泄漏仍为0.967–0.973（Table 4）。Table 10中最低DocLeakcrit为0.775，出现在τ=0.50的工具辅助GPT-5.5。
• 作者结论： 作者认为该集更适合作为脱敏安全挑战集，而不是分差很小的排行榜。作者称这些结果指向同时具备宽schema覆盖、稳健视觉阅读和紧致高召回定位的系统。作者计划在Data Use Agreement下向研究用途提供图像与标注，并称schema不定义法律合规。