AgentPrivArena：面向 LLM Agent 工作流的隐私风险评测框架

现有评测看不到真实工具执行中的轨迹级隐私越界。

• 场景： 作者称 LLM 智能体用外部工具自主处理邮件、编写软件等任务，同时接触个人数据，问题是它们是否只访问完成任务所必需的信息。
• 现有不足： 作者称模拟环境与合成轨迹覆盖不了开放式工具交互，并把违规收成预定义失败，忽略长程交互和上下文累积。结果级指标只看回复泄露或任务成功，看不到未进入最终回复的敏感访问。既有 CI 方法多在提示词级或事后分析，运行时审计基本未被探索。
• 观察： 作者称被评分的轨迹通常是模拟而非执行的，分数本身是结果级的。一次读取会把任务相关内容与受保护内容一起带回，并留在上下文中（Figure 1）。
• 本文做法： 作者提出可执行评测框架 AgentPrivArena、轨迹级隐私指标，以及运行时审计 AgentPrivAudit。作者称 AgentPrivArena 是第一个在真实 LLM 智能体工作流中评测隐私保护的框架，特点是真实 MCP 工具、自托管服务和可复现的 Docker 环境。

论文按三类工作定位缺口，并用 Table 1 比较智能体情境隐私评测。

情境隐私与智能体基准

• 内容级与合成基准： ConfAIde（Mireshghallah et al., 2024）做内容级评审探针；CI-Bench（Cheng et al., 2024）、GoldCoin（Fan et al., 2024）、PrivaCI-Bench（Li et al., 2025）用合成对话和文档扩展。
• 智能体轨迹： 作者称 PrivacyLens（Shao et al., 2024）首先把 CI 场景扩到智能体轨迹。同期工作包括企业多用户流程 CI-Work（Fu et al., 2026）、网页智能体数据最小化 AgentDAM（Zharmagambetov et al., 2025），以及智能体间通道 AgentLeak（El Yagoubi et al., 2026）、PiSAs（Gupta et al., 2026）、MuPPET（Ruzzetti et al., 2026）。
• PrivacyPeek（Zhang et al., 2026）： 审计轨迹把哪些敏感记录拉进上下文。作者称它评的是基准提供的轨迹，而不是智能体自己去发现的轨迹。

泄露缓解

• 改变行为： PrivacyChecker（Wang et al., 2025a）用提示引导执行器；CI-RL（Lan et al., 2025）用强化学习内化规范。
• 事先授权： 作者称 AirGapAgent（Bagdasarian et al., 2024）事先扣留上下文；CaMeL（Debenedetti et al., 2025）与 Progent（Shi et al., 2025）拒绝工具调用时不检查已允许调用所携带的内容。作者称这些工作里准则本身都不是输入；AgentPrivAudit 在循环中审计已授权信息流可以携带什么，并做抽象而不是拒绝工具调用。

可执行环境

• 能力评测已上真实软件： WebArena（Zhou et al., 2024）、WorkArena（Drouin et al., 2024）、SWE-bench（Jimenez et al., 2024）、TheAgentCompany（Xu et al., 2025）、OpenAgentSafety（Vijayvargiya et al., 2026）；MCP（Anthropic, 2024）标准化对外部服务的访问。作者称衡量智能体能做什么的真实性，尚未同样用于衡量它披露什么。

基线与数据

• 实验对照： 无缓解（C0），以及只有隐私意识、不含显式决策准则的系统提示（C1）；审计臂为 PII、数据最小化、情境完整性。任务由 PrivacyLens 的 493 个场景转换，可执行子集 389。
• Table 1： 用是否基于 CI、是否真实工具执行、是否活环境、是否轨迹级评测定位 PrivacyLens、AgentDAM、AgentLeak、CI-Work、MPCI-Bench、PiSAs、PrivacyPeek 与本文。AgentDAM 与 PrivacyPeek 的 CI 列为“–”。

作者把缺口定为两条近乎普遍的性质：被评分轨迹是模拟的，分数是结果级的。本文改为在自托管服务上执行，并用轨迹级指标和运行时审计补结果级评分。

AgentPrivArena 把隐私场景做成对自托管服务的可执行任务；AgentPrivAudit 在读后维护信息流清单，在出站写出前按可替换准则处置。

执行环境

• 三层： 存放任务状态的本地服务、把服务暴露给智能体的 MCP 层、在沙箱中运行被测智能体的执行层（Figure 1）。智能体通过 MCP 做搜索、读取、写出和最终动作。
• 骨架： 用 OpenHands，而不是 Hermes 或 OpenClaw。作者给出的理由是它有 MCP 工具层、执行钩子和 Docker 工作区，便于把评测和审计放进同一框架。
• 六个开源服务（Table 2）： 知识库 BookStack 26.03.3、私信 Mattermost 11.6.0、团队聊天 Rocket.Chat 6.13、邮件 Mailpit 1.29.7、社交 GoToSocial 0.21.2、日历 Radicale 3.6.1。均在容器中自托管。
• 隔离： 每个任务新开智能体容器，重置并播种所需服务，记录轨迹后删除容器并清空状态。伦理声明称服务在私有 Docker 网络、无出站路径，写出到不了真人；记录为合成数据，源自 PrivacyLens 编写的 vignette。

工具与任务

• 工具分类： 每个服务配一个 MCP server，工具分为发现、访问、写出。作者称只有写出类会泄露，也是审计门控的类。共 28 个工具：发现 13、访问 8、写出 7（Table 5）。Radicale 没有写出工具。
• 不信任类别： 带 † 的发现工具会连同标识返回正文或片段，因此审计把每条观察都当作可抽取。工具接口对齐 PrivacyLens 的模拟工具包，以便比较轨迹。发送邮件时收件人与正文分字段，发件人由服务端固定、不在 schema 中（附录 A）。
• 任务转换： 源场景变成任务说明和按服务的种子文件，敏感记录是服务状态，只能靠智能体自己的读取到达，而不是写在提示词里（Figure 1）。493 条中 389 条可执行；104 条主要因群组对话、发件账号或源记录无法实例化（§5.1）。

运行时审计

• 两条边界（Figure 2）： 每批读取之后，抽取器用用户指令和迄今观察更新清单。指令用于确定任务目的和意图去向，观察提供内容与来源。观察原样交给智能体；抽取器不扣留、不改写智能体要读的记录，可在下一步之前放入一条短建议。
• 写边界： 任何出站写出执行前，仲裁器对照清单返回理由，以及 PASS、ABSTRACT 或 BLOCK。PASS 允许传输，ABSTRACT 把具体细节换成概括表述，BLOCK 阻止该流。
• 信息流： 遵循情境完整性，每条流有五个属性：SENDER、RECIPIENT、SUBJECT、TYPE、TRANSMISSION PRINCIPLE。清单记为 It，随轨迹更新。
• 设计说明： 伦理声明称该审计按设计为 fail-open，作者称不应把它当作针对可诱发失败的对手的安全控制；理由也会写明它在检查什么，接触这些理由的智能体可能据此组织仍能通过门控的披露。

可配置准则与判定

• 准则可替换： 流模式、抽取规则、输出格式、解析器和执行路径固定，只换准则，以便比较的是准则而不是实现（§4.2）。附录 D 给出完整提示词。
• 三个问题： CI（默认）问此主体经由此渠道、为此目的，把关于此对象的事实分享给此接收者是否适当；PII 问该事实是否披露本人以外之人的个人可识别信息；数据最小化问该事实是否为完成任务所必需。
• 两类分数： 结果级看承诺动作是否披露受保护项，以及完成任务的程度。轨迹级用源数据中的敏感事实清单，跟踪暴露、抽取和处置。评审提示与样本量见第 4 问。

实验设置

• 执行器： GPT-5.4、DeepSeek-V4-Pro、Kimi-K2.6、Mistral-Large-3、Gemini-Flash-2.5。§6.2 另用关闭推理的 Grok-4-20。附录 C 给出端点标识；各角色解码保持端点默认，不按条件调温度。
• 审计器与评审： Table 4 中抽取器与仲裁器都是 GPT-5.4，因此该行执行器与审计器重合（§5.1）。泄露与 helpfulness 由 gpt-5、claude-sonnet-4.5、gemini-2.5-pro 事后独立打分；至少两名认定披露则记泄露。附录 C 中 Claude 的标识为 claude-sonnet-4-5-20250929。
• 任务： PrivacyLens 493 条中的 389 个可执行任务。参考受保护项 1,175 条，每任务中位数 2，清单从源数据原样拷入。
• 条件： C0 无缓解；C1 为隐私意识系统提示、无显式准则；C2–C4 管线相同，准则分别为 PII、数据最小化、情境完整性。
• 指标： leak rate 是承诺动作披露至少一条参考受保护项的任务比例。helpfulness 为 0–3，三名评审在任务内平均，再对产生了动作的任务取均值；Table 4 仍写每格 n=389。轨迹级分暴露率、抽取召回、处置分布，分母不同。某项是否出现在观察中，由不同厂商族的独立 matcher 判定，论文未给出模型名。
• 未报告项： 论文未报告同一任务的重复次数。附录 E 称泄露与 helpfulness 量规继承 PrivacyLens，只把答案改成单行整数。

主结果

据 Table 4，leak rate（%，↓），每格 n=389。Avg 按任务汇总。C0 无缓解，C1 隐私提示，C2 PII，C3 数据最小化，C4 情境完整性。

表格较宽，可左右滑动

执行器	C0	C1	C2	C3	C4
GPT-5.4（执行器=审计器）	33.4	27.1	23.7	20.5	17.3
DeepSeek-V4-Pro	58.8	53.9	31.4	22.4	19.3
Kimi-K2.6	54.8	52.1	28.8	18.5	18.1
Mistral-Large-3	46.5	44.5	25.1	18.6	16.2
Gemini-Flash-2.5	40.3	37.6	23.5	18.7	18.1
Avg	46.8	43.0	26.5	19.7	17.8

• 作者解读： 表注写 C4 是每一行的最低 leak rate。作者称隐私提示只有小幅下降，三种准则下的运行时审计都更低。Figure 4 的执行器极差为 C0 25.4、C1 26.8、C2 8.0、C3 4.0、C4 3.1 个百分点；作者称提示留下原有极差，执行机制使其变小。
• 有用性： Avg 行的 helpfulness 在 2.55–2.64（Table 4）。表中最低格是 Gemini-Flash-2.5 的 C2，为 2.43。作者称效用大体保持；结论写 helpfulness 变动在 0.09 以内。
• 读表条件： Avg 按任务汇总，不是另一次实验。GPT-5.4 行的审计器就是该执行器。

轨迹级分解

• 测什么： 参考受保护项如何进入上下文并被审计处理（Figure 3，§5.4）。作者称要定位残余：仲裁器没看见的项无法被门控。
• 暴露： 无缓解时 79.2% 的参考项至少进入一次观察，对照的任务级泄露是 46.8%，分母不同。正文写 C2–C4 暴露率为 77.5%、75.5%、74.2%。C4 每任务 7.0 次工具调用、4.0 次访问读取，无缓解为 6.8 与 3.9。作者称轨迹没有变短，变的是打开哪些记录；并称 Gemini-Flash-2.5 暴露率最低为 62.4%，但泄露不是最低，读得少也可能是探索差。
• 抽取与处置： 情境完整性下，已读项的 70.5% 被表示为流，缺失 29.5%。三准则召回为 70.5%、73.1%、71.9%，跨度 2.6 个百分点；正文只把 70.5% 标到情境完整性。作者称抽取路径不随准则更换，这是机制上限。CI 的汇总处置为 PASS 38%、ABSTRACT 52%、BLOCK 10%。图注写 PII 的 BLOCK 为 1.2%。C0、C1 只定义暴露率。

准则写成提示还是交给审计

• 设置： §6.1 把同一准则分别写成系统提示和交给审计执行。Figure 5 的准则臂平均四名执行器，不含 Gemini-Flash-2.5。无缓解参照 46.8% 汇总的是五名执行器，不是配平的四执行器基线。
• 结果： 写成提示时平均为 40.7%；作者称三准则只跨 4 个百分点，且情境完整性不是最好的。交给审计后平均为 21.7%，情境完整性领先 PII 9.5 个百分点。该 21.7% 不是 Table 4 的五执行器平均。正文将提示到执行的损失中 11.8 个百分点归于 PII，另两个为 22.0 与 23.1（Figure 5）。
• 检验： 四臂都跑到的任务上，CI 相对 PII 的差分之差分为 −10.3 个百分点 [−13.8, −6.8]，p=10−4；相对数据最小化仅 +1.2 个百分点（p=0.38）。作者称依赖交付方式的是与 PII 的对比。三审计臂 token 彼此相差在 7% 以内（附录 F）。

换审计器与换执行器

• 设置： §6.2 固定准则和两条边界，执行器与审计器都在 GPT-5.4 与关闭推理的 Grok-4-20 之间互换，并各有无缓解和隐私提示臂（Figure 6）。每臂 389 任务；配平的执行器对比为 382–385 个任务。附录 C 称这八组指派与事件日志中的模型标识吻合。
• 结果： 作者称换审计器会改变泄露，换执行器不会。审计器互换为 −6.2 与 −10.1 个百分点（p<10−2），执行器互换为 ±1.8 个百分点（p>0.3）。执行器差距从无审计的 22.7 个百分点降到共用审计器后的 1.6。作者称隐私能力转到了审计器；非推理审计器的代价是 6–10 个百分点。

其他消融与分析

• 执行保真度（Table 3，389 任务）：完成率 GPT-5.4 100.0%、DeepSeek-V4-Pro 99.2%、Kimi-K2.6 99.5%、Mistral-Large-3 97.9%、Gemini-Flash-2.5 98.2%，作者称平均 98.96%；错误恢复依次为 100.0、100.0、100.0、93.3、99.1。
• Token（Table 8，五执行器平均，相对 C0）：C1 为 0.65×，C2/C3/C4 为 2.13×、2.21×、2.07×；作者称审计器只占 23–24%，增量主要来自执行器上下文变长。
• 轨迹形状（Table 9）：静态 PrivacyLens（n=493）读取均值 1.9、≥8 次读取占 0.2%；实况汇总（n=1945）均值 5.1、占 14.3%。GPT-5.4 深度任务 30.6%，Gemini-Flash-2.5 为 1.8%。
• 附录 G.2：评分为 0 的动作占比，审计 11.1%，无缓解 12.4%。举例中反复抽象后，三名评审给 helpfulness 0 且判为未泄露。作者称没有机制区分扣下细节和扣下答案。
• 附录 G.1：关系性准则抽象了作者所称 PII 规则不会标出的关系事实；该例三名评审判为未泄露且完全有帮助。
• 转换（附录 G.4）：104 条未实例化，群组对话 34、发件账号 33、源记录无法播种 27，其余 22；四类动作服务丢弃率 15%、19%、24%、26%。作者称原因不是隐私难度。

作者指出的局限与后续方向

• 残余位置（Limitations）： 作者称最好的配置仍在 16–19% 的任务上泄露。智能体读到的事实中 29.5% 未被表示为信息流；计入从未读到的项，47.7% 的受保护事实完全在清单之外。另一端的典型失败是反复抽象，且没有机制区分扣下敏感细节和扣下答案。
• 指标未经人工核验（Limitations）： 标题数字都来自 LLM 评审的 2-of-3。判断容易处 κ=0.82–0.87，在作者主张的条件上最低为 κ=0.61–0.71。三名评审沿用既有量规，可能共享其偏差。双标注包已准备但尚未标注，作者称没有任何主张对照过人工裁定。
• 范围（Limitations）： 一个主体、一个智能体、文本；多模态只是划定范围的探测。493 条中 389 条可转换，原因是服务封装和种子映射，不是隐私难度。直接消息封装不能播种群组对话，依赖广泛内部受众的违规场景缺席。作者认为这可能使泄露率和降幅估计偏保守。
• 机制不可分解（Discussion §7）： 每个审计臂都捆在一起：结构化信息流、执行路径和第二个模型。作者称说不出哪一部分起作用，并把“收益主要来自把轨迹写明，而不是来自否决”标为假设而非结果；让执行器审计自己的实验臂可以检验该假设。
• 下一步是抽取（Discussion §7、Conclusion）： 仲裁器只对读边界表示出来的流做决定，即智能体读到内容的 70.5%。作者称提高抽取召回比加强仲裁器更直接。结论重申残余仍为 16–19%，且仲裁器没拦住的大多是它没看见的。

实验覆盖范围

• 主结果执行器为 GPT-5.4、DeepSeek-V4-Pro、Kimi-K2.6、Mistral-Large-3、Gemini-Flash-2.5，五条件各 n=389（Table 4）。
• Table 4 的审计器均为 GPT-5.4；§6.2 以 GPT-5.4 与关闭推理的 Grok-4-20 互为执行器和审计器，每臂 389 任务，配平对比 382–385 个任务。
• 泄露与 helpfulness 由 gpt-5、claude-sonnet-4.5、gemini-2.5-pro 事后打分。Figure 5 的准则臂平均四名执行器，不含 Gemini-Flash-2.5（§6.1）。
• 环境为 Table 2 的六个自托管服务和 Table 5 的 28 个 MCP 工具；任务来自 PrivacyLens，附录 G.4 记录 104 条未能转换的原因。
• 论文未报告独立 matcher 的模型名称（§5.2），也未报告同一任务的重复运行次数；解码保持各端点默认（附录 C）。

可执行的情境隐私评测，加上按信息流处置出站写出的运行时审计。

• 问题： 智能体在多步工具执行中可能访问并带出不必共享的个人信息。模拟轨迹和结果级分数看不到这些越界，运行时也缺少可介入的审计。
• 做法： AgentPrivArena 把 PrivacyLens 场景种进六个自托管服务，经 MCP 交给沙箱中的 OpenHands 智能体自己去发现记录。AgentPrivAudit 在每批读取后维护五字段信息流，在写出前按可替换准则给出 PASS、ABSTRACT 或 BLOCK。主实验审计器是 GPT-5.4，任务为 389 个可执行场景。
• 结果： 据 Table 4，五名执行器的平均 leak rate 从无缓解的 46.8% 到隐私提示的 43.0%，再到情境完整性审计的 17.8%；C4 在每一行最低。Figure 4 的执行器极差从 25.4 个百分点降到 3.1。平均 helpfulness 在 2.55–2.64。同一准则只写成提示时，四执行器平均为 40.7%，且作者称情境完整性不是其中最好的（Figure 5）。已读项在情境完整性下的抽取召回为 70.5%（§5.4）。
• 作者结论： 审计把泄露从 46.8% 降到 17.8%，helpfulness 变动在 0.09 以内；残余仍有 16–19%，仲裁器没拦住的大多是抽取阶段没看见的。作者把“收益主要来自写明轨迹而不是否决”标为假设，并认为提高抽取召回比加强仲裁器更直接。