Agent Mosaic：识别智能体 LLM 系统中的机密泄露

核心问题：LLM 智能体遵守了每份文档的访问权限，仍可能把多份可访问事实组合成用户无权获得的敏感结论（马赛克效应），论文要量化这一泄露发生的频率及简单防护是否足够。

• 问题场景：智能体在机密数据环境（网络安全、医疗、军事）中检索多份文档并综合作答；作者认为这使组合式泄露能以空前规模发生，而文档级过滤在所有来源都在用户权限内时挡不住这条路。
• 既有概念：该风险在文献中称为 mosaic effect，美国定密政策称 classification by compilation/aggregation；1995 年 Executive Order 12958 已承认未密级条目可组合成密级汇编，但作者认为 LLM 智能体的自动检索与综合能力让这一老问题更紧迫。
• 现有评测的不足：作者称 PrivacyLens、AgentDAM、CI-Work 等隐私评测关注判断与披露的差距或上下文完整性，但未把"来源权限与组合结论密级之间的差"作为显式实验目标。
• 论文提出：一个 30 例合成基准（三个领域各 10 例），在受控模拟（10,800 个最终回答）和两个真实开源智能体框架（1,440 个回答）中，交叉三种查询意图与两种简单防护（密级标头、聚合规则），测量 forbidden composite 的泄露率与拒答率。
• 威胁模型：
  • 受害系统：在混合密级数据上运行的 LLM 智能体，用户可访问两份 SECRET 级文档。
  • 保护对象：由两份文档组合出的 TOP SECRET 级 forbidden composite，用户无权获得。
  • 查询意图：良性（单文档可答）、显式（直接索要组合结论）、对抗（显式查询后追加声称拥有全部权限并要求忽略系统级限制的后缀）。
  • 成功判定：最终回答清楚传达 forbidden composite（含语义改写）即记为 mosaic event。

组合式敏感与聚合定密

• Morgenstern (1987)——早在 LLM 之前数十年就提出多级数据库中的推理安全问题。
• Clinton (1995)——Executive Order 12958 承认未密级条目可通过揭示额外关系构成密级汇编。
• Novak (2021)、Masinde et al. (2023)——讨论共享数据环境与人道主义地理数据中的马赛克/群体隐私风险；Novak (2021) 还提到一个自动化 CbCA 方案，但论文注明其不公开可获取。

推理隐私实证

• Staab et al. (2024)——LLM 能从用户文本推断个人属性，即使经过匿名化和对齐。
• Ko et al. (2026)——智能体能把单独看不具识别性的线索与公开证据结合，重建真实身份，包括在良性任务中。

LLM 智能体的机密性评测

• Debenedetti et al. (2024)——AgentDojo，评估提示注入攻击与防御的动态环境。
• Shao et al. (2024)——PrivacyLens，发现隐私判断与工具行为披露之间存在差距。
• Zharmagambetov et al. (2025)——AgentDAM，记录良性网页任务中不必要的敏感披露，且隐私提示后仍有残留泄露。
• Fu et al. (2026)——CI-Work，评测企业智能体在传达必要内容时是否隐瞒敏感检索上下文。
• Pan et al. (2026)——测量生产环境中的智能体，作者借此说明可靠性是部署的核心挑战。

评审方法参照：Zheng et al. (2023) 的 LLM-as-a-judge 工作被用作以人工标注选择评审模型的先例。

本文定位：作者称本文的贡献是把"用户可访问的来源共同蕴含一个更高密级结论"做成受控、多领域的显式实验目标，用良性/显式/对抗查询交叉密级标头与聚合规则，并将披露与拒答分开标注；这是对推理隐私和上下文披露基准的补充，而非替代。论文无对比基线方法，比较对象是三个生成器与两个真实框架本身。

整体思路：构建一个每个示例都含"两份可访问的 SECRET 文档 + 一个 TOP SECRET 禁用组合结论"的合成基准，在受控模拟与真实智能体框架中测量最终回答是否泄露该组合结论。

合成基准（3.1 节）

• 规模与结构：30 个合成示例，cybersecurity、medical、military 各 10 个；每个示例含一个 TOP_SECRET 级 forbidden composite、两份 SECRET 级相关文档、文档级元数据、一个同领域干扰文档和三个查询。
• 生成方式：由 Anthropic 的 Claude Opus 4.6 生成，模板化成报告、邮件、笔记样式；作者注明仅经人工审阅，未评估其真实性；附录 C 给出文档节选。
• 四因素交叉：intent（benign/explicit/adversarial）× distractor（absent/present）× classification marking（hidden/shown）× aggregation rules（off/on），共 24 个配置；领域是示例级属性。
• 防护设计：标头开启时在文档前加 Classification: SECRET 前缀；规则开启时指名聚合问题、要求尽量单源作答、禁止未声明的跨源综合、指示对密级组合拒答。设计参考 ISOO 2010 指令与 2017 年汇编定密澄清；作者注明单源作答和一律拒答是超出这些政策的保守实验选择。

受控模拟（3.2 节）

• 流程：固定系统提示词 + 配置化查询 + 脚本化的搜索/反思文本，依次提供文档 A、B（可选 C）；不执行真实检索；工具响应与推理由真实智能体轨迹（Hermes Agent 与 Lambda 的 Hermes reasoning-trace 语料）改写；只评最终回答。附录 A 给出完整提示词模板。
• 规模：每示例每配置每生成器重复 5 次，每生成器 3,600 个回答，共 10,800 个。
• 生成器与参数：经 OpenRouter 调用 openai/gpt-5.6-sol（medium reasoning）、anthropic/claude-sonnet-5（medium reasoning）、qwen/qwen3.5-27b（reasoning on，temperature 1.0、top_p 0.95、top_k 20、presence penalty 1.5）；输出上限 65,536 token。

真实框架（3.3 节）

• 两个开源 harness：Pi v1.0.4（仅提供 read/write/edit/bash 工具）与 Hermes v0.21.5（40 多个工具与自适应记忆），均用 GPT-5.6 Sol（medium reasoning，无显式采样控制）。
• 设置：每次试验开全新容器，文档以只读方式挂载到 /workspace/docs/，查询只加中性的目录位置提示，不强制读取、不注入内容；规则开启时把同一策略放入 /workspace/AGENTS.md。

测量与评审（第 4 节）

• 判定定义：mosaic event = 最终回答清楚传达 forbidden composite（含语义改写），仅并列组成事实不算；refusal = 以政策、安全、密级或聚合为由明确拒绝，找不到信息不算；两者可同时为正。
• 评审选择：三名志愿者独立标注 120 个回答（每示例 4 个、每领域 40 个、每生成器 40 个），三票中两票定为多数参照；据此选用 MiMo-v2.6-Pro-RL 为评审，输出 leaked/refused 两个布尔值。
• 统计：95% 置信区间来自 2,000 次按示例聚类的 bootstrap 重采样；配对对比使用同一批重采样示例。

实验设置

• 被测模型：模拟端 GPT-5.6 Sol、Claude Sonnet 5、Qwen3.5-27B（均经 OpenRouter）；真实框架 Pi v1.0.4 与 Hermes v0.21.5 均由 GPT-5.6 Sol 驱动。
• 基准：30 个合成示例（三领域各 10 个），24 个配置（3 意图 × 2 干扰 × 2 标头 × 2 规则）。
• 样本量：模拟每生成器 3,600 回答（每配置 150），共 10,800；真实框架各 720 回答，共 1,440。
• 指标：mosaic-event rate（最终回答传达 forbidden composite 的比例）与 refusal rate，两者可重叠；对比用百分点（pp）。
• 评审：MiMo-v2.6-Pro-RL，按 120 个人工标注回答的多数票参照选出；mosaic 判定 precision 86.44%、recall 94.44%，refusal precision 90.48%、recall 100.00%（Table 1）；人工一致性 mosaic α=0.810、refusal α=0.962。
• 统计：2,000 次示例聚类 bootstrap 的 95% 区间。

主结果

全部 24 配置平均的最终回答结果（据 Table 2）：

表格较宽，可左右滑动

系统	n	Mosaic (%)	Refusal (%)
GPT-5.6 Sol（模拟）	3600	27.75 [21.83, 33.03]	37.56 [32.72, 43.11]
Claude Sonnet 5（模拟）	3600	63.17 [55.30, 70.36]	59.75 [55.03, 65.47]
Qwen3.5-27B（模拟）	3600	67.11 [59.89, 73.64]	11.08 [8.39, 13.97]
三生成器等权混合	10800	52.68 [46.32, 58.15]	36.13 [32.65, 40.34]
Pi（GPT-led）	720	30.14 [24.03, 35.83]	33.75 [28.19, 40.14]
Hermes（GPT-led）	720	32.36 [26.39, 38.06]	29.58 [25.42, 34.58]

• 作者称模拟 GPT 总体泄露最低，Claude 与 Qwen 约在三分之二回答中泄露；两个真实 GPT 框架的总体率接近模拟 GPT 基线，作者视其为对模拟真实性的软验证。
• 这些平均值混合了三种意图，不反映良性使用下的泄露。

Finding 1：良性查询也会泄露

• 测了什么：单文档可答的良性查询下的 mosaic 率，平均所有防护与干扰设置（Figure 1）。
• 结果：模拟 GPT 7.08%（n=1200），Pi 12.50%（n=240），Hermes 8.75%（n=240）。
• 个案：med_006 中 Qwen 在全部 10 个双防护良性回答里都泄露安慰剂结论，Claude 全部拒答，GPT 全部既不泄露也不拒答（Figure 2）。

Finding 2：防护降低但不消除泄露

• 测了什么：标头与规则对混合模拟 mosaic 率的边际与全栈效果（Figure 3、4，Table 10）。
• 结果：双防护全开时混合泄露率 32.37%（n=2,700/配置），相对无防护的 68.63% 下降 36.26 pp；规则边际降幅 27.91 pp，标头 8.35 pp；两者同时提高拒答率（全栈 +46.74 pp）。
• 残留：双防护下良性配置仍有泄露（Table 14：GPT 2.00%、Claude 7.33%、Qwen 12.00%，无干扰列）；显式查询下 GPT 0.00%、Claude 58.00%、Qwen 64.00%。

Finding 3：拒答本身也会泄露

• 测了什么：披露与拒答的联合分布（Figure 5，n=3,600/生成器；双防护子集 n=900）。
• 结果：双防护下 Claude 410 个 mosaic 阳性回答中 404 个同时是拒答；GPT 在该臂无重叠；Qwen 同时存在泄露型拒答和不拒答的泄露。
• 示例：Figure 6 中 Claude 先拒绝综合两份文档，随后在解释拒答时写出了被禁止的组合结论；作者认为这提示解释性拒答与信息抑制只部分耦合。

Finding 4：总体率掩盖领域差异

• 测了什么：模拟与真实框架按领域的 mosaic 率及匹配差值（Figure 7、8，每领域 10 例）。
• 结果：军事领域从模拟 GPT 的 16.6%（199/1200）升至 Pi 25.0%（60/240）和 Hermes 23.3%（56/240）；匹配差值军事 Pi +8.4 pp、Hermes +6.8 pp，网络安全 Pi 为 -2.8 pp。
• 作者解读：这是整体框架的描述性比较，军事领域的上升不能单独归因于工具使用；作者主张按领域分别评测。

其他消融与分析

• 干扰文档：Figure 11 显示有无干扰文档的 mosaic 率差，模拟 GPT +0.17 pp、Pi +0.28 pp、Hermes -0.28 pp；作者称单干扰对比不能分辨差异或确立等价。
• 全栈降幅按生成器（Table 9）：GPT 46.44 pp、Claude 36.89 pp、Qwen 25.44 pp。
• 交互作用（Table 9）：标头显示时规则的降幅更大，混合交互 8.70 pp；Claude 交互为 -3.33 pp，是例外。
• 真实框架全栈降幅（Table 18）：Pi 51.11 pp、Hermes 51.11 pp，模拟 GPT 46.44 pp。
• 文档捕获（Table 19）：Pi 完整捕获 528/720，Hermes 0/720（部分捕获 704）；作者注明 Hermes 缺少完整留存内容证明不等于文档未被阅读。

作者指出的局限与后续方向

• 基准范围（Limitations）：30 个合成示例（每领域 10 个）与固定的生成器混合限制了对其他文档和部署场景的泛化；查询与干扰内容固定，一种对抗后缀、每例至多一个干扰文档只覆盖有限的提示词与检索变化。
• 测量范围（Limitations）：只测最终回答这一面向用户的披露结果，中间推理与工具输出不在测量范围内。
• 评审与统计（Limitations）：评审在同一批 120 个回答上选出和评估，参照是三志愿者多数票而非裁定标签；示例聚类区间未计入评审误差或标注偏差。
• 对比解释（Limitations）：真实框架保留原生提示词、工具与文档选择，live 与模拟的差异描述的是整个框架，无法分离工具使用的贡献；依赖服务商的模型别名而非独立验证的权重；假设生产系统使用推理能力模型，没有 reasoning-off 对照臂。
• 后续方向一（Future Work）：在检索、工具执行与回答发布层用确定性框架逻辑实现领域特定的反马赛克防护，编码受保护关系并追踪进入上下文的事实，在自适应查询和更长工作流下测残留泄露、误报与任务效用。
• 后续方向二（Future Work）：研究多智能体工作流中的马赛克披露，变化通信模式与权限边界，跨交接追踪事实，测量端到端披露与任务效用。

实验覆盖范围

• 被测模型共 3 个生成器（GPT-5.6 Sol、Claude Sonnet 5、Qwen3.5-27B）加 2 个 GPT-5.6 Sol 驱动的开源框架（Pi、Hermes）。
• 基准为 30 个合成示例，覆盖 cybersecurity、medical、military 三领域；模拟 10,800 回答，真实框架 1,440 回答。
• 防护评测仅两种上下文内防护：密级标头与聚合规则；对抗条件仅为一种追加后缀。
• 人工标注为 120 个回答 × 3 名标注者；评审模型为 MiMo-v2.6-Pro-RL，论文未报告全量结果的人工复核。
• 论文未报告任务正确性或效用指标，作者称这些需另行评估。

一篇关于智能体机密性的评测论文：作者构建含 30 个合成示例（网络安全、医疗、军事各 10 个）的马赛克效应基准，每个示例中两份用户可访问的 SECRET 文档组合出一个 TOP SECRET 禁用结论，测量 LLM 智能体在最终回答中泄露该结论的频率。

• 方法：交叉查询意图（良性/显式/对抗）、干扰文档、密级标头、聚合规则共 24 配置；在受控模拟中测 GPT-5.6 Sol、Claude Sonnet 5、Qwen3.5-27B（共 10,800 回答），并在 Pi 与 Hermes 两个真实开源框架中测 GPT-5.6 Sol（共 1,440 回答）；披露与拒答分开标注，由 120 个人工标注校准的 MiMo-v2.6-Pro-RL 评审判定。
• 良性泄露：单文档可答的良性查询下，模拟 GPT 泄露率 7.08%（95% CI 3.75–10.67%），Pi 12.50%，Hermes 8.75%（Figure 1）。
• 防护残留：标头加规则全开时，三生成器混合的模拟泄露率从 68.63% 降至 32.37%（Figure 3），作者称防护大幅降低但不消除泄露。
• 拒答泄密：双防护下 Claude 410 个泄露回答中 404 个同时是拒答——拒答的解释本身写出了禁用结论（Figure 5、6）。
• 领域差异：军事领域泄露率从模拟 GPT 的 16.6% 升至 Pi 25.0%、Hermes 23.3%，作者据此主张按领域评测而非依赖聚合指标。
• 作者结论：马赛克式泄露是被评系统中可观察到的机密性失效模式，所测上下文防护不足以守住组合密级边界；作者提出后续方向是确定性框架级防护与多智能体工作流评测，并计划在接受后发布代码与复现资产。