跳到正文
原文

证据藏在哪里:度量导出智能体轨迹的隐私与可诊断性

Where the Evidence Lives: Measuring Privacy and Diagnosability of Exported AI-Agent Traces

arXiv:其他 AI 安全论文· arXiv:2611.20389· Chang Xu, Hao Wang, Gedi Zhou, Junyuan TanDuke University; Stanford University; University of California, Berkeley本站收录· 2 天前· 原文发表评测· 扫描记录里的位置 →

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者构建可执行基准,评测 AI 智能体执行轨迹导出在隐私与可诊断性上的权衡:比较事实与执行域假名保住修复,但行数仍可唯一识别客户(97/240)。

问题
共享 AI 智能体执行轨迹有助于诊断故障,但可能泄露客户身份;常规脱敏既可能删掉修复所需证据,又可能留下可还原的编码标识符。
方法
作者构建可执行基准:三个合成多租户工作流、七类注入故障、15 种导出策略,用规则程序和独立约束程序测修复,用标识符匹配、链接和行数攻击测泄露。
实验与结果
比较事实与执行域假名保住规则程序全部 210 个故障任务,regex/schema 只成功 140 个;但所有策略下行数攻击都唯一识别 97/240;独立程序用比较事实丢 3 个修复。
局限与可以继续做的
作者指出证据来自三个合成工作流、七类故障和有界编辑;假名只覆盖声明的语法;语言模型证据只用一个小模型。实验未测更强辅助数据或基于模型的重识别。
实验设置Qwen2.5-3B-Instruct · 作者构建的三工作流合成基准(file、reconciliation、aggregation) · fault-task success、recovery 等
威胁模型
攻击者获得导出轨迹与公开信息,目标是从 32 个候选目录中识别被请求客户或链接两次执行;known-volume 攻击者额外知道各候选的行数。诊断方只见导出与公开操作列表,无私有标签。
被测模型
Qwen2.5-3B-Instruct
基准
作者构建的三工作流合成基准(file、reconciliation、aggregation)
指标
fault-task successrecoveryunique identificationtarget exposureAUC
AI 导读研究者提出一个可执行基准,度量智能体轨迹导出会泄露多少客户身份、以及修复方案能否恢复正确输出。合成多租户工作流上的结果显示,常规脱敏可能删掉修复所需的证据,却留下可恢复的编码标识符。两种导出方案(以比较事实报告匹配、或在单次执行内使用一致假名)都保留了原诊断程序的修复,测试的标识符匹配器无法从中识别出被请求的客户;独立编写的程序在比较事实导出下对 42 个故障案例中的 39 个给出正确输出,在执行范围假名下全部正确。但攻击者若事先知道各客户的行数,在 15 种导出策略的每一种下都能在 240 次执行中唯一识别出被请求客户 97 次;从比较事实导出移除选定计数器可阻止该攻击并保留修复。工程师可用该基准检验诊断程序的修复能力与同一导出下的泄露风险。

研究者提出一个可执行基准,度量智能体轨迹导出会泄露多少客户身份、以及修复方案能否恢复正确输出。合成多租户工作流上的结果显示,常规脱敏可能删掉修复所需的证据,却留下可恢复的编码标识符。两种导出方案(以比较事实报告匹配、或在单次执行内使用一致假名)都保留了原诊断程序的修复,测试的标识符匹配器无法从中识别出被请求的客户;独立编写的程序在比较事实导出下对 42 个故障案例中的 39 个给出正确输出,在执行范围假名下全部正确。但攻击者若事先知道各客户的行数,在 15 种导出策略的每一种下都能在 240 次执行中唯一识别出被请求客户 97 次;从比较事实导出移除选定计数器可阻止该攻击并保留修复。工程师可用该基准检验诊断程序的修复能力与同一导出下的泄露风险。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    导出 AI 智能体轨迹用于诊断时,如何同时衡量它泄露了什么、还能修复什么。

    核心问题:共享 AI 智能体的执行轨迹用于故障诊断时,工程师需要知道接收方能修复什么、攻击者又能从同一份导出中推断出什么。

    • 问题场景:当智能体在共享数据基础设施上返回了错误客户的记录时,工程师要决定分享多少执行轨迹;诊断归属错误需要比较请求与记录,但分享两者会暴露身份(引言)。
    • 现有方法的不足:作者称,删除客户字符串可能删掉比较所需的证据,同时仍在通知或工具参数里留下可解码的编码标识符;既有工作分别研究泄露、脱敏成本或诊断遥测,没有把修复结果与泄露放在同一批执行上测。
    • 核心观察:即使诊断正确,提出的编辑也可能让输出仍然是错的,因此论文在修复后重新运行工作流并对输出打分,而不只看诊断结论。
    • 论文的贡献:一个可执行基准,在合成的多租户工作流上配对评测 15 种导出策略的剩余泄露与修复后输出,并给出参考打分的输出端点。
    • 威胁模型:
      • 攻击者目标:从 32 个候选客户目录中识别被请求客户,或判断两条轨迹是否共享客户/输入单元。
      • 攻击者知识:导出视图与公开信息;known-volume 攻击者额外知道各候选的行数;诊断程序与攻击者都拿不到私有目标标签或攻击时秘密。
      • 受害系统:三个使用合成身份与故障、含真实文件/SQLite/CSV 操作的工作流。
  2. 有哪些相关研究?

    相关工作分四组:轨迹匿名化、智能体隐私与可审计、故障与任务评测,以及脱敏机制。

    轨迹匿名化

    • 数据包隐私 [9]、Crypto-PAn 的一致性密钥 IP 映射 [10]、日志匿名化 [11] 与非常规标识符形式 [12]——关注轨迹发布带来的风险。
    • Secret Sharer [13] 测试模型记忆,trace-canary 审计 [14] 测试权重记忆的证据;作者指出本文的识别端点关注的是单次执行与目录中的被请求客户。

    智能体隐私与可审计性

    • LOPSIDED [15] 对提示词做假名化并重建响应;作者指出本文评测的是执行后的导出。
    • AgentLeak [1] 测试内部泄露与脱敏成本;RedAct [2] 保护过程性知识并评测审计字段与人工评分的可用性。
    • AgentTelemetry [4] 在 SWE-bench Lite 案例研究中统计遥测引导的补丁干预;作者指出本文把重放输出与泄露配对。

    故障与任务评测

    • AgentChaosBench [17] 测试运行时故障与脱敏遥测下的定位;TraceElephant [18] 提供 220 条人工检查过的公开基准失败轨迹,作者指出其没有本文的被请求客户标签。
    • TelemetrySuffBench [3] 测试配对视图的故障溯源充分性;作者指出本文把诊断、决策后输出打分与泄露/链接结合在一起。
    • AgentDojo [19] 与 computer-use 探针 [20] 测试注入安全;τ2-Bench [21] 测试任务效用;作者指出本文的编辑是有界配置。

    脱敏机制与基线

    • 源感知脱敏 [16]、标识符检测器 Presidio [6] 与 Scrubadub [7]、OpenTelemetry [8] 提供移除机制。
    • 基线与基准:论文的对照是默认 Scrubadub、默认 Presidio、字典替换等五个事后比较器,在同一批执行上评测;无独立外部基准。

    作者将本文定位为:把这些机制的剩余泄露与诊断、参考打分输出放在同一批执行上做可执行评测。

  3. 论文如何解决这个问题?

    基准在三个合成工作流上注入七类故障,对 15 种导出策略同时测修复成功与多路泄露。

    整体思路:构建一个可执行基准,让可信导出器把同一次执行准备成多种导出,诊断程序只凭导出提出有界编辑,可信执行器在原始工作区副本上重放并由私有参考输出打分;同一批导出再交给多种泄露攻击端点。

    角色、输出与证据

    • 诊断程序看到导出和公开允许操作列表,最多在一个阶段选两个配置操作;有编辑则执行器重跑整个工作流,无编辑则给原始输出打分;决策在私有参考输出打分前封存。
    • 任务成功指实际输出通过参考打分器;恢复指原本失败的工作区变得正确,两者分母不同,因为部分注入故障不影响原始输出正确性。
    • 证据分三类:结构证据(扫描/写入设置)、值证据(金额变化)、归属证据(记录是否属于被请求客户)。

    工作负载与故障

    • 三个作者构建的工作流使用合成身份与故障,含真实文件、SQLite、CSV 操作:file(解析 CSV 输出 JSONL 并校验清单)、reconciliation(导入行、对账、导出 CSV)、aggregation(读分区事务、连维度表、聚合十进制金额、写报告)。
    • 每个工作流七个故障族、每族两个变体:适配器设置、过期绑定、不完整扫描、错误写入模式、值改变、错误客户、跨客户污染。
    • 一个单元 = 工作流 × 种子 × 输入实例;每单元一个干净案例加七个故障;八个案例共享目标、工作区和 32 候选目录,只有目标与两个邻居拥有行,其余是零容量诱饵;通知以 URL-query e-mail、base64 JSON 头、拆分字段或 at/dot 混淆文本表示身份。

    导出策略与诊断程序

    • 15 种策略(Table II):raw、regex(五种冻结模式)、schema(删除 owner_id 等字段)、typed projection、metadata-only 及两个消融、比较事实(可带 run 域或执行域 owner token)、字典替换、两种编码感知假名域(canon-global、canon-exec)。
    • 比较事实报告各阶段 owner 是否匹配请求(all/some/none/unknown/不适用)、distinct-owner 计数、金额是否整美元、负金额计数及阶段对边;可选 owner token 用 HMAC(split/run 密钥或执行句柄密钥),攻击者拿不到密钥。
    • 规则程序(C1)先查归属、再元数据、再值;独立约束程序(C4)枚举允许的单阶段配置,按更少操作、更少无关改动排序,只在唯一最优计划时行动,否则弃权。

    泄露端点与协议

    • 标识符匹配(A0/A1)对 32 个候选排序:basic 匹配原始、小写、URL、base64、hex 形式与长度桶;normalized 再加 Unicode 兼容规范化等;唯一识别要求目标单独最高分,直接暴露要求分数至少 10。
    • 链接攻击(A2/A2b)判断两条轨迹是否共享客户与输入单元,用 AUC 衡量;known-volume 匹配(A3)把 rows_in 与候选已知行数比对,仅当目标唯一匹配时成功。
    • 主研究用不相交种子:576 开发、48 验证、240 最终执行(210 故障 + 30 干净),10 种原始策略产生 2,400 个最终视图;主密钥派生身份并在打分后公开。
  4. 论文做了哪些实验?

    主队列 240 次执行上测 15 种导出的修复与泄露,另有独立程序、链接/计数攻击和语言模型检查。

    实验设置

    • 被测对象:15 种导出策略(Table II);诊断方为规则程序(C1)与独立约束程序(C4);探索性模型分类器(C3);语言模型研究用 Qwen2.5-3B-Instruct(4-bit、CPU、greedy)。
    • 基准:三个合成工作流 × 七故障族 × 两变体;主队列 240 次最终执行(210 故障、30 干净),10 种原始策略共 2,400 视图。
    • 指标:fault-task success(/210)、recovery(/190 初始失败)、normalized unique identification 与 target exposure(/240)、链接 AUC、known-volume 唯一匹配(/240)。
    • 判定方式:输出由私有参考打分器判定;泄露由冻结的匹配器与攻击规则判定;独立程序的源码与标准在其 48 例测试前冻结。
    • 对照:oracle 应用正确修正,no-op 保留原始输出;Scrubadub、Presidio 等五个事后比较器在同一批执行上跑。
    • 重复与样本:独立程序用单独 48 例队列;语言模型研究 96 开发 + 144 主执行,另有 144 事后执行。

    主结果

    据 Table III(主队列,均保留完整元数据;* 为事后同案例评测):

    表格较宽,可左右滑动

    ExportSuccess /210Recovery /190Unique ID /240Exposure /240
    Raw21019065240
    Regex140120225163
    Schema140120221226
    Scrubadub*210190153240
    Presidio*184164202235
    Metadata-only1159500
    Comparison facts21019000
    Exec-scoped pseudonyms*21019000
    • 作者称,比较事实与两种假名域取得 210/210 故障成功与 190/190 恢复,regex/schema 只有 140/210 与 120/190。
    • 作者指出,raw 唯一识别仅 65/240 是因为目标/邻居并列最高分,但它在每个案例都暴露目标;假名与事实的零值只度量所测语法的覆盖。
    • 作者指出,所有策略仍允许 97/240 的 known-volume 唯一匹配。

    独立约束程序的保留测试

    • 测了什么:单独 48 例队列上,独立编写的约束程序能否用各导出修复(Table IV)。
    • 结果:raw 与执行域假名 42/42 故障成功、36/36 恢复;比较事实 39/42、33/36;regex/schema 28/42、22/36;五种导出干净案例均 6/6 无误报。
    • 作者解读:三次事实损失都是弃权(两个 file 工作流分隔符故障缺定位证据、一个案例中多余的金额约束造成计划并列);作者称这不证明比较事实本质上不足,但说明导出器应当用将使用该导出的程序来测修复。

    链接与计数攻击

    • 链接:执行域假名与事实在 file、reconciliation 上 identifier-aware AUC 相同(0.8750、0.5000),aggregation 上假名 0.9633 高于事实 0.6585;run 域假名在三个工作流均达 1.0000;作者称未隔离元数据摘要的贡献。
    • 通用链接:对带 run 域 owner token 的事实做 generic linkage,AUC 为 0.7797、0.7898、0.7698,低于协议预测的 0.95 下限;同一导出上 identifier-aware 攻击达 1.0000、1.0000、0.9971。
    • 计数消融:删除七个计数字段后,known-volume 攻击在 240/240 视图中无匹配,规则程序检测与故障成功保持 210/210、恢复 190/190;作者称该结果特定于所述容量规则,且未测此消融下的链接与独立程序。

    语言模型检查与其他分析

    • 语言模型研究:Qwen2.5-3B-Instruct 生成轨迹,912/967 步调用有效(94%);事实检测 70/72 结构、17/18 值、36/36 归属故障且零唯一识别;regex/schema 检测 0/36 归属故障但唯一识别 113/144 与 137/144;协议标准均达到。
    • 交互内容暴露:仅保留步骤索引、解释、工具、参数与响应时,schema 脱敏仍在 127/144 主执行与 130/144 事后执行中暴露目标;作者称这些保留的模拟字段不证明外部投递。
    • 探索性模型诊断:事实 30/144 正确 vs metadata-only 26/144(McNemar p = 0.289),作者称事实未显示可证明的改进。

    其他消融与分析

    • 元数据规则在八种完整元数据策略上决策一致(0/240 分歧),检测 115/120 结构故障;去关系后 110/120,仅测量时 75/120。
    • 规则程序在 raw 与事实下检测全部 60 个错误客户/污染故障,regex、schema、metadata-only 下为 0。
    • regex/schema 检测 20/30 值故障;规则程序在 raw、regex、schema、facts 下新增五个金额尺度检测。
    • 所有策略通过 30/30 干净案例(Presidio 有两次误报);oracle 与 no-op 分别通过 210/210 与 20/210 故障。
    • 字典替换剩 161/240 normalized 唯一匹配,其 token 感知链接提取器在三个工作流 AUC 均 1.0000。
  5. 有什么可以进一步探索的点?

    作者列出合成证据、语法覆盖等局限;实验覆盖三个工作流、15 种策略与有限攻击端点。

    作者指出的局限与后续方向

    • 证据来自三个合成工作流、七个注入故障族和有界编辑,公开默认值缩小了修复搜索空间(Section VI)。
    • 规则程序与事实共享一套选定词汇,独立诊断程序只测了不同队列上的第一故障变体(Section VI)。
    • 假名只覆盖匹配攻击所搜索的声明语法;更强的辅助数据或基于模型的重识别在这些测试之外(Section VI)。
    • 语言模型证据只用了一个小的 runbook 引导模型和环境故障(Section VI)。
    • 主研究与模型研究保留了协议、清单与偏差,但其前瞻性协议时序无法独立确证(Section VI)。
    • 后续方向:测试替代的计数摘要与执行键控摘要可扩展这些结果(Section VI);作者建议导出器分别审计编码标识符、计数与链接,并用预期程序和独立实现检查修复后输出(Section VI)。

    实验覆盖范围

    • 被测导出策略共 15 种,含 Scrubadub、Presidio、字典替换等五个事后比较器(Table II、Section III-D)。
    • 主队列为 240 次最终执行(210 故障、30 干净),独立程序用单独 48 例队列,语言模型研究为 144 主执行加 144 事后执行(Section III-D、V)。
    • 泄露评测包括 basic/normalized 标识符匹配、generic/identifier-aware 链接与 known-volume 匹配三类端点(Table II)。
    • 语言模型研究只测故障分类与交互暴露,不测基于模型的修复(Section V)。
    • 计数消融未测 identifier-aware 链接,也未在独立程序队列上测泄露(Section IV-C)。
  6. 总结一下论文的主要内容

    可执行基准显示:保住修复的导出仍可能泄露客户身份,行数元数据是剩余泄露通道。

    一篇评测/基准论文,针对 AI 智能体执行轨迹导出中隐私与可诊断性的权衡,构建了可执行基准:三个合成多租户工作流、七类注入故障、15 种导出策略,用规则程序与独立约束程序测修复,用标识符匹配、链接与行数攻击测泄露,输出由私有参考打分器判定。

    • 要解决的问题:常规脱敏可能删掉修复所需的归属比较证据,同时留下可解码的编码标识符;工程师需要知道接收方能修什么、攻击者能推断什么。
    • 方法要点:比较事实把归属比较委托给导出器,执行域假名让诊断方自行比较;诊断决策在打分前封存,编辑后在原始工作区副本重放。
    • 主结果:主队列上比较事实与执行域假名保住规则程序全部 210/210 故障任务与 190/190 恢复,regex/schema 只有 140/210 与 120/190(Table III)。
    • 独立程序:约束程序在执行域假名下 42/42 成功,比较事实下 39/42,三次损失均为弃权;作者称这说明导出器应用将使用导出的程序测修复(Table IV)。
    • 剩余泄露:全部 15 种策略下,知道行数的攻击者唯一识别 97/240 被请求客户;删除七个计数字段后攻击在 240/240 视图无匹配且修复不变;执行域假名在 aggregation 工作流上链接 AUC 0.9633 高于事实的 0.6585。
    • 作者结论:导出可能同时做到移除标识符、丢失修复证据、仍泄露被请求客户;作者建议导出器分别审计编码标识符、计数与链接,并用预期程序与独立实现检验修复后输出。
阅读原文arxiv.org