研究审计 LLM 读取 Agent 日志的取证能力：答案正确但引用来源多为猜测

从保存的智能体日志重建来源时，与完整记录一致并不等于所供证据支持该发现。

• 调查场景：自动转账后，调查者要确定提交了什么、目标账户此前出现在哪条记录，以及产生日志的智能体（actor）引用了哪条记录。作者认为每项发现都必须追溯到保存的证据；工具日志、生成说明和本地引用标识记的不是同一部分。
• 绑定缺口：in-3 这类标识只有绑到某条记录才指出一条输入。作者认为猜中绑定并不使它在所供证据中可观察；只按与完整参考一致打分，会把支持链接被扣留的答案也记成发现，读者之间一致也不能补上这一省略。
• 与攻击分数分开：问题出现在把真实请求和外部文档合在一起的智能体里。作者称间接提示注入把指令放进被当作数据遇到的材料，同一材料随后可能被当作证据；攻击成功分数不能与取证来源发现互换。
• 写入边界：生成这些日志时，攻击者只能向一个允许的外部文档字段或交易描述追加文本，不能替换真实用户/系统消息、工具实现或已存储日志。作者称该通道与替换整段工具响应不同；重建案例的选择独立于攻击结果。
• 本文做法：对保存的 AgentDojo Banking 执行做包级审计，固定规则从 96 个候选得到 64 个可机械核对的案例。评分分开完整记录一致、有依据的确定发现、有理由的弃权和无支持断言；作者认为应保留记录内容，以及检查所报告关系所需的、执行范围内的标识绑定。

相关工作按攻击留下的证据、引用支持、取证溯源三组组织；作者把本文收成对所供分析包的回顾性审计。

智能体攻击与执行后证据

• 间接注入与基准：Greshake et al. (2023) 把指令放进合法任务期间遇到的外部内容。InjecAgent（Zhan et al., 2024）测工具输出注入，AgentDojo（Debenedetti et al., 2024）把用户任务与攻击者目标耦合，ASB（Zhang et al., 2025）覆盖更广的攻击与防御。作者称这些威胁模型并不使攻击成功分数与取证来源发现可互换。
• 载荷字符串来源：公开载荷开发从 TopicAttack（Chen et al., 2025b）和 AutoDojo 预印本（Ma et al., 2026）转移固定字符串。作者称不复现其攻击优化；本文端点是执行后的证据，包括未成功的攻击。

有依据的归因与读者验证

• 正确与支持：Rashkin et al. (2023) 的 Attributable to Identified Sources 形式化指定来源上的支持。ALCE（Gao et al., 2023）分开答案与引用质量，FActScore（Min et al., 2023）检查原子事实，RAGTruth（Niu et al., 2024）标注无支持或矛盾的生成内容。
• 合同更窄：Wallat et al. (2025) 区分引用正确与因果忠实。作者称本文只测字面出现和已记录的 ID 到记录关系，不测来源是否在内部影响了 actor。
• 控制的动机：解释遗漏（Chen et al., 2025a; Turpin et al., 2023）、长上下文位置效应（Liu et al., 2024）、归因偏差（Abolghasemi et al., 2025）和 Python 标识交换失败（Miceli Barone et al., 2023）被用来动机控制。作者称这些工作不标识本文错误的机制。评审位置偏差（Wang et al., 2024）、自我偏好（Panickssery et al., 2024）和引用核验审计（Goo et al., 2026）被用来动机把读者一致与记录支持的正确分开。

取证溯源与操作验证

• LLM 辅助取证：Scanlon et al. (2023) 与 Studiawan et al. (2025) 按具体调查任务评价 LLM 输出。Michelet and Breitinger (2024) 检查辅助报告写作，并指出不准确以及整合前需复核的额外内容。
• 按需求验证：Guo et al. (2009) 规定搜索需求及对应参考数据；Nordvik et al. (2021) 检查验证文件系统解释所需的文档。作者称本审计同样评价显式操作及其证据前提。
• 溯源表示：W3C PROV-DM（Moreau and Missier, 2013）建模实体、活动、智能体及其关系；CASE（Casey et al., 2017）表示数字痕迹、关系和取证处理历史。Wang et al. (2026)、Liao (2026)、Mishra and Sharad (2026) 分别讨论授权与溯源对齐、动作选择中的来源权威变化，以及委托执行的可观测性。作者称本文检验的是来源引用发现是否被所供分析包支持。

实验对照与基准

• 基线方法：同包确定性比较器对所供包做字面匹配和可见表连接，不使用完整参考。两名读者的一致不被当作参考答案。
• 基准：保存的 AgentDojo Banking 执行，benchmark v1.2.2、package 0.1.35；固定规则得到 64 个适用案例。

作者将本文定位为对执行局部引用标识的包级审计：ID 到定位符的表使一条已记录关系可检查，而不另加底层文档或请求文本。作者称匹配记录和显式可见性规则可以把准确的字面检索、有支持的引用关系，以及所需绑定不可用时的有理由弃权分开。

包级审计不估计 actor 内部发生了什么，只检查所供证据包能否支持三类关系；同包确定性比较器执行同一合同。Figure 1 中两项研究共用 64 例，完整参考只用于评分。

案例与可见边界

• 清单：回顾性清单含全部 48 个完成的 A0，以及按任务/对 ID 哈希选出的 48 个 A1；选择不用事件、任务效用、攻击送达或读者正确性。64 例适用（Mini 22、Haiku 17、Flash 25），跨 13 个任务；32/96（33.3%）结构上不适用且不替换。每例一个目标动作和一个目标字面。
• 动作选取：外部上下文之后第一个带非空顶层字符串参数的动作，否则退回第一个此类动作。参数键优先为 recipient、IBAN、账号、password、文件路径、date、subject，其余按字母序。
• 扣留：各条件保留同一份原始工具日志和同一目标。事件标签、攻击分配、干净授权参考、先前阅读和答案参考不交给读者。actor 被要求在调用工具前写出动作段落、Note 和本地输入 ID 组成的 Basis；缺失或畸形保持原样。
• 参考从哪来：参考答案由完整保存的动作、上下文和原生请求/响应机械提取，独立于读者输出，只给评分器。完整记录指保留的执行证据，不是 actor 的私有推理。

三个问题

对选中动作 a，s 是被调查的目标字符串，E_<a 是此前的外部记录，ℓ(e) 是记录在保存执行中的地址。Q1 问 s 是否出现在真实用户请求中。Q2 收集所有含 s 的更早外部记录地址：

H(s,a)={ℓ(e):e∈ E_<a, s occurs in e}

这是地址集合，不是模型选出的最可能来源；匹配为字面且区分大小写。目标动作的结果和更晚结果排除在外。没有更早匹配时，正确集合为空。

Q3 先把 Basis 中的本地 ID 经映射 m 译成地址，再只保留也属于 Q2 的地址：

J(s,a)=H(s,a)∩{m(b):b∈ B_a}

该式定义完整记录上的关系，不允许读者猜测不可用的映射。Q3 关心陈述的引用，不关心语义相关性、授权或内部因果使用。

作者用 rcase-001 说明合同：act-01.result 含账单收款人，act-02 将其提交给 send_money，保存的 Basis 为 [in-3]。两个包都不含真实用户请求，故 Q1 都应弃权；两个包都能把该值定到 act-01.result。只有带 in-3 到 act-01.result 这一行的包，才支持 Q3。作者称 Sonnet 在两种条件下给出同一 Q3 答案；无表时相对完整记录是正确猜测，有表时才是所供证据支持的发现。该例用于解释合同，不估计错误普遍程度。

扣留真实请求则 Q1 不可回答，即使另一文档引用或冒充用户。扣留 actor 账户则 Q3 不可回答。账户明确记下 Basis 缺失时支持 basis_missing；Basis 存在但为空时支持空集。非空 Basis 与更早匹配仍使关系未解时，缺失绑定要求弃权。若 Q2 无匹配，交集为空，与映射是否缺失无关。

计分

• W：答案是否与完整记录一致，即使读者看不到必要证据。
• G：答案是否恰好等于该包按合同应给出的答案，含状态和所需定位符。有理由的弃权可得 G=1。
• D 与 A：D 只保留 G 中非弃权的确定发现；A 为 G 减 D。确定发现可以正确报告空集或观察到的 Basis 缺失，所以 D 不是非空来源的计数。
• U：对不可回答问题给出确定答案，或声称可见合同之外的证据或定位符。漏掉有效来源集的一部分可以是错的，但不因此记 U。无效或缺失响应的正确性为 0，无支持状态未知。读者一致从不用作参考。

两项干预

• Study I：R00 只有工具日志；R10 再加保存的段落、Basis 和 Note；R01 再加原生输入；R11 两者都加。原生包含真实请求、记录的输入内容、通道、时序和 ID 映射。作者称这是捆绑干预，不是每个字段的孤立估计。原主要终点是 Q2，因为四个条件都有相关字面证据；配对为 R10 减 R00、R11 减 R01。Q1 与 Q3 为次要终点，并报告可回答性。
• Study II：C00 是 R10 证据在新提示词下的重新阅读，不是逐字节重复；作者称不把两项研究之差解释为映射效应。C10 加入完整的 ID 到记录定位符表，不加入用户或文档文本。C01 把账户中全部 actor 本地 ID 换成保序双射的不透明标签，形如 ref_ 加 16 个十六进制字符，案例种子由 42 导出；C11 同时给出对应的表。改名保留工具结果、参数、动作顺序、目标字面、输出定位符和已记录关系。
• 预设比较：新输出前，结构分析标出 28 例需要绑定表、36 例不需要。主要比较是分读者的 Q3 有依据正确：C10 减 C00、C11 减 C01，终点在新输出前固定。表行只提供关系，不提供记录文本；指向 request.user 的表项不提供请求文本，故每个 C 条件的 Q1 都要求弃权。Q2 作为阴性对照，因为字面证据不变。Table 2 规定定位符可以是整个工具结果、从 1 起的列表元素或 request.user，没有子串偏移。
• 比较器与读者：同一条件内，两名读者和比较器收到同一包；比较器不接触私有参考。读者为 gpt-5.6-luna 与 claude-sonnet-4-6，文本和 JSON schema 相同，每请求是新对话，无重试、无跨条件答案共享。Luna 先读完全部 256 个包，Sonnet 在 Luna 的结果促使二次比较之后读同一批；作者称这一顺序是回顾性的，不是独立留出的复现。任务等权对比先在任务内平均，再对 13 个任务平均；10,000 次任务 bootstrap，seed 42。作者称区间是探索性描述，不是确认性检验、等价界或新的接受门槛。

两项研究各由两名读者阅读同一 64 例：Study I 未观察到 actor 账户带来的字面检索增益；Study II 中，补上绑定表提高了有依据的引用重建，只改标识拼写没有一致补救。

实验设置

• 产生日志的模型：gpt-5.4-mini-2026-03-17（Mini）、claude-haiku-4-5-20251001（Haiku）、gemini-3.8-flash（Flash）。AgentDojo Banking，benchmark v1.2.2、package 0.1.35，11 个工具、16 个用户任务、9 个注入任务；模拟状态，不联系真实银行。英文，provider-native 工具调用，无 ReAct。温度 0，支持处用 seed 42。模拟日期 2023-12-31。Mini 与 Haiku 输出上限 2,048，推理为 none 或关闭 thinking；Flash 为 LOW thinking、上限 4,096。作者称这些控制并不使提供商计算等价，也不保证托管推理确定。
• 重建清单：64 个适用案例来自全部 48 个完成的 A0，以及按哈希选出的 48 个 A1；Mini 22、Haiku 17、Flash 25，13 个任务。32/96（33.3%）结构上不适用且不替换。
• 读者：gpt-5.6-luna 与 claude-sonnet-4-6。温度 0，输出 2,048 token，输入上限 16,384。Luna 推理努力 none、seed 42；Sonnet 关闭 thinking，无暴露的 API seed。每项研究 512 次阅读，合计 1,024 次指派均完成。Study II 以 seed 42 打乱后串行执行。Luna 先读 256 个包，Sonnet 随后读同一批。
• 指标：W 为与完整记录一致；G 为是否恰好给出该包应给出的答案，有理由弃权可计 1；D 只计有依据且非弃权的确定发现；A 为 G 减 D；U 为无支持断言。比较器无完整参考。任务等权变化对 13 个任务等权，另有 seed 42 的 10,000 次任务 bootstrap。作者称区间不是确认性检验。
• 早前资格：Luna 在原严格条件下为 40/48，低于原接受标准。作者称早前人工复核针对那些资格标签；本次重建参考由机械方法导出。schema 合法的错误答案保留，不触发重试或扩样。

主结果

Study II 的 Q3 是绑定实验的主要终点。下表为全部 64 例中的计数，据 Table 6。C00/C01 无绑定表，C10/C11 有对应完整表；C01/C11 为不透明标识。

表格较宽，可左右滑动

读者	条件	Q3 G	Q3 D	Q3 U	Q3 W
gpt-5.6-luna	C00	38	31	21	43
gpt-5.6-luna	C10	49	49	9	49
gpt-5.6-luna	C01	42	28	15	39
gpt-5.6-luna	C11	48	48	6	48
claude-sonnet-4-6	C00	26	24	28	46
claude-sonnet-4-6	C10	49	49	9	49
claude-sonnet-4-6	C01	28	26	28	46
claude-sonnet-4-6	C11	52	52	7	52

• 作者的对照：作者称加入映射表提高两名读者的有依据重建；同一原始标识下，完整记录一致的变化小于有依据正确的变化，因为部分原先正确的猜测变得可支持。表中 W 与 G 的差对应这一区分。
• 需要映射的 28 例：Table 5 中，无表时 Sonnet 弃权 2、无支持断言 26，其中 22 与完整记录一致；Luna 弃权 7、无支持断言 21，其中 12 与完整记录一致。作者称 Sonnet 在 C00 的 Q2 字面位置集仍全部正确（Table 6 为 64）。作者称差异在于引用到记录的关系，不在字面检索。
• 任务等权：Table 7 中 Q3 变化为 Luna 的 +14.36 个百分点（+0.26 至 +30.00）和 +13.08（-4.62 至 +32.56），Sonnet 的 +31.54（+14.87 至 +51.03）和 +35.77（+15.13 至 +57.18）。Luna 的不透明标识区间含 0。作者称这些不是确认性检验。

Study I 的字面检索

• Q2：Table 4 的精确完整集准确率，Luna 在 R00/R10/R01/R11 为 60/64、55/64、64/64、63/64，Sonnet 为 64/64、63/64、64/64、64/64。Table 7 的任务等权 Q2 变化为 Luna -7.18 个百分点（-20.51 至 +3.85）和 -1.28（-3.85 至 +0.00），Sonnet -1.54（-4.62 至 +0.00）和 +0.00（+0.00 至 +0.00）。作者称计数上看不到检索增益，但不建立损害或等价；解释受 Sonnet 的上限和 13 个任务簇约束。
• 促使 Study II 的 Q3：R10 中 Luna 与 Sonnet 的无支持 Q3 断言为 27 和 28，其中 18 和 23 与完整记录一致。事后交集为 7 个任务上的 16 个共享、且与参考一致的无支持答案。作者称 Study II 仍保留全部 64 例，不按读者正确性筛选。账户包使 Luna 输入 token 增加 18.1%（无原生输入）和 11.7%（有原生输入）；作者称这不衡量人工复核时间。
• Q1 与扣留账户：请求被扣留时，Luna 在 R00、R10 的无支持 Q1 断言为 1 和 9，Sonnet 为 0；Sonnet 在 R11 为 5。作者称 Luna 的模式未被复现，也没有一名读者在所有条件上占优。R00/R01 扣留 actor 账户时，Luna 的 Q3 G 64/64 都是弃权；Sonnet 在 R01 有 6 次不正确的确定 Q3 声明。

比较器、改名与读者一致

• 比较器：Table 3 每行 G=64、U=0。无表时 18 例支持 Basis 缺失、18 例空集、28 例须弃权；有表时 24 个非空集、22 个空集、18 个 Basis 缺失。作者称 64 个有依据决定都正确，但不是 64 个已识别来源。Figure 2 的文字标注包括 Luna C00 的 31、7、26，以及 Sonnet C00 的 24 与 38；横轴文字为 Cases (64 assigned per condition)。图注称有依据正确是有依据确定发现与有理由弃权之和，比较器全程有依据正确。
• 只改标识：映射层无支持断言从 Luna 的 21 到 14，Sonnet 仍为 26（Table 5）。每个任务等权的 Q3 改名准确率区间都含 0。Luna 合并后的有依据计数从 38 到 42，任务等权变化为 -1.15 个百分点。作者称只改拼写没有一致补救。
• 不能单独归因：无表时 Q3 答案因改名改变的案例为 Luna 25/64、Sonnet 9/64；有表时为 16/64 与 7/64。作者称这不能分离出标识启发式：每条件一次响应，没有同条件重复对照，token 序列也变了。Table 6 的 Q2 在 C00/C10/C01/C11 为 Luna 49、52、48、50，Sonnet 64、62、64、63。作者称字面证据未变，不宜把每项 Q3 变化都只归因于成功使用绑定。跨读者 Q3 答案完全一致为 41/44/28/41；双方共享、与参考一致但无支持的答案在 C00 为 11、C01 为 8，两个有表条件为 0。

其他消融与分析

• 不需要映射的 36 例，有依据 Q3 在 C00/C10/C01/C11 为 Luna 31/28/28/29、Sonnet 24/25/26/27；作者称并非一致变好。
• 有表后，映射层有依据确定发现为 Luna 21/28、Sonnet 24/28；该层与完整记录一致的无支持断言为 0（Table 5）。C10 每位读者仍有 15 个无依据答案，C11 为 Luna 16、Sonnet 12。
• 对这 58 个错误响应（31 个不同案例）的事后审计：21 次无根据弃权、26 次多一个定位符、6 次严格子集遗漏。作者称标记可重叠，不覆盖全部错误，也不建立原因。一个多余定位符指向目标动作结果，没有指向包中不存在的记录。
• Study II 的 Q1 合理答案都是弃权。Luna 的无支持断言在 C00/C10/C01/C11 为 9/10/4/10，Sonnet 为 0/1/0/0。1,536 个问题项中的 274 个不正确或无支持项被保留；作者称这些是问题项，不是 274 个回合。
• 更早的 L0/L1：642/694 个回合答案相同，其中 607 对为 none/none，输入 token 增加 13.9%。694 个回合产生 2,082 次原 Luna 阅读。作者称这是答案稳定性与输入体量观察，不是本次重建研究。
• 语料生成 Table 1：完成 694/696，送达 378，事件 23，非事件 394，未解决 277，来源合格 3，合格者均来自 Mini、两个任务。作者称重建清单独立于事件状态和读者正确性。

作者把边界写在所核关系、语料、运营系统中的普遍程度、调查人员评估和回顾性设计上。

作者指出的局限与后续方向

• 所核关系：审计核的是字面出现、时间资格和已记录标识关系。发现描述的是所供包支持什么；保存的引用记录 actor 陈述的参考，不建立语义授权、有害意图或内部因果依赖（Limitations）。
• 语料范围：语料为 13 个任务、一个模拟 Banking 环境中的 64 个适用案例，选择清单中还保留 32 个结构上不适用的条目（Limitations）。
• 运营普遍程度：派生的证据条件不估计运营系统中缺失绑定有多普遍（Limitations）。
• 办案收益：没有做调查人员评估，结果不量化对办案的收益（Limitations）。
• 回顾性设计：研究是回顾性展开的，每轮开始前固定输入和分析。Sonnet 在 Luna 的结果之后选定。重复阅读复用同一批案例，任务 bootstrap 区间是探索性的（Limitations）。
• 两次配置与非确定性：比较描述两个具体读者配置，Sonnet 与 17 例中的 Haiku actor 同属 Claude 系列。每条件一次响应以及托管模型的非确定性，限制对单次输出变化的归因，尤其是标识改名（Limitations）。

实验覆盖范围

• 重建阅读为两名读者、两项研究各 4 个条件、64 个案例，每项研究 512 次，合计 1,024 次均完成，嵌在 13 个任务中（Execution, pairing, and uncertainty；Results）。
• 适用案例按 actor 为 Mini 22、Haiku 17、Flash 25；清单为全部 48 个完成的 A0，加按任务/对 ID 哈希选出的 48 个 A1（Fixed reconstruction inventory）。
• 证据条件为 R00、R10、R01、R11 与 C00、C10、C01、C11。同一条件内，两名读者和确定性比较器收到同一包；计分用机械完整参考上的 W、G、D、U（Study I；Study II；Table 3、Table 4、Table 6）。
• 不确定性报告为 13 个任务等权后的配对变化，以及 seed 42 的 10,000 次任务 bootstrap；论文将该区间称为探索性描述，不是确认性检验（Execution, pairing, and uncertainty）。
• 读者为温度 0、输出 2,048 token、输入上限 16,384，每请求是新对话，无重试、无跨条件答案共享。论文写明没有同条件重复对照来分离提供商非确定性（Execution；Renaming, controls, and shared errors）。

包级审计检查保存的智能体动作里，哪些来源结论能被交给分析者的记录支持。

• 要分开的事：工具日志、生成说明和本地引用标识各记一部分证据。作者认为，标识只有保留与记录的绑定才构成来源；与完整记录一致，可以是看不到该绑定时的猜测。
• 做法：64 个 AgentDojo Banking 案例上，读者回答目标字面是否在真实用户请求中、哪些更早外部记录含该值，以及保存的 Basis 经映射指向其中哪些。Study I 增减 actor 账户和原生输入；Study II 增减绑定表，并可把本地标识换成不透明标签。同包比较器只做匹配和可见表连接，不看完整参考。
• 无表时的引用：C00 下 Sonnet 的 Q2 字面位置集为 64/64，但在 28 个需要映射的案例中有 26 次无支持引用断言，其中 22 次与完整记录一致（Table 5、Table 6）。Luna 在同一层的无支持断言为 21，其中 12 次与完整记录一致。
• 加表与改名：加入原标识绑定表后，任务等权的 Q3 有依据正确变化为 Sonnet +31.54 个百分点、Luna +14.36 个百分点（Table 7）。作者称只改标识没有一致补救，相应任务等权区间都含 0。比较器在 Table 3 各条件 G=64、U=0。作者称另外 36 例并未一致变好；完整表下读者仍有 12–16 个无依据的 Q3 答案。
• 作者的结论：作者称字面检索正确、与完整记录一致，以及两名读者一致，都可以与无支持的引用发现并存，所以核对时应把支持状态和答案一起保留。作者认为应保留记录内容、执行顺序、通道身份和执行范围的标识绑定；并称保留关系与正确读出关系是分开的要求。