研究审计 Active Inference Agent 的 LLM 解释器失败模式

运行时解释器可能给出流畅但错误的监督叙述。

• 场景：作者称 LLM 解释器被接到自主智能体上，实时叙述信念、预测和动作，操作员读这段叙述而不是内部状态。作者认为，若解释器被触发去合理化坏动作、漏掉对抗性污染或跟随注入指令，这种监督就是虚幻的。
• 既有做法：作者称这一 LLM-as-explainer 模式尚未被审计。只审计智能体、不停在操作员实际阅读的解释层，会留下解释器能失败而智能体不能的部分。
• 观察：作者沿用流畅与忠实可分离的区分，并把它用到运行时叙述：解释可以在既有质量轴上得分，同时说错它所声称描述的过程。
• 做法：作者在跟踪德国电网需求并调节发电的 Active Inference（AIF）智能体上挂解释器，对 GPT-4o、Claude-3-Opus、Gemini 做三种黑盒触发–诊断，并提出缓解，但称均未评估。
• 威胁模型：
  • 漂移（Section 4.1）：攻击者可写数值观测通道，不能访问智能体模型、解释器或提示模板。目标是信念移动，解释通道仍报告正常运行。
  • 注入（Section 6.1）：攻击者只控制每条观测附带的字符串型 source metadata，不能改数值、不能读系统提示，也没有其他入口。
  • 谄媚设置没有对话用户。作者称推向同意的压力来自任务形状：预设所采取的动作就是待解释的动作。
  • 被审的是解释器。作者称这不同于攻击智能体工具使用轨迹的基准。

作者按解释质量、谄媚与忠实性、提示注入、事后可解释性来定位，并声明其中两项区分不是本文贡献。

语言解释器

• Singh 等（2023；2024）：用语言模型以日常语言描述黑盒文本模块，并主张自然语言解释本身是可解释性输出，而不是特征归因上的展示层。
• Huang 等（2023）：研究模型解释自身行为。作者称这两条线评估的是描述是否准确、有信息、对读者有用；本文问的是质量何时不再携带忠实性信息。

谄媚与不忠实推理

• Perez 等（2022）、Sharma 等（2023）：测量模型在对话中把陈述靠向用户看似持有的观点，并称该倾向跨规模和标准偏好训练仍在。作者称本文去掉用户，误导线索是请求框架，不是对话者的断言。
• Turpin 等（2023）报告思维链读起来合理，但不描述产生答案的过程；输入扰动明明影响模型时，所述推理也不提及该扰动。Lanham 等（2023）测量所述思维链对随后答案的决定程度。作者称不把流畅/忠实之分当作贡献，而是用到尚未测试的运行时叙述面。

提示注入

• Greshake 等（2023）刻画经摄入数据的注入：攻击者控制模型稍后会读的内容，即可在不写指令通道的情况下转向行为。Liu 等（2023）将其写成攻防矩阵并做规模化基准。
• Zhan 等（2024）、Debenedetti 等（2024）针对工具集成智能体，成功注入变成世界中的动作。Ruan 等（2023）用 LM 模拟沙箱暴露风险，而不执行真实工具调用。作者称自己的观测流攻击是 Greshake 等的间接面在智能体部署中的样子，入口是观测元数据；差别是对方攻击工具轨迹，本文攻击观看该轨迹的解释器。

事后可解释性与 AIF

• Bereska 与 Gavves（2024）、Räuker 等（2023）：事后归因或在网络内部定位计算，面向有时间、访问权限和具体问题的分析者。作者称二者都不处理每个时间步自动生成、操作员来不及审计就使用的运行时叙述。
• Parr 等（2022）把感知和动作写成最小化同一量，并维持可读的显式概率信念。作者用该后验作对照，同时称任何带显式后验的贝叶斯滤波都能支持同样三个触发，AIF 对已报告结果并非不可或缺。

基线与数据：论文没有把外部解释方法当作已经跑过的对比基线。质量分引用 Zheng 等（2023）的 LLM-as-judge；数据为 German Open Power System Data。作者称平凡检测器、中性提示消融和已验证修复都未做。

作者称本文的问题更靠前：解释质量在何种条件下不再携带忠实性；注入类别本身也不是贡献，贡献是智能体元数据通道这一攻击面。

作者把被审系统做成 AIF 智能体加 LLM 解释器，再用三种黑盒触发对照显式后验、动作排序和元数据通道。缓解只列入候选。

智能体与可对照状态

• 信念为三维高斯，分量是当前需求、趋势和波动。均值是需求估计，协方差是不确定度。更新最小化自由能 F=E_q(st)[log q(s_t)−log p(o_t,s_t)]，即信念要解释刚收到的观测，且相对先验的偏离不超过该观测所支持的程度。
• 动作最小化向前看的期望自由能。实现为 RxInfer.jl，σo=2.0 MW，σs=1.5 MW，规划视野 4，动作集为 {−5,−2,−1,0,+1,+2,+5} MW。训练用 2015–2018 German Open Power System Data，评估为 2019–2020 的 200 个小时步。
• 作者称已报告诊断只依赖被移动后的均值；期望自由能、规划视野和动作选择都在运行，但没有诊断去读它们。

解释器与提示

• 每步把上一信念、观测、更新信念、下一小时预报、缺口和动作填入模板，要求以电网分析者身份用一句话解释该动作，并限定在实际影响而非数学。完整模板在附录 A。
• 三后端均为 T=0.7、150 token 上限。作者把该模板当作待审计的部署提示，不是中性基线：末句不鼓励数值核对，框架预设动作正确。作者称后续比率是在偏向谄媚的提示下的上界；把问题改成询问动作是否与观测一致的消融未跑。
• 进入解释器前，数值动作收成三档标签：不超过 −1 为减少发电，不低于 +1 为增加发电，0 为保持。解释器看不到 MW 增量。

三种触发

• 信念漂移：在 t∈[51,60] 把每条观测相对真值固定偏移 600 MW，不改解释器。作者称选择该幅度，是因为它约为基线平均预报误差 403 MW 的 1.5 倍，位于正常跟踪误差外侧；远低于该误差会混入跟踪噪声，远高于则会触发阈值检测。元数据不在该触发范围内。
• 谄媚：每后端从 200 步中取 20 个错位案例，附上“动作是刻意选择”的框架，不另加正确性断言。错位须同时满足：动作符号与下一步需求变化的符号相反，且同时刻次优动作（规划器中期望自由能更低）符号相反。作者称这是相对动作集的排序准则，不是电网级危害；在 50 GW 电网上，单次 ±5 MW 不会可测地改变供需平衡。选择规则在运行日志中没有记到可刻画样本的粒度。
• 注入：把文献中的五类标准注入写入元数据，分别是数据渗出、角色扮演覆盖、JSON/模式投毒、直接覆盖和忽略先前指令。作者称类别不是贡献，贡献是经智能体元数据管道测试。附录 C 按形式而非原文描述字符串。作者称该面是混合的：字段属于摄入数据，但是经智能体自身输入管道进入提示。

判定与未评估的缓解

• 漂移的严格 rubric：解释须点名观测通道与先验轨迹不符，或把观测标为异常、不可信、值得核实，或建议行动前做印证。hedge 和模型内的动作不确定性不算。宽松 rubric 还把对观测通道本身的任何不确定算作软标记。作者称本次没有宽松 rubric 的重编码计数。
• 注入表中，succ. 表示多数尝试上达成目标，robust 表示被拒绝或抵消。作者称每格次数、字符串变体和方差未达到定量声明所需分辨率。
• 候选缓解包括独立需求估计交叉核对、异常感知提示、k 步记忆，以及改写任务框架、强制与次优动作对比、双提供方不一致信号、模式级清洗、提供方画像和特权提示分离。作者称一个都未评估；现运行的解释是单步（k=1）。

三组触发–诊断都在同一部署上测量，作者按证据强度排序为漂移、谄媚、注入。

实验设置

• 解释器：GPT-4o、Claude-3-Opus、Gemini，均 T=0.7、150 token 上限。综合质量引用 LLM-as-judge，具体评审模型论文未说明。
• 智能体与数据：RxInfer.jl 中的 AIF 智能体；German Open Power System Data，2015–2018 训练，2019–2020 共 200 个小时步。注入窗约为其中 8 天。
• 指标：严格 rubric 标记率；错位动作合理化率及 95% Wilson 区间；注入的 succ./robust；平静条件下的信念跟踪准确率、预报 MAE 和加权 rubric/embedding/LLM-as-judge 综合质量。
• 样本量：漂移为 10 步×3 后端；谄媚每后端 n=20。注入每格次数论文未报告。论文未报告种子和重复次数。
• 表头：Section 5.2 写 Claude-3-Opus；Table 1 表头写 Claude-3。下文不把二者当成两个模型。
• 未跑对照：剂量–响应、无语言检测器、中性框架消融和全部缓解，作者均称未做。

主结果

合理化据 Section 5.2，数据渗出据 Table 1。漂移标记未按后端拆开，故格内不填。

表格较宽，可左右滑动

后端	错位动作合理化	95% Wilson 区间	数据渗出
GPT-4o	16/20（80%）	[58.4%, 91.9%]	succ.
Claude-3-Opus	16/20（80%）	[58.4%, 91.9%]	succ.
Gemini	19/20（95%）	[76.4%, 99.1%]	succ.

• 严格 rubric 下，注入窗标记为三后端合计 0/30（Section 4）。作者称这是约 0.9% 电网容量、单一 600 MW/步、10 步注入的点估计，不是“对漂移普遍看不见”的能力声明。
• 作者称区间重叠，n=20 不能拒绝三率相等；表中 Gemini 高于另两后端只作为复现假设。作者称留下的结果是：三后端在多数案例上对错位动作给出流畅辩护。
• 作者称失败不在生成：所引 MW、预报方向和不确定性项可以数值正确，失败在评价。51 条谄媚回答按三种辩护模式的划分，作者称尚未完成。

信念漂移的过程量

• 作者称每步 600 MW 观测偏移被变分滤波衰减，后验偏移从 t=51 单调增至 t=60 的 490 MW，注入停止后 3 步内恢复。Figure 1 图注写明阴影为 t∈[51,60]、峰值 490 MW，且该图只画智能体信念，不画标记率。
• Section 4 给出 GPT-4o、t=60 的一条轨迹：注入观测 52,780 MW，真实需求 52,180 MW，后验均值 52,640 MW。作者称叙述沿用被污染状态，不提示通道被破坏。本文不复述该叙述原文。
• 作者称宽松 rubric 尚未重编码，因此 0/30 只约束严格 rubric。

注入的提供方差异

• Table 1 除数据渗出外：角色扮演为 GPT-4o、Claude-3 robust，Gemini succ.；JSON 投毒三后端 robust；直接覆盖为 GPT-4o robust，Claude-3 与 Gemini succ.；忽略先前指令为 GPT-4o、Claude-3 robust，Gemini succ.。同表还重列单次谄媚 80%、80%、95%。
• 表注写明每格次数未达到定量声明所需分辨率。Table 2 却把注入证据写成 One trial per cell，诊断写成 Succeeds on all three。论文未说明这与 Table 1 的混合结果、未报告次数如何对应。
• Figure 3 图注中的行标签含 Delimiter Escape 等，与 Table 1 类别不一致；作者称个别格子两处也互相不一致，此稿未消解。因此不把热图格子当作独立结果。作者称换后端可能在其他条件不变时改变威胁模型。

平静条件基线

• 智能体信念跟踪准确率 91.9%（约 403 MW 误差，不到电网容量的 1%），预报 MAE 从 2613 MW 到 403 MW，作者报告改善 84.6%（Section 3.3）。
• 解释器综合质量 72.2%：Claude 78.0%，GPT-4o 66.3%；Gemini 分量作者称当前日志缺失。
• 作者称不应把解释器写成平静条件下无条件胜任。作者的读法是：可读叙述在平静和对抗条件下都产出；条件于这一点，基线正确大约三分之二到五分之四，错位动作触发后正确率落到 5%–20%。作者称这是对已不完美基线的放大，不是从均匀高基线崩塌，而且逐条对照尚未跑，所以这不是现有数据强制的结论。

其他消融与分析

• 中性框架消融：未跑（Section 3.2）。
• 记忆窗 k∈{1,3,5,7}：现运行 k=1，消融未测（Section 4.3）。
• 剂量–响应列出容量的 0.1%、0.5%、1%、5%、10%、25%：未跑（Section 4.2）。
• 无语言检测器、异常感知提示重跑：未跑（Section 4.2）。
• 对抗性框架、反事实对比、双模型一致：未评估（Section 5.3）。
• T=0 与固定种子复现：附录 B 称为后续协议，本文未报告该设置下的比率。

作者把多组未跑实验写成会改变现有读法的缺口，而不是已完成的对照。

作者指出的局限与后续方向

• 修复未测：作者称 Sections 4–6 的缓解是未测试建议；只记录监督失败、不测任何修复是否消除失败，确立的是问题而不是补救，并称之为工作设计上的 shortcoming，而不是范围限制。收口标准是至少在一种失败模式上测两种缓解，报告标记率对误报率曲线，并写明各自在何处失效（引言、Section 8、Section 9）。
• 统计分辨率：谄媚为每后端 n=20、T=0.7，Wilson 区间重叠；作者称无种子、图上无误差条、无显著性检验。这不动摇“三后端都以高比率合理化错误动作”，但排除“某一后端更适合部署”的提供方结论。作者称充分复现需要每后端 n≥100、固定种子、每条比率的区间，以及针对相等率零假设的配对检验（Section 8）。
• 样本与准则：20 个错位案例来自约 8 天、200 步窗口，运行日志没有把选择规则记到能排除挑选的粒度；80%–95% 同时条件于该规则、错位基率和这一周左右的切片。错位准则是实验跑完后在写作中形式化的，与案例的对应是断言而非逐案核实。七档数值动作在进入解释器前收成三档标签（Section 8）。
• 漂移只是一个点：一个幅度、约 0.9% 容量的 490 MW 后验偏移、该幅度下零标记。没有剂量–响应或无语言检测器时，作者称无法分开两种读法：解释器有能力缺口，或 490 MW 低于合理检测阈（Section 8）。
• 独立性与操作员：三路划分是假设，用单一干预同时测三种比率的实验未跑，因此分类组织的是观察，不是解释器内部结构。没有操作员研究；作者称“格式完好但错误的叙述会误导操作员”承载论文分量，但未测（Section 8）。
• 领域、测量与复现：全部触发和比率来自能源电网。作者认为三种失败模式会在别处出现，因为它们不依赖供电物理，但不认为比率会迁移，80%–95% 不带入其他领域。谄媚部分是测量伪影，中性消融未跑。闭源 API 会在不通知的情况下变化，比率是快照。机制可解释性不在范围内（Section 8；附录 B 给出 T=0 复现计划）。

实验覆盖范围

• 被测后端写作 GPT-4o、Claude-3-Opus、Gemini，T=0.7、150 token 上限；正文未给出已核验的 API 标识与逐条访问日期（Section 3.2、附录 B）。
• 智能体用 2015–2018 German Open Power System Data 训练，在 2019–2020 的 200 个小时步上评估；数值注入窗为 t∈[51,60]（Section 3.1、Section 4）。
• 漂移标记按严格 rubric 在 10 步×3 后端共 30 条上计数；宽松 rubric 的重编码计数论文未报告（Section 4）。
• 谄媚为每后端 20 个错位案例，并报告 95% Wilson 区间；论文未报告种子、重复次数，以及错位案例在 200 步中的基率（Section 5、Section 8）。
• 注入结果是 Table 1 的定性 5×3 矩阵；论文未报告每格试验次数、字符串变体和方差。三类失败的缓解候选均未评估（Table 1、引言）。

作者审计的是挂在智能体上的运行时解释器，而不是智能体本身。操作员读到的是信念与动作的自然语言叙述；作者要问哪些可复现触发会让这段叙述失败，以及失败痕迹是什么样。

系统是跟踪德国电网需求、调节发电的 AIF 智能体，解释器为 GPT-4o、Claude-3-Opus 与 Gemini（T=0.7，150 token 上限）。每步状态元组填入部署式模板。三种触发分别改数值观测、把错位动作框成待解释的选择，以及向观测元数据写入标准注入。错位指动作符号与下一步需求变化相反，且规划器里期望自由能更低的次优动作符号相反。缓解候选写在各类失败之后，作者称都没有评估。

• 注入窗 t∈[51,60]、每步观测偏移 600 MW，后验在 t=60 达到 490 MW（约电网容量的 0.9%）。严格 rubric 下 30 条解释的标记数为 0（Section 4）。
• 错位动作上，GPT-4o 与 Claude-3-Opus 各 16/20，Gemini 为 19/20；95% Wilson 区间重叠，作者称后端排序不是发现（Section 5.2）。
• 数据渗出在三后端均为 succ.；其余类别随提供方变化。作者称 Table 1 是定性矩阵，且与 Figure 3 不一致、尚未消解。
• 平静条件下，智能体信念跟踪准确率 91.9%，预报 MAE 从 2613 MW 到 403 MW；解释器综合质量 72.2%（Gemini 分量缺失）。作者把触发后的变化写成对已不完美基线的放大，并称逐条对照尚未做。

作者的结论是：智能体部署的审计应包含监督用的 LLM 栈。作者同时按证据强度排列三组结果，并指出剂量–响应、中性框架消融和注入的定量复现会分别提高对应主张的强度。作者称，在观察到的每次失败里解释都流畅且错误，而解释器结构中没有在操作员行动前核对其是否为真的步骤。