跳到正文
原文

机制可解释性能否帮助解释 LLM 智能体失败?网页元素幻觉案例研究

Can Mechanistic Interpretability Help Explain LLM Agent Failures? A Case Study on Web Element Hallucination

arXiv:其他 AI 安全论文· arXiv:2611.18514· Mohamed Aghzal, Mor Geva, Gregory J. Stein, Ziyu YaoGeorge Mason University; Tel Aviv University本站收录· 4 天前· 原文发表对齐· 扫描记录里的位置 →

论文速读

可解释性

据论文 PDF 整理(AI 生成),以原文为准

作者用 MI 工具分析 Qwen2.5-7B-Instruct 网页智能体的元素幻觉:探针可提前预测(0.80 AUC)、steering 修复 85%,但无法完整解释机制。

问题
MI 在解释单轮 LLM 上已有进展,但智能体失败跨越长轨迹、多组件,机制尚不清楚。作者以网页智能体幻觉出不存在的页面元素为案例,考察标准 MI 工具能解释到哪一步。
方法
在 Online-Mind2Web 真实网站上运行 Qwen2.5-7B-Instruct,收集 300 个 episode,对其施加组件干预、activation patching、线性探针、representation steering 和预训练 SAE 分析。
实验与结果
prompt_end 探针在生成前以 0.80 AUC 预测幻觉;selector_start L17 steering 修复 85.4% 幻觉、误伤 7.0%;但组件干预最多修复 8.9%,且探针方向随动作列表格式变化而失效。
局限与可以继续做的
作者指出:缺少面向智能体的 MI 基准、反事实难以在有状态环境中构造、SAE 基于文本语料训练。实验只用 Qwen2.5-7B-Instruct 一个模型和 Online-Mind2Web 一个基准。
实验设置Qwen2.5-7B-Instruct · Online-Mind2Web · AUC、Fix rate 等
被测模型
Qwen2.5-7B-Instruct
基准
Online-Mind2Web
指标
AUCFix rateBreak rateP(Search) 恢复量
AI 导读论文检验机制可解释性(MI)方法能否解释 LLM 智能体的失败,以网页智能体幻觉出网站上不存在的操作为案例。作者对与真实网站交互的 Qwen2.5-7B-Instruct 做了一系列机制分析,发现训练在最后一个提示词 token 上的线性 probe 可在生成开始前预测幻觉(0.80 AUC),沿 probe 方向进行 steering 能纠正 85% 的幻觉,但会干扰 7% 的有效操作。作者指出这些结果只构成部分解释:probe 方向对提示格式敏感,动作表示方式稍有改动后 steering 效果大幅减弱;计算分布在多个组件和位置上,智能体依赖的信息因样本而异,电路识别因此困难。论文讨论了这些观察如何挑战电路发现与特征识别等标准 MI 方法背后的假设,并概述了让这些方法更适合解释 LLM 智能体失败的未来方向。

论文检验机制可解释性(MI)方法能否解释 LLM 智能体的失败,以网页智能体幻觉出网站上不存在的操作为案例。作者对与真实网站交互的 Qwen2.5-7B-Instruct 做了一系列机制分析,发现训练在最后一个提示词 token 上的线性 probe 可在生成开始前预测幻觉(0.80 AUC),沿 probe 方向进行 steering 能纠正 85% 的幻觉,但会干扰 7% 的有效操作。作者指出这些结果只构成部分解释:probe 方向对提示格式敏感,动作表示方式稍有改动后 steering 效果大幅减弱;计算分布在多个组件和位置上,智能体依赖的信息因样本而异,电路识别因此困难。论文讨论了这些观察如何挑战电路发现与特征识别等标准 MI 方法背后的假设,并概述了让这些方法更适合解释 LLM 智能体失败的未来方向。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    考察标准 MI 工具能否解释真实场景中的智能体失败,以网页元素幻觉为案例。

    核心问题:现有 MI 工具能否解释 LLM 智能体在真实环境中的失败?作者以网页智能体幻觉出页面上不存在的元素(如 Search、Explore)为案例研究。

    • 问题场景:LLM 智能体按序决策,失败模式与单轮 LLM 不同,会在长轨迹上出现并累积;作者称这些失败背后的机制仍缺乏理解,而智能体可靠性对性能和安全都重要。
    • 现有方法的不足:作者称 MI 的成功解释大多来自输入固定的窄任务;面向智能体的 MI 工作局限于玩具环境或静态设置,真实环境中智能体失败的机制基本未知。
    • 核心观察:智能体失败跨越多个时间步和组件,输入分布每步都变,作者认为这挑战了 MI 方法背后的 localizability 与 stationarity 假设。
    • 论文做了什么:在 Online-Mind2Web 真实网站上对 Qwen2.5-7B-Instruct 施加一系列 MI 分析(组件干预、activation patching、线性探针、steering、SAE),并给出面向智能体的 MI 研究路线图。
    • 分析对象(非威胁模型):论文研究模型自身的幻觉行为,不涉及攻击者;幻觉定义为模型生成了不在给定动作列表中的动作(Figure 1)。
  2. 有哪些相关研究?

    相关工作分四组:智能体失败分析、MI 方法及其局限、幻觉研究、智能体组件框架。

    LLM 智能体及其失败

    • Zhou et al. (2024)、Deng et al. (2023a)、Xue et al. (2025)——网页导航智能体与基准(WebArena、Mind2Web、Online-Mind2Web)。
    • Aghzal et al. (2026b)、Cemri et al. (2025)、Zhu et al. (2025)——分析(多)智能体系统的失败模式;Aghzal et al. (2026a) 提出解释智能体需要结合行为分析与 MI 的多层归因框架,本文聚焦其中的机制层。

    Mechanistic Interpretability 方法

    • Meng et al. (2022)、Wang et al. (2023)、Hanna et al. (2023)、Ameisen et al. (2025)——circuit discovery 与 activation patching,论文指出其成功依赖 localizability 与 stationarity 假设。
    • Bricken et al. (2023)、Huben et al. (2024)——SAE 特征分解;Belinkov (2022)、Tenney et al. (2019)——probing;Zou et al. (2023)、Turner et al. (2024)、Rimsky et al. (2024)——steering vectors。
    • Sharkey et al. (2025) 列出 MI 开放问题;Orgad et al. (2026) 称 MI 缺少基于 actionability 的评估标准,少有发现带来实际性能提升。

    MI 在分布偏移与智能体场景的局限

    • Kantamneni et al. (2025)、Pacela et al. (2026)——SAE 与线性探针在 covariate shift 下性能下降;Lampinen et al. (2026)——线性表示在多轮对话中变化。
    • Men et al. (2024)、Nanda et al. (2023)、Ustaomeroglu et al. (2026)——玩具环境或静态设置下的序列决策 MI;Lubana et al. (2026)——标准 SAE 难以编码时间特征。

    幻觉

    • Zhang et al. (2025)——LLM 幻觉综述;Aghzal et al. (2026b)——前沿模型在最小动作空间下也会编造指向不存在页面元素的动作,本文沿用该设定。
    • Sun et al. (2025, ReDeEP)——将 RAG 幻觉归因于 FFN 贡献盖过 attention head,并通过定向干预缓解;本文检验该结论在网页智能体场景是否成立。

    定位:作者称本文与上述工作的区别在于,在真实网站交互场景下系统检验标准 MI 工具的适用性,并指出其假设在智能体设置中何处失效。实验未设对比基线方法,分析基于 Online-Mind2Web。

  3. 论文如何解决这个问题?

    在真实网页交互数据上对 Qwen2.5-7B-Instruct 施加五类 MI 分析,检验各工具假设是否成立。

    整体思路:在真实网页智能体失败案例上逐一施加标准 MI 工具,观察每个工具能解释多少、在哪里失效,从而定位其假设与智能体设置的冲突。

    数据构建与幻觉定义

    • 在 Online-Mind2Web 的实时网站上运行 Qwen2.5-7B-Instruct,动作空间限定为 CLICK、SCROLL、TYPE、HOVER(沿用 Mind2Web 设定),每个任务最多 10 次交互。
    • 每步根据网页构造候选动作列表提供给模型;幻觉动作定义为模型生成了不在列表中的动作(Figure 1)。
    • 最终数据集为 300 个 episode、2,071 个动作,其中 32.6% 为幻觉;提示词模板见附录 B。

    组件归因(circuit discovery 侧)

    • 单组件干预:逐层将 FFN 输出放大 10 倍、向单个 attention head 注入高斯噪声,在 selector_value_start 位置测量对 P(valid token) 的影响(附录 D)。
    • 联合干预:按 Sun et al. (2025) 的方式,以系数 β 缩放若干 FFN、以系数 α 缩放若干 attention head,报告 fix rate(幻觉变有效的比例)与 break rate(有效变幻觉的比例)。
    • Activation patching:针对模型在 selector value 开头生成 Search 的案例,分别腐蚀 selector start、任务描述、动作列表三个 span,再逐层逐位置恢复干净隐状态,测量 P(Search) 的恢复量(附录 G)。

    特征识别侧

    • 线性探针:在 prompt_end、selector_start、selector_value_start 三个位置、全部 28 层的残差流上独立训练探针,按 episode 级 70/15/15 划分(1,433 训练 / 282 开发 / 356 测试动作)。
    • Representation steering:取探针权重构造 steering 向量 v̂ = −(w/σ)/∥w/σ∥,其中 w 为探针权重、σ 为训练集每维标准差,方向指向探针决策边界的有效侧;扫描 α ∈ {10, 20, 40, 60, 80}(附录 I)。
    • SAE 分析:将 Qwen2.5-7B-Instruct 的预训练 BatchTopK SAE(131,072 特征,k=64)应用于 L27 的 action list span,比较幻觉与有效样本的特征激活差异(附录 K)。

    分布外泛化测试

    • 将动作列表从 JSON 格式改为编号 markdown 列表(附录 J),在相同 300 个任务上重跑,检验探针与 steering 向量是否跨格式迁移。

    反事实构造尝试

    • 通过从动作列表中删除所选有效动作来构造配对反事实,检验 activation patching 所需的结构匹配前提(附录 H)。
  4. 论文做了哪些实验?

    探针可提前预测、steering 可修复多数幻觉,但组件归因和跨格式泛化均失败。

    实验设置

    • 被测模型:Qwen2.5-7B-Instruct(唯一被分析模型)。
    • 数据:Online-Mind2Web 实时网站交互,300 个 episode、2,071 个动作,32.6% 为幻觉动作。
    • 指标:探针 AUC;干预的 fix rate 与 break rate;activation patching 的 P(Search) 恢复量。
    • 探针划分:episode 级 70/15/15,1,433 训练 / 282 开发 / 356 测试动作。
    • SAE:Qwen2.5-7B-Instruct 预训练 BatchTopK SAE(131,072 特征,k=64),用于 L27。
    • 算力:单张 NVIDIA A100 80GB;论文未报告重复次数与统计检验。

    主结果

    表格较宽,可左右滑动

    分析设置结果出处
    线性探针prompt_end,L18测试 AUC 0.80Figure 4
    Steeringselector_start L17,α=40fix 85.4% / break 7.0%Table 5
    Steeringselector_start L18,α=40fix 82.9% / break 7.0%Table 5
    联合组件干预L22 全部头 α=3 + FFN L22–24 β=0.5fix 8.9% / break 2.4%Table 1
    Activation patching动作列表 span,L27 残差恢复P(Search) 恢复 0.360Table 2
    Steering 跨格式同一 L17 向量,OOD 格式 α=40fix 58.1% / break 7.0%Table 6
    • 作者认为,生成前即可预测且 steering 有效,说明幻觉承诺在生成开始前已编码在残差流中。
    • 作者认为,组件干预收益低且 fix/break 同时偏高,说明幻觉是分布式、耦合的计算,单组件归因无法解释。
    • 作者认为,跨格式后 fix rate 下降(Table 6 报告 α=40 时约 27 个百分点),说明探针方向与动作格式纠缠,而非纯粹的幻觉方向。

    组件归因细节

    • 单组件干预(Figure 2):多数 FFN 对 P(valid) 影响小或为负,多数 attention head 贡献小;相关性分析显示 L22 attention head 在两类样本间差异最大,但除 L24 外没有组件单独干预时导致幻觉。
    • Table 1 中针对 top-10 因果归因头的定向干预仅 4.4% fix / 3.5% break;附录 F 的 Table 3 报告了更多配置,按净收益排序,多种配置 break 远高于 fix(如 L25H23 + L20×10:fix 0.19% / break 100.00%)。
    • 作者称干预产生的幻觉(如语法无效的 selector 串)与零样本下语义连贯的自然幻觉性质不同(附录 E)。

    输入位置与反事实

    • Activation patching(Table 2):动作列表是主要因果贡献者(L27 恢复 0.360,selector start 与任务描述均不足 0.02),但作者称无法确定动作列表的哪些属性驱动承诺,且需腐蚀的 span 跨样本不稳定。
    • 腐蚀动作列表后,在一半所选值曾出现在历史动作中的有效步骤上,模型从历史中恢复该值(Figure 3:Action history 组 71% 不受影响,Action list only 组 21% 不受影响,Page text 组 40% 不受影响)。
    • 反事实构造(附录 H,Table 4):删除所选有效动作仅 38% 产生幻觉;step 1 起两条轨迹的 selector 一致率降至约 25%,DOM Jaccard 相似度降至 0.52,作者称配对试验前提不成立。

    SAE 与 logit lens

    • SAE(Figure 7):L27 上按类间激活差异排序的 top-10 特征,提升的 token 大多与观察到的幻觉行为无关;作者称文本语料上预训练的 SAE 难以解释智能体交互中出现的特征。
    • Logit lens(附录 C,Figure 8):L21–27 幻觉样本收敛到 Search、Enter、Find、Explore 等语义连贯但页面不存在的标签,且模型常在 L24 先产生中文词再收敛到英文词;作者认为模型承诺于未落地到具体网站的策略。

    其他消融与分析

    • Steering 全配置(Table 5):prompt_end 与 selector_value_start 位置明显更弱,如 prompt_end L18 α=40 为 41.5/10.8,selector_value_start L21 α=40 为 17.1/29.5。
    • α 扫描(Table 5):selector_start L17 在 α=60 时 fix 降至 48.8%、break 升至 30.2%,α=80 时 fix 0.0%、break 96.9%。
    • 探针跨格式(Figure 6):改为编号列表格式后探针 AUC 下降;正文称 steering 有效性随之下降。
    • 负面结果:预训练 SAE 未产生可解释特征;单组件干预无法复现自然幻觉模式。
  5. 有什么可以进一步探索的点?

    作者提出五项路线图方向;实验仅覆盖单模型、单基准、一种失败模式。

    作者指出的局限与后续方向

    • 智能体 MI 基准(Section 5):目前不存在面向智能体应用的 MI 基准;作者认为需要同时规定环境、轨迹分布、轨迹级失败的 ground truth 及正确机制解释的标准。
    • 超越单位置/单组件归因(Section 5):能归因跨多个时间步与环境状态分布的失败的归因方法仍然稀缺。
    • 有状态环境中的反事实构造(Section 5):现有方法(Tsirtsis et al., 2021; Triantafyllou et al., 2025)假设已知状态空间和可比较轨迹,不适用于开放式环境,需要新方法。
    • 面向智能体分布的特征发现(Section 5):需要在智能体轨迹上训练 SAE、发展超越线性的几何结构与面向智能体的特征本体。
    • 跨时间步监控模型信念(Section 5):需要能跨层、跨时间步追踪计划形成、识别模型从开放探索转为固定计划之转折点的方法。
    • 跨智能体类型的 universality(Section 5):某一类智能体中发现的 circuit 是否出现在其他类型(如具身、代码生成)中,仍是开放问题。

    实验覆盖范围

    • 被测模型仅 Qwen2.5-7B-Instruct 一个(Section 4.1)。
    • 基准仅 Online-Mind2Web,动作空间限定为 CLICK、SCROLL、TYPE、HOVER;失败模式仅网页元素幻觉(Section 4.1)。
    • 数据规模为 300 个 episode、2,071 个动作;探针测试集 356 个动作(Section 4.3)。
    • SAE 分析使用第三方预训练 checkpoint,未在智能体轨迹上训练 SAE(附录 K)。
    • 论文未报告实验重复次数、置信区间或统计显著性检验;附录 A 讨论了向具身、工具调用、代码生成智能体的推广,但未做实验。
  6. 总结一下论文的主要内容

    MI 工具能检测并干预智能体幻觉,但无法完整解释其机制,作者给出路线图。

    一篇分析型论文:考察标准 MI 工具在真实智能体失败上的解释力,以网页智能体幻觉不存在的页面元素为案例。

    • 问题:智能体失败跨越长轨迹与多组件,作者称现有 MI 的成功解释多来自输入固定的窄任务,真实智能体失败的机制基本未知。
    • 方法:在 Online-Mind2Web 真实网站上运行 Qwen2.5-7B-Instruct,收集 300 个 episode(2,071 个动作,32.6% 幻觉),施加组件干预、activation patching、线性探针、steering 与预训练 SAE 分析。
    • 检测可行:prompt_end 位置 L18 的线性探针在生成任何 token 之前即以 0.80 AUC 预测幻觉(Figure 4),作者认为幻觉承诺在生成前已编码。
    • 干预部分可行:selector_start L17 的探针方向 steering(α=40)修复 85.4% 幻觉、仅误伤 7.0% 有效动作(Table 5)。
    • 解释不完整:最佳组件联合干预仅修复 8.9%(Table 1);动作列表是主要因果输入但具体驱动属性不明(Table 2);动作列表格式微调后探针与 steering 均退化(Table 6、Figure 6);预训练 SAE 未给出可解释特征(Figure 7)。
    • 作者结论:这些工具能检测并引导智能体远离失败,但不能解释决策如何产生;作者认为需要面向智能体特性专门设计的方法,并提出基准、分布式归因、反事实构造、智能体分布特征发现、信念监控与跨智能体 universality 六项方向。
阅读原文arxiv.org