跳到正文
原文
arXiv· arXiv:2610.25947· Tina Khezresmaeilzadeh, Seyedarmin Azizi, Erfan Baghaei Potraghloo, Mehdi Kamal, Massoud Pedram·本站收录· 原文发表精选关注度40

Claim Laundering：当智能体决策模型相信记录胜过现实

Claim Laundering: When Agent Decision Models Trust Records Over Reality

论文速读

可解释性

据论文 PDF 整理（AI 生成），以原文为准

作者称更跟记录；decider-4b在ALFWorld上，目标域门控相对no gate的任务成功率+18.7个点。

问题
决策模型一次前向做停、买、推进等承诺，输入把观察和智能体自己的动作记录拼在一起。静默失败时记录可写成功、观察显示未生效。作者称跟随记录会把声称变成决策。
方法
在手机屏幕、ALFWorld、WebShop构造配对状态，分开改观察、日志和成功声称。线性探针读中间隐藏状态，activation patching看各输入在哪一层进入决策。EVIGATE用同一次前向的中间层分数否决无支持的终止选项。
实验与结果
四模型三域里记录效应均大于观察；LOGGED+CLAIM仍承诺53–100%（Table2）。目标域EVIGATE相对no gate，ALFWorld任务成功率+18.7、WebShop+5.0、模拟器+5.1个点（Table5）。
局限与可以继续做的
作者称自然mismatch频率未知。在线实验注入静默失败（两环境30%；模拟器首次40%、重试20%）。手机在线只用文本模拟器。门控需内部状态与目标域标注；微调只在离线评过，Jev只能测量。
实验设置decider-4b、Kev-4B 等 · AndroidControl、ALFWorld 等 · Wrong、paired log-probability effect 等
被测模型
decider-4bKev-4Bdecider-12bhosted Jevdecider-2bKev-0.8BKev-9BLayaQwen3.5-4B-BaseQwen3.5-4B (chat)
基准
AndroidControlALFWorldWebShopphone text simulatorHWU64DBpedia-L2
指标
Wrongpaired log-probability effectAUROCbalanced accuracytask successlatency overhead
AI 导读和推荐理由论文提出并测量智能体决策模型的“声称洗白”失效模式，即动作静默失败而记录称成功时，模型仍按记录停止或购买。作者在 Android 屏幕、ALFWorld 和 WebShop 构造反事实状态对，12 个模型与领域组合中记录对提交决策的平均影响均大于环境观察，记录声称成功后模型仍有 53%–100% 的情况选择停止、前进或购买。中间层隐状态的线性探针能识别步骤是否真的生效（AUROC 0.77–1.00），激活补丁显示记录影响在最后几层才占主导。EviGate 在同一前向中读取中间层状态否决无依据的终止决策，额外延迟 0.04%–2.0%，在 ALFWorld、WebShop 和手机模拟器中分别提升任务成功率 18.7、5.0 和 5.1 个百分点，但需用目标智能体自身状态校准。

论文提出并测量智能体决策模型的“声称洗白”失效模式，即动作静默失败而记录称成功时，模型仍按记录停止或购买。作者在 Android 屏幕、ALFWorld 和 WebShop 构造反事实状态对，12 个模型与领域组合中记录对提交决策的平均影响均大于环境观察，记录声称成功后模型仍有 53%–100% 的情况选择停止、前进或购买。中间层隐状态的线性探针能识别步骤是否真的生效（AUROC 0.77–1.00），激活补丁显示记录影响在最后几层才占主导。EviGate 在同一前向中读取中间层状态否决无依据的终止决策，额外延迟 0.04%–2.0%，在 ALFWorld、WebShop 和手机模拟器中分别提升任务成功率 18.7、5.0 和 5.1 个百分点，但需用目标智能体自身状态校准。

推荐理由论文量化了智能体决策模型宁可相信自身行动记录、忽视环境矛盾的失效模式，并给出只读中间层状态的低开销否决方法。

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    作者称冲突时记录效应大于观察，并用中间层否决器EVIGATE拦截承诺。

    静默失败后，决策模型的下一承诺更跟记录还是更跟观察？

    • 场景：作者称智能体反复做停或继续、买或再看、前进或重试。System-One决策模型一次前向给出各选项概率，比LLM生成更低延迟。记录常按意图写入；静默失败时记录可写成功、观察显示未生效。作者称观察才对，跟随记录即claim laundering。
    • 作者引用的后果：Ling et al. (2026b)称换用Jev后AndroidWorld成功率降13–18个点，过早完成是主因之一；Advani (2026)称τ2-bench与AppWorld上45–76%的失败是false success。作者认为这些是症状，本文问决策组件信记录还是信观察。
    • 输入冲突：模型不看环境，只读目标、记录（T3A摘要、ReAct thought、点击日志）和当前观察。作者报告Qwen3.5-9B即使用T3A的“be critical”提示，仍有39%（78/200）无效果步骤被写成成功（§4）。
    • 本文：三域配对状态分开改观察、日志和成功声称；探针与activation patching检查内部证据；EVIGATE在同一次前向的中间层否决无支持的承诺；并比较域内微调。
    • 设定（作者称不需要攻击者；论文未写攻击者知识或能力）：
      • 输入为目标、智能体记录、最新观察和带类型问题，输出承诺选项概率。
      • 记录含logged action与explicit success claim；took effect指环境到达预期后状态。
      • mismatch：记录暗示达成，观察不支持。承诺选项为complete、推进子目标、buy now。

  2. 有哪些相关研究？

    相关工作覆盖决策模型、错误记录和智能体探针；作者把本文放在消费记录的决策层。

    论文在Background与Related Work中讨论决策模型、已有失败模式、不可靠记录和探针门控。

    • 决策模型：Jev（TypeSafe AI, 2026）、decider（Marosi, 2026）、Kev（Palmer, 2026）、Laya（Convai Innovations, 2026）在一次前向里对带类型问题给出各选项概率。Ling et al. (2026a)统计公开项目用Jev做路由、打分和动作选择。Ling et al. (2026b)把Jev接进T3A与ReAct，并报告替换LLM动作选择可降低每次决策成本。

    • 其他决策失败：Azizi et al. (2026a)与Sun et al. (2026)写这些模型更跟选项名而非定义；Azizi et al. (2026b)写对抗性改名可绕过护栏；Ling et al. (2026b)把过早complete与端到端成功率下降联系起来。作者把本文与这几篇分开：不需要攻击者，测的是记录与环境证据冲突。

    • 不可靠记录：Advani (2026)、Wang et al. (2026)描述智能体在环境无对应证据时仍报告成功或进度。Hu (2026)描述上游摘要漏掉unverified标记时，安全监控可能批准有风险动作。作者接着问这种不一致如何影响消费记录的决策模型，以及模型为何更信记录。

    • 探针与门控：Mammen et al. (2026)用智能体隐藏状态预测任务成功；Ruan et al. (2026)用探针级联提前中止回合；Fayyazi et al. (2026)报告虚假陈述常先于未授权动作、谎言在其后，并用探针门控、用steering减少后续谎言。作者写明区别：那些工作读智能体自身隐藏状态，本文读消费其记录的决策模型。

    • 基线与基准：检测对照为自身分数调阈值、追加yes/no、同比率random veto、去掉屏幕的对比解码（Shi et al., 2024）、从输入删除记录，以及模拟器中的Qwen3.5-9B judge。微调对照使用反事实配对（Kaushik et al., 2020; Li et al., 2023; Wei et al., 2023; Zhao et al., 2025）。数据为AndroidControl（Li et al., 2024）、ALFWorld（Shridhar et al., 2021）、WebShop（Yao et al., 2022）；请求格式沿用Ling et al. (2026b)。

    作者将本文放在不需要攻击者的record–state mismatch上：中间层仍可分开成功与失败，但后层记录相关影响压过观察；检测器要用目标智能体自己的状态校准。

  3. 论文如何解决这个问题？

    用配对状态拆开观察与记录，EVIGATE读中间层且不增加前向。

    配对状态把观察、日志和成功声称拆开，测量谁推动承诺；EVIGATE再用同一次前向的中间层分数否决无支持的终止决策。

    效应定义

    五个变体固定目标、问题和无关上下文：DONE（已记录且观察显示预期效果，无显式声称）、DONE+CLAIM、HONEST（未尝试、未记录、观察为前一状态）、LOGGED（记了动作但无效果）、LOGGED+CLAIM（失败侧的声称是错的）。

    记L(v)=log pθ(a⋆∣ xv)，即变体v上承诺选项的对数概率。观察效应比较DONE与LOGGED，日志效应比较LOGGED与HONEST，声称效应比较LOGGED+CLAIM与LOGGED。正值表示更支持承诺。作者举例：+0.7大约是概率变为两倍，不是提高70个百分点。检测还比较两边都带声称的DONE+CLAIM与LOGGED+CLAIM。

    三域怎么造

    • 规模：Table 1为手机3,200态（complete，屏幕不变）、ALFWorld 1,475（proceed，反馈“Nothing happens.”）、WebShop 1,500（buy now，选项未选）。共6,175态、1,235个决策点。请求格式沿用Ling et al. (2026b)，比较时只改被测成分。
    • 手机：AndroidControl的屏幕元素文本，245个app，不是像素。成功观察取完成动作之后的屏幕；作者按数据集意图假设该动作完成任务。失败变体把记录配到未变的前一屏，不是另一次真实失败执行。声称是四句固定模板之一。
    • 另外两域：ALFWorld在专家轨迹上至多三个改变状态的步骤，变动记录里有没有尝试步和成功thought。WebShop失败变体保留点击记录，当前页显示未选中。作者称这是受控反事实，不估计未改部署里静默失败有多常见。

    探针与patching

    开放模型每两层取答案位置隐藏状态，标准化后做ℓ2逻辑回归，C=0.02。同一决策点的变体不跨折；按app、任务或目标做GroupKFold。层在训练组内、网络上部三分之二里选出，不在测试组上选（附录A）。

    Activation patching把某一层决策位置状态换成配对状态的，看恢复多少log p差。decider-4b每域100个决策点，每对19次前向，只留log p差大于0.2的对。decider-12b用同一过滤（附录E）。另从某一层起删掉记录token再算后面的层；因24/32层是循环线性注意力，作者用删除而不是mask（附录D）。

    EVIGATE

    s=σ(w⊤h̃ℓ+b)是标准化中间状态上的线性读出，估计上一步是否生效。模型选出终止选项且s低于τ时否决，改选概率最高的非终止选项（Algorithm 1）。不增加前向。τ在留出校准状态上最大化balanced accuracy。标签来自环境：选项是否选中、动作是否返回“Nothing happens.”。

    在线读第20层。ALFWorld阈值0.158，用100局训练游戏的148个状态；WebShop阈值0.229，用其他300个目标上的480个状态；模拟器用另一半任务的384个模板状态。无训练对照是调阈值的自身分数，以及追加一问这一步是否生效。

    微调设定

    decider-4b冻结原权重，全部线性层加rank-16 LoRA（论文写大约0.8%参数、32.5 million可训练参数）。标签是步骤是否生效。损失是承诺选项的二分类，另加一项KL，使非承诺选项分布接近原模型。三套适配器：205个app的2,755个手机状态；三域各1,000；以及全部2,755手机状态再加两域各1,000。测试留出app、游戏和目标。

  4. 论文做了哪些实验？

    作者称decider-4b上，ALFWorld目标域EVIGATE相对no gate任务成功率+18.7个点。

    实验设置

    • 模型：三域均为decider-4b、Kev-4B、decider-12b、hosted Jev（jev-1.13-20260917）。手机另测decider-2b、Kev-0.8B、Kev-9B、Laya，以及Qwen3.5-4B base与chat。decider读选项字母logits，Kev骨干冻结、用指针头，Laya为ModernBERT编码器。Jev闭源。在线决策用decider-4b；ALFWorld的thought由Qwen3.5-9B贪心写出，WebShop由Qwen3.5-4B写出。
    • 数据：Table 1为6,175状态、1,235决策点（手机3,200、ALFWorld 1,475、WebShop 1,500）。在线：模拟器24任务、11个app、30个seed；ALFWorld 134个未见任务；WebShop 200个目标。每任务一次，贪心thought、固定失败种子。
    • 指标与区间：Wrong为LOGGED+CLAIM上仍选承诺项的比例；另有配对log p效应、AUROC、balanced accuracy、任务成功率。区间按回合、任务或决策点bootstrap（§3；附录A写1,000次，附录B对Table 7写2,000次），不把同一决策点的变体当独立样本。
    • 判定：主结果的对错由构造标签或环境反馈决定，不用LLM裁判。模拟器附录另有Qwen3.5-9B judge。摘要是否声称成功由同一9B做yes/no，附录A写该自动判断未经人工核对。
    • 注入：ALFWorld与WebShop的改变状态动作或选项点击以0.3概率不执行。模拟器决定性动作首次0.4、其后0.2无效；失败后记录以0.7概率写成完成。作者称无注入时mismatch仍来自智能体自己的乐观记录（§4）。
    • 门控：在线读第20层。阈值见第3问。对照含第二问和同比率random veto。离线对比集拟合未在模拟器运行（Table 5注）。

    主结果

    LOGGED+CLAIM下仍选承诺项的比例（Table 2）。四模型均覆盖三域。

    表格较宽，可左右滑动

    模型手机ALFWorldWebShop
    decider-4b95%90%100%
    Kev-4B96%80%53%
    decider-12b84%97%99%
    hosted Jev88%95%99%
    • 作者称12个配置里，承诺log p的最大平均升幅都来自记录而非观察；较大记录效应减去观察效应的配对95% bootstrap区间都在零以上。最近的是Kev-4B在ALFWorld：claim减observation为+0.04 [+0.01, +0.07]（§4、附录Table 7）。
    • 虚假声称在场时，作者称把观察从失败改成成功至多移动+0.24；decider-4b与decider-12b在手机和WebShop上为+0.035或更小（对附录Table 7的概括）。WebShop上已记录点击把购买log p提高+0.31到+3.71，观察效应在−0.09到+0.20（§4）。
    • LLM摘要：失败条件下39%（78/200）写成成功。给定这种假摘要，decider-4b、Kev-4B、hosted Jev选complete的比例为77%、94%、80%；诚实摘要为26%、48%、27%。作者称过早完成提高46–53个百分点。Kev-9B是手机上的部分例外：屏幕+0.34、日志+0.27、声称+0.24，但仍在65%的声称失败后complete（§4）；论文未写这65%的分母。

    隐藏状态与层位

    Claimed子集AUROC，格式为Head / Probe（Table 3）。成功与失败带同一声称。Jev不能探针。

    表格较宽，可左右滑动

    模型手机ALFWorldWebShop
    decider-4b.51 / .74.96 / 1.00.54 / 1.00
    Kev-4B.55 / .79.80 / 1.00.65 / 1.00
    decider-12b.61 / .77.72 / 1.00.53 / 1.00
    hosted Jev.68 / 未报告.89 / 未报告.52 / 未报告
    • 作者称手机开放模型在该子集上探针比Head高0.16–0.24。全部状态上开放模型探针为0.77–1.00。ALFWorld与WebShop的文本分类器也可到1.00；作者认为不应把完美探针当成复杂隐藏推理的证据。手机文本分类器为0.59，低于全部状态上探针的0.77–0.80（§5）。
    • 正文对Figure 2（decider-4b）：第24/32层，patching恢复观察效应的60%（手机）和72%（具身）；声称仅25%与21%，Web点击日志12%。第30层为62%、46%、61%。第16层之前无效应。WebShop观察效应+0.02，图中只画点击日志曲线（n=100）。
    • decider-12b第32层：观察恢复46–66%，日志10–42%，声称22–38%；记录到第42层才到63–85%（附录Table 14）。从第20层起删记录token，两域过早承诺率与正常前向相同（Table 12）。作者认为一种可能是影响已扩散到后续token。合成诊断集上，转向答案位置最好从0.48到0.70，读中间层探针为0.89（§6）。

    在线智能体

    任务成功率（%），同一任务和种子（Table 5）。模拟器的目标域状态是另一半任务的模板；另外两域是同智能体在其他任务上的记录。

    表格较宽，可左右滑动

    条件模拟器ALFWorldWebShop
    No gate77.242.58.5
    第二问83.261.27.0
    离线对比集EVIGATE未报告58.22.5
    目标域EVIGATE82.461.213.5
    同比率random veto77.658.24.5
    目标域减no gate+5.1+18.7+5.0
    • 配对95% CI（任务上）：相对no gate为模拟器[1.8, 8.9]、ALFWorld[11.9, 26.1]、WebShop[1.0, 9.5]。相对random veto为+4.7 [1.7, 8.2]、+3.0 [−1.5, 7.5]、+9.0 [4.5, 13.5]。ALFWorld该区间含零。作者称其中80%被门控步骤跟在真实失败后，重试多半正确，random veto回收了大部分增益。
    • 作者称第二问在失败容易看见时接近门控，在WebShop低于no gate。作者称EVIGATE是唯一在三域都有帮助的方法。离线对比集拟合在WebShop否决95%购买；ALFWorld不高于random。作者称在线记录与离线不同，来自智能体自身的几百个状态可以修好。
    • 作者称恢复动作限制增益：WebShop否决后购买46次，对照78次，智能体常闲逛而不补选缺失选项。模拟器附录Table 16：EVIGATE成功率82.4%，9B judge为81.5%；judge每次成功的调用更多。

    其他消融与分析

    • 微调（Table 6，留出集）：仅手机训练后手机Wrong从91%到47%，Claimed AUROC从.50到.84；ALFWorld Wrong仍91%，WebShop仍100%。三域各1,000时两域Wrong到0%，手机回到89%。加上全部2,755手机状态后，手机47%、ALFWorld 0.3%、WebShop 0%。HWU64为84.5、84.3、84.8、85.0；DBpedia为77.5、78.3、78.3、78.5。
    • 删输入记录（Table 13，decider-4b）：手机正确完成被否决93%，完成概率AUROC 0.53；ALFWorld、WebShop仍放过9.5%与6.0%失败步，EVIGATE为0.5%与0%。
    • 离线门控：附录Table 10七个手机模型里，EVIGATE的balanced accuracy都高于同行动其他列。Table 4手机decider-12b的Wrong在自身分数与EVIGATE下都是33%，balanced accuracy从.63到.73。
    • 延迟（Table 15）：decider生产引擎额外0.04%到2.01%；Kev路径从1207.8 ms到1211.2 ms（0.29%）。第二问额外93–98%，对比解码56–79%（附录F）。摘要写0.04–2.0%。
    • best-of-16（Table 17，50个WebShop目标）：探针选中成功尝试40.0%，模型自判28.0%，差12.0个点[2.0, 22.0]；oracle 44.0%。探针训练目标是选项是否选全，不是一般购买正确性。
    • 骨干（Table 11，1,000手机状态）：Qwen3.5-4B-Base声称效应+.51、观察+.02，作者称该观察效应不显著。决策微调后Kev日志效应从+.15到+.21，decider到+1.12。合成模板训、真实屏幕测的探针为0.63 AUROC（§5）。

  5. 有什么可以进一步探索的点？

    作者称自然频率未知，缓解依赖目标域标注和模型内部。

    作者指出的局限与后续方向

    • 为凑够mismatch，在线智能体注入静默失败：ALFWorld与WebShop为30%动作；手机模拟器首次尝试40%、重试20%（§11）。
    • 离线实验未向在线执行注入失败，用的是真实轨迹和LLM摘要；部署中这类mismatch自然出现的频率仍未知（§11）。
    • 没有Android仿真，在线手机智能体在文本模拟器中跑，真实手机屏幕只做离线评估（§11）。
    • ALFWorld与WebShop的失败留有显式文本痕迹，标签可靠，但mismatch更容易检测；手机域用真实屏幕，失败是隐式的，作者称这覆盖更难的情形（§11）。
    • 缓解需要目标智能体的标注状态和模型内部：EVIGATE依赖隐藏激活，微调还要权重；hosted Jev有同样偏向，但只能测量（§11）。§9写权重不能改时两者都不能直接用，因而需要托管决策API暴露中间状态。
    • 微调只做了离线评估；增益能否像EVIGATE一样带到在线智能体，仍待测试（§9）。

    实验覆盖范围

    • 离线配对覆盖decider-4b、Kev-4B、decider-12b、hosted Jev与三域共12个配置；手机另有decider-2b、Kev-0.8B、Kev-9B、Laya及Qwen3.5-4B base/chat（§4、附录C）。状态6,175，决策点1,235（§3）。
    • 探针只对开放模型；Jev闭源，Table 3探针列为破折号。patching在decider-4b（每域100点）和decider-12b上做（§6、附录E）。
    • 在线为文本模拟器24任务×30 seed、ALFWorld 134个未见任务、WebShop 200个目标，每任务一次（§8）。论文写Live AndroidWorld需要KVM，作者未跑。
    • 在线EVIGATE用decider-4b、第20层；校准状态为ALFWorld 148、WebShop 480、模拟器384。离线对比集拟合有ALFWorld与WebShop结果，模拟器未跑该行（Table 5注）。
    • 微调只报告decider-4b的三种适配器，测试在留出app、游戏和目标上；通用任务抽查HWU64与DBpedia-L2各前400条（§9、附录H）。附录A写摘要成功与否的自动判断未经人工核对。

  6. 总结一下论文的主要内容

    作者称记录压过观察；目标域校准后，门控在三域提高任务成功率。

    作者研究一次前向的智能体决策模型：输入把目标、动作记录和当前观察拼在一起，静默失败时两边会冲突。作者称跟随记录、忽略观察，就是claim laundering。

    • 测量：手机屏幕、ALFWorld、WebShop的配对状态里，decider-4b、Kev-4B、decider-12b、hosted Jev共12个配置，记录对承诺log p的平均效应都大于观察。LOGGED+CLAIM下仍承诺的比例为53–100%（Table 2）。虚假声称在场时，改观察至多移动+0.24（附录Table 7）。
    • 内部：开放模型线性探针在留出组上AUROC为0.77–1.00（Table 3）。手机Claimed子集的输出接近机会（0.51–0.61），探针为0.74–0.79。作者称观察在中层已到决策位置，记录相关影响在后层变强（Figure 2、§6）。
    • 门控：EVIGATE读中间层，不增加前向。用目标域状态校准后，相对no gate，decider-4b的任务成功率在模拟器+5.1、ALFWorld+18.7、WebShop+5.0个点（Table 5）。离线对比集校准在WebShop降到2.5%。作者称必须用部署智能体自己的状态校准。
    • 微调：decider-4b的LoRA只在有足够配对数据的域去掉偏向；只训手机则另外两域不变（Table 6）。作者只做了离线微调。
    • 作者的结论：能改权重时，域内配对数据可改输出；否则读中间层。托管模型需要暴露中间状态。实践上，尽量不把未核验记录放进决策状态，否则用模型已经编码的证据核对终止决策。
阅读原文arxiv.org