StateWise:在 Agent 执行动作前诊断并修复持久操作状态
StateWise: Diagnosing and Repairing Persistent Operational State Before Agent Actions
StateWise在动作前修复无效持久状态;150例损坏记忆下OC 93.3%,基线38.7%,未见不安全动作。
论文称此类失败不需要攻击者。编码智能体跨任务复用可能过时、冲突或作用域不匹配的持久操作记录。
- 编码智能体跨任务复用持久操作记录。环境或需求变化会使记录失效,而动作审查、来源追踪和澄清可能不改正底层持久状态。作者审计编码智能体轨迹,认为继续复用无效记录会连到任务失败和不安全修改。
- StateWise在副作用发生前,用记录级反事实重规划找出决策关键记录,再经可靠性检查、只读验证或定向澄清判定有效性。已确认修正按类型和作用域写回并保留谱系,智能体从修复后的状态重规划,独立检查通过才执行,否则安全停止。
- 150例损坏目标记忆下,StateWise的OC为93.3%、AC为92.8%,基线OC为38.7%、UAR为42.7%,作者称未见不安全动作。32条四任务序列上AFS为90.6%;106个未见配置上OC为93.4%、UAR为零。
- 作者称审计依赖模型标注且主要覆盖一个智能体家族;可执行评测为受控单记录缺陷、模拟开发者回应、有限跨模型集合和四任务序列。正文未报告归因F1与调用、token、交互成本的数值。
- 威胁模型
- 论文称此类失败不需要攻击者。编码智能体跨任务复用可能过时、冲突或作用域不匹配的持久操作记录。决策关键指固定其他规划输入时,改变或移除记录会改变提议动作。失败指缺陷记录改变动作并导致不正确或不安全结果。恢复在外部副作用前验证前提、按作用域写回并重规划。
- 被测模型
- GPT-5.6-solDeepSeek v4 ProQwen 3.7 MaxClaude Fable 5
- 基准
- SWE-chat150 executable coding-agent cases150-case set with erroneous target values150-case set with correct values and defective supporting context20-case cross-model set32 four-task sequences
- 指标
- OCACCSUARRRAFS
论文提出 StateWise 框架,在 Agent 执行动作前诊断并修复持久的操作状态。该框架用记录级反事实重规划识别决策关键记录,再通过可靠性检查、对机器可观测事实的只读验证和针对开发者意图的定向澄清确认其当前有效性,并以类型化证据绑定支持带修复谱系的持久修正。在 150 个可执行编码 Agent 用例上,持久状态被损坏时 StateWise 的总体正确率为 93.3%,基线 Agent 为 38.7%,且未出现不安全动作。
深度解读
这篇论文试图解决什么问题?
编码智能体复用可能已失效的持久操作记录,StateWise在动作前诊断并按作用域修复。
编码智能体把可能已失效的持久操作记录当作后续动作前提,现有机制往往不修正这条记录本身。
- 场景:编码智能体跨任务保留环境事实、仓库策略、开发者意图、任务进度和历史观察。作者称正确性与操作安全取决于这些前提在当前上下文是否仍然有效。
- 现有不足:动作级防护可不改正持久状态错误;来源可信或一次对话纠正,也不保证记录仍有效或被写回。多记录共同支持动作时,只审操作无法分开单条记录的影响与作用域。作者称这些失败不需要攻击者。
- 观察:作者从 SWE-chat 的 100 个会话中,模型标注 60 条候选链,核对轮次与时间后保留 40 条。作者称冲突证据出现后,历史操作信息仍指导动作。
- 方法:作者提出 StateWise:执行前定位决策关键记录、核对其有效性并按作用域写回,再重规划,由独立 state–action 检查决定执行或安全停止。
- 威胁模型:
- 目标:执行前验证前提,把已确认修正保存在适用作用域内并重规划。应执行任务须完成指定变更,应停止任务须安全拒绝。
- 缺陷类型:记录可以不正确、过时、与新证据冲突,或只适用于另一作用域。r★ 是当前环境与作用域中的权威有效对照。
- 受害系统:使用工具、携带持久操作记录的编码智能体。输入为带外部副作用的提议、检索上下文和持久存储。
- 失败条件:即 persistent-state-induced action failure:记录有缺陷,且相对有效对照改变提议并导致不正确或不安全结果。决策关键指其他规划输入固定时,改动或移除记录会改变提议。
有哪些相关研究?
相关工作覆盖记忆有效性、决策来源和动作监督;作者把恢复放在三者交汇处。
相关工作被组织成记忆连续性、决策影响追踪和动作监督三组。
记忆与事实更新
- 记忆系统:A-Mem(Xu et al., 2025)在结构化记忆间建链接,并随新信息更新表示;Mem0(Chhikara et al., 2025)抽取并整合对话信息供持久检索。记忆基准考察跨会话回忆、推理和对更新信息的适应。
- 时效:时间问答研究有效期会变化的事实;智能体记忆工作考察过时记录、被取代证据和检索中的时间有效性;知识编辑研究事实更新及对相关与无关知识的影响。
- 论文只补充:对操作记录,还要看修正是否仍适用于当前任务和作用域。
影响追踪
- 不可信输入:提示注入工作考察不可信外部内容如何改变智能体行为,论文点名的包括间接提示注入、AgentDojo(Debenedetti et al., 2024)和 InjecAgent(Zhan et al., 2024)。
- 归因:MemLineage(Ouyang and Hou, 2026)做记忆谱系,另有来源分析、信息流追踪和对早先上下文的归因。
- 论文指出:这些方法有助于定位来源,尤其当信息可能不可信时;真实记录仍可能因环境变化而过时,诊断还须连接当前值和对当前操作的适用性。
监督与执行边界
- 干预与澄清:人类监督和混合主动界面提供干预途径。论文转述反复确认可能促成例行批准、解释不清的警告可能被忽略。澄清方法寻求缺失信息或用户意图,论文点名 Ask-or-Assume(Edwards and Schuster, 2026)等。
- 动作防护:Safety Sentry(Chen et al., 2026)在执行、询问或拒绝间路由。执行控制约束资源访问;风险框架在仿真或可执行环境中评估操作。论文指出跨任务恢复还须把修正写入适用作用域内的持久记录。
基线与数据
- 基线方法:Bare Approval、Rationale Approval、Clarification;MemLineage、Safety Sentry、Ask-or-Assume;CRITIC(Gou et al., 2024),用外部工具反馈评估并修正输出;Live Refresh,提示检查当前工作区并刷新,由智能体自选时机与对象。
- 基准:审计用 SWE-chat。主评测 150 个可执行编码案例;另有两个各 150 例集合、20 例跨模型集合、32 条四任务序列。Figure 4 的案例来源包括 MemLineage、STALE、Ask-or-Assume、ClarEval、OpenAgentSafety、AgentDojo、Dialogue-SWEBench、OSGuard、MCP-SafetyBench。正文称案例由自设计任务与这些方向中的案例共同构成。
作者的定位是:错误持久记录影响动作时,恢复要定位该记录、确立当前有效性,并在适当作用域内保留修正。
论文如何解决这个问题?
StateWise用反事实重规划定位决策关键记录,再验证有效性并按作用域持久修复。
StateWise 放在基座规划器给出带外部副作用的提议之后、执行之前。它把决策影响、当前有效性和持久修复绑在同一条记录上。
设定与失败定义
- 持久记录为 r = (k, v, τ, σ, π),依次是类型化键、语义值、时间与新鲜度、作用域、来源与权威。存储本身不表示内容正确或当前有效。
- 检索上下文为 S,提议动作为规划器在任务与该上下文上的输出,并规范到工具、操作、目标、参数和作用域。停止决定也被显式表示。
- 记录在其他规划输入固定时,若只干预它就改变提议,则是决策关键的:P(Ti, Ir(Si,t)) ≠ ai,t。该式只比较这一条记录的作用。
- 持久状态诱导的动作失败为 D(r̂,Ti)=1 ∧ â ≠ a⋆ ∧ J(o(â); gi, Hi)=0。D 为 1 表示语义值与权威有效对照不符,或作用域与权威不适用于当前任务;J 为 1 表示任务目标与全部硬安全不变量同时成立。
- 可接受恢复要求更新来自与事实相称的权威,例如当前环境观察或开发者对意图的陈述;修订动作满足硬约束与权限;修复作用域外的活跃记录不变;修订结果使 J 为 1。应执行任务的目标包含指定变更,应停止任务的目标是安全拒绝。所依赖的前提未解析前,不允许相应副作用。
归因
- 候选来自与参数、目标、策略、环境或作用域相连的检索记录;取值冲突者一并保留。构造方式借鉴智能体归因和记忆谱系方法。
- 干预只移除或改变这一条记录,探针只改规划上下文,不改持久存储。Figure 3 标出移除、不确定(屏蔽或未知)和替代(看似合理的值)三类探针。比较操作、目标、参数、作用域和风险类别。
- 反事实依赖为正且类型、作用域绑定兼容者进入 Ddep。有后果的提议上,来源链接强但依赖仍不确定者进入 Uattr。输出为二者的并集,并附绑定与依赖证据。论文未给出探针次数。
解析
- 先查类型、作用域、来源权威、新鲜度,以及更新或冲突证据。证据足够时可直接分类;未决前提才进入额外验证。
- 机器可观察事实调用已注册的只读验证器,观察当前仓库或环境,证据绑定到该记录的类型和作用域。观察无法确立的开发者意图或偏好,则提出点名争议事实及其作用域的定向澄清。
- 状态为 valid、defective 或 unresolved。有效记录保持语义值;有缺陷者带修正证据进入修复;未解析者阻止执行。
修复与动作控制
- 类型化证据落地把已确认修正绑定到被归因记录、语义类型和证据确立的作用域,在该作用域内取代有缺陷的活跃值,并保留原记录与修正证据作为谱系。作用域外活跃记录不变。无缺陷则不做语义更新。
- 前提解析后,规划器从更新后的存储检索并重规划。修正可以改变操作、目标、参数或停止决定。按第 3 节的重置边界,后续任务清空对话和工作区后,仍可通过持久存储检索该修正。
- 独立检查对照修订提议的参数、作用域与已解析状态,并检查硬不变量和权限。执行要求未解析集合为空且检查通过;权限策略要求的批准须在执行前取得。否则返回显式安全停止。
- 声明式接口提供工具操作、类型化状态与动作槽、作用域语义和验证器适配器。作者称该接口使同一恢复核心适配所支持的仓库和工具。权威参考值与结果评分预言机在规划器和解析器之外。
论文做了哪些实验?
主评测150例损坏记忆下,StateWise的OC为93.3%,基线为38.7%,且未见不安全动作。
实验设置
- 规划器:主规划器为 GPT-5.6-sol。跨模型另测 DeepSeek v4 Pro、Qwen 3.7 Max、Claude Fable 5;Figure 7 简写为 DeepSeek v4、Qwen 3.7、Claude Fable 5。
- 案例规模:流水线在 40 例上开发,定稿后评 150 个主案例,其中 125 个需要操作、25 个需要安全停止。另有两个各 150 例的集合,均含 105 个操作任务和 45 个安全停止任务:一个用错误目标值,另一个保留正确值但支持上下文有缺陷。跨模型为单独 20 例。跨任务为 32 条四任务序列。
- 对照:正确、损坏、移除目标记忆;Bare Approval、Rationale Approval、Clarification;MemLineage、Safety Sentry、Ask-or-Assume、CRITIC、Live Refresh。同一比较内案例、任务条件与评测规则固定。
- 指标与判定:OC 为全部 episode 中正确且安全的比例;AC 为应执行任务中正确且安全完成的比例;CS 为应停止任务中正确且安全停止的比例;UAR 为至少一次安全违规的 episode 比例。RR 为后续上下文检索到已修复记录的比例;AFS 为后续任务全部正确且安全的序列比例。正确性与安全性由预定义结果检查和安全约束判定。论文未写 LLM 评审模型或阈值,也未报告重复次数。
- 未给数值:Table 1 定义的记录级 AP、AR、AF1,以及模型调用、token 与用户交互成本,正文未给具体数字。Discussion 称开发者回应为模拟回应。Figure 4 写了标注一致,正文未给一致率。
主结果
主评测 150 例上的目标记忆条件。RQ1 未再次点名模型;设置节的主规划器为 GPT-5.6-sol。数字来自 RQ1 对 Figure 5 的文字说明。
表格较宽,可左右滑动
条件 OC AC UAR 正确目标记忆 80.7% 76.8% 0.0% 损坏目标记忆 38.7% 27.2% 42.7% 移除目标记忆 45.3% 35.2% 9.3% StateWise,错误记忆 93.3% 92.8% 未见不安全动作 - 作者称,只改一条目标记忆且其余条件固定时,错误记录会损害任务表现并诱发不安全动作,与第 3 节失败链相符。
- 移除该记忆后,作者称完成率仍更接近损坏条件而不是正确记忆,避开误导信息并不能补回完成任务所需的历史信息。
- 作者称 StateWise 从错误记忆恢复,且未观察到不安全动作。该条件的 UAR 百分数论文未写出。
不修复持久状态的干预
- Figure 6 在错误目标记忆下比较干预。Bare Approval 的 OC 为 36.0%、AC 为 23.2%;Rationale Approval 的 OC 为 40.7%、AC 为 29.6%。二者均未观察到不安全动作。作者称它们靠暂不执行保护工作区,任务完成缺口仍大。
- CRITIC 的 OC 为 48.0%、UAR 为 28.0%。Safety Sentry 的 UAR 为 4.7%,AC 为 3.9%,正文未给该条件下的 OC。同一共享对比中 StateWise 的 OC 为 88.7%、AC 为 84.8%、UAR 为 0.0%。作者称该对比中其 OC 与 AC 最高。论文未说明 Figure 6 是否与主评测 150 例为同一集合。
- Live Refresh 在 150 个 episode 中的 105 个执行了刷新,OC 为 42.0%,UAR 为 15.3%。作者称刷新仍是选择性的,取得当前信息还须定位并修订相关前提。Ask-or-Assume、MemLineage、Clarification 的 OC 与 UAR,正文未给。
其他状态、跨模型与接口迁移
- 目标值正确,但新鲜度、来源或支持上下文有缺陷时,OC 为 88.0%,AC 为 82.9%,未观察到不安全动作(RQ3)。设置节另有保留正确值、支持上下文有缺陷的 150 例集合;RQ3 该句未点明 88.0% 出自哪一集合。
- 四个规划器在单独 20 例上,OC 为 80.0%–94.4%,AC 为 69.2%–90.9%,均未观察到不安全动作(Figure 7)。论文未给出各模型单独分数。
- 定稿于 40 例之后,评测中有 8 个仓库、2 种工具操作、6 种语义状态类型、54 种状态–动作组合未在开发中出现。150 例里 106 例含未见配置。这 106 例上 OC 为 93.4%、AC 为 92.6%、UAR 为 0;已见配置 OC 为 93.2%。新状态类型案例 OC 为 95.1%,新仓库案例 OC 为 98.4%(RQ6、Figure 9)。作者称同一核心可通过所给接口契约复用。
跨任务复用
- 32 条四任务序列中,T1 可触发修复,T2–T4 测复用。任务间清空对话和工作区,只保留持久存储(Table 2)。
- 从错误记忆出发,StateWise 的 T1 为 90.6%,T2–T4 为 92.7%,AFS 为 90.6%,RR 为 97.9%。正确记忆参照的 T2–T4 为 91.7%、AFS 为 87.5%。作者称达到该参照的水平,并称修复记录在瞬时上下文清除后仍可被检索。
- 损坏记忆的 T2–T4 为 1.0%、AFS 为 0.0%。作者称所测基线的后续任务完成率为 1.0%–6.2%,AFS 不高于 3.1%,且没有把已验证修正显式留给后续复用。
其他消融与分析
- 同一 150 个主案例上逐项移除组件(Figure 8):去掉 Resolution 或 Persistent Repair,OC 分别下降 78.7 与 76.7 个百分点,AC 降至 0。
- 去掉 Attribution,OC 下降 53.3 个百分点;该变体同时关闭下游状态干预,作者称损失是这条路径的合计贡献。
- 去掉 Typed Grounding,OC 下降 27.3 个百分点。作者报告上述四项损失在六次比较的 Holm 校正后仍显著。
- 去掉 Replanning 或 Residual Gate,OC 各下降 2.7 个百分点。作者称主要收益来自修正规划所依据的状态。
- Figure 2 的 40 条保留链中,原因可重叠:Stale 17(43.3%)、Conflict 30(75.0%)、Scope Mismatch 25(63.3%)、Unverified History 25(63.3%)。后果为任务失败 17(43.3%)、用户纠正 15(38.3%)、不安全修改 6(15.0%)。
有什么可以进一步探索的点?
作者称审计依赖模型标注、评测含受控单记录缺陷,并建议用部署研究考察相互作用的记录。
作者指出的局限与后续方向
- 审计依赖模型标注,并且主要覆盖一个智能体家族(Discussion)。
- 可执行评测使用受控的单记录缺陷、模拟的开发者回应、作者所称有限的跨模型集合,以及四任务序列(Discussion)。
- 作者认为更长的部署研究配合独立人工标注,应当考察相互作用的记录、相互冲突的修正和部分证据(Discussion)。
- 扩展到外部服务和协作智能体,还需要更广的验证器覆盖,以及处理变化中的权威和重叠作用域的机制(Discussion)。
- 适用性取决于显式的记录–动作绑定、可取得的权威证据,以及为持久更新确立的修复作用域(Discussion)。作者称这些要求适合可检查的运行时与工作区状态、可验证的仓库策略,以及可用定向澄清解决的开发者选择。
实验覆盖范围
- 审计为 SWE-chat 的 100 个会话;模型标注 60 条候选链,核对后保留 40 条。来源为 Claude Code 28 条、OpenCode 12 条(Figure 2)。
- 主评测 150 例,其中 125 个应执行、25 个应停止;流水线在 40 例上开发。主规划器为 GPT-5.6-sol。另有两个各 150 例的集合,各含 105 个操作任务和 45 个安全停止任务。
- 跨模型使用四个规划器及单独 20 例。跨任务为 32 条四任务序列;任务之间重置对话与工作区,只保留持久存储。
- 接口迁移统计定稿后未见的配置:150 例中 106 例,以及 8 个仓库、2 种工具操作、6 种语义状态类型、54 种状态–动作组合(RQ6)。
- 正文定义了 AP、AR、AF1 与模型调用、token、交互成本,但未报告这些数值;也未报告重复次数,以及 Figure 4 中 Exact Agreement 与 Cohen’s κ 的具体数值。
总结一下论文的主要内容
StateWise在动作前修复失效的持久前提;150例损坏记忆下OC为93.3%,基线为38.7%。
StateWise 是在执行带副作用的动作之前,诊断并修复编码智能体持久操作状态的框架。
- 问题:跨任务复用的操作记录会过时、冲突或作用域不匹配;拦住当前动作、追踪来源或做澄清,不一定改正底层持久前提。作者从 SWE-chat 的 100 个会话中保留 40 条候选失败链。
- 做法:用约束反事实重规划找出决策关键记录,再按类型与权威做检查、只读验证或定向澄清,并把已确认修正连同谱系按作用域写回;然后重规划,独立检查通过才执行,否则安全停止。
- 主结果:主评测 150 例、损坏目标记忆下,基线 OC 为 38.7%、AC 为 27.2%、UAR 为 42.7%;StateWise 的 OC 为 93.3%、AC 为 92.8%,作者称未观察到不安全动作。移除该记忆时 OC 为 45.3%。
- 延续与迁移:32 条四任务序列上,StateWise 的 AFS 为 90.6%,后续任务正确且安全完成为 92.7%,RR 为 97.9%。106 个未见配置上 OC 为 93.4%,UAR 为 0。
- 组件与结论:去掉 Resolution 或 Persistent Repair 时,OC 分别下降 78.7 和 76.7 个百分点,AC 降至 0。作者称已开源实现。作者的结论是,无效记录可以在操作被阻断后继续影响后续计划,因此要把记录及其适用作用域变成有证据支持的恢复对象。