POLAR：面向小型工具调用智能体的可逆性护栏框架

工具调用的误操作可能不可恢复，现有事前防护给不出可审计的结构裁决。

• 场景：作者称智能体已能直接写入外部系统，如发起付款、完成预订、修改客户记录。一次错误调用即可造成不可逆后果，事后推理无法修复已落到环境中的错误。
• 现有不足：作者称多数机制在错误显现后才反应。SAND用自然语言思维链微调审议，InferAct做事前信念推理，GuardAgent执行用户给出的自然语言护栏；这些做法不暴露类型化关系与候选恢复路径。
• 假设：作者提出可逆性可以做成分级且可检查的量。用手写本体导出候选逆序列，就能在执行前给出结构假设，而不是自由文本标签。
• 做法：提出POLAR，面向小型工具调用智能体的训练无关事前门控。它为动作打分级可逆性分数，未过阈值的调用在执行前被剪除，并给出可追溯到本体边的否决理由。
• 威胁模型：
  • 受害系统：可直接改写外部系统的工具调用LLM智能体。
  • 危害：作者把最危险失败定义为不可恢复的动作，而非错误答案；并称危害不对称。
  • 门控依据：手写Layer A，以及从环境重建的Layer B；不采用模型想象的状态。评测封装不在执行前模拟完整事后状态。
  • 干预点：在现有工具调用接口上否决缺少可接受逆路径的变更调用，不改权重与提示词。论文未写外部攻击者的白盒或黑盒知识。

动作可逆性基础

• STRIPS：Faber et al.（2021）与Russell（2010）把动作a称为可逆，若存在序列π能在a之后恢复初始状态。
• 细化二元标准：Chrpa et al.（2024）沿强/弱、一致/非一致两条轴细化这一二元概念。
• 强化学习信号：Eysenbach et al.（2017）、Grinsztajn et al.（2021）、Thananjeyan et al.（2021）分别把可逆性学成重置价值、自监督先后概率，或恢复区上的风险批评。作者称这两条线把可逆性做成分级性质。

事务与补偿

• SagaLLM（Chang and Geng, 2025）：在工作流构建时合成补偿动作，失败时逆序调用，并做逐工作流检查点。
• STRATUS（Chen et al., 2026）：把缓解做成有界事务，由系统级Undo Agent按已执行动作栈回滚，并用标量严重度做提交或中止。
• ToolEmu（Ruan et al., 2024）：在部署前于沙箱中模拟工具调用。作者称这三者都不把恢复路径本身作为声明式的事前产物：裁决是二元提交/中止，逆轨迹是记录下来的前向栈，只能在执行后审计。

事前文本裁决

• SAND（Xia et al., 2025b）：微调智能体，使其用自然语言思维链审议。
• InferAct（Fang et al., 2025）：对意图做事前心智理论信念推理。作者称二者的安全裁决是字符串级判断，没有分级可逆性分数，也没有可执行逆计划。
• GuardAgent（Xiang et al., 2024）：按终端用户提供的自然语言护栏请求行动。

基线与基准

• 基线方法：BASELINE为无安全门；InferAct是对Fang et al.（2025）的两阶段批评者改编；saga_lite改编Chang and Geng（2025）的补偿注册表。作者称比较用的是评测改编，不是对所引系统的已验证复现。
• 基准：τ²-bench（Barres et al., 2025），域为airline、retail、telecom。

作者把POLAR放在这些工作旁边：它在批准前返回由类型关系导出的候选恢复序列，使路径可检查；否决可追溯到本体边，阈值可调，且不改智能体权重。

POLAR在变更工具调用执行前，用两层本体反向搜索候选逆序列，再以最弱步的分级分数交给可替换的决策策略。

两层本体

• Layer A：按域手写的静态Datalog动作本体。人工策展人声明每个变更工具的可逆关系，并锚定逐步权重w∈(0,1]。
• 五级关系（Table 1）：T1 inverse_of的逐步ϕ为w；T2 bounded_reversibility仅当Bound成立时保留w，否则为0；T3 compensates为w·(1−wloss)，wloss∈[0,1)在评测前按LossClass选定；T4 irreversibly_consumes与T5 external_side_effect为0，失败关闭。Table 1注明该分数度量标注可恢复性，不是总体动作安全或用户授权。
• Layer B：把当前状态写成类型化槽断言，每轮从τ²-bench数据库和已执行工具调用重建，不从LLM想象的内容重建。
• 策展边界：作者保留手写Layer A以使假设可检查，但称策展不保证标注正确。

反向搜索

• 评测封装对照可用的当前状态投影检查候选工具序列，不模拟完整事后状态s′。Table 1写Bound at s，附录C.3的逐步公式写bound holds at s′；正文称检查的是可用投影。
• 搜索按最近优先遍历候选工具，在Layer A中查逆边。对每个工具枚举可接受的撤销边并组成候选逆序列；T2边界与重叠检查对着Layer B投影评估。
• 终止于完整逆序列π，或报告第一个未通过可接受性检查的步骤及原因。作者称这类似基于可达性的安全分析，但作用在类型化关系上，且不调用外部符号规划器。
• 序列是可审计的结构假设，不是恢复必将成功的证明。过阈值的路径中保留累积损失最小的一条；累积损失的定义在附录C.3。

分数与可接受性

• 序列分数取最弱步：ϕ_POLAR(π)=min_u∈πϕ(u)∈[0,1]。单步不可逆则整段为0，并作为瓶颈报告。
• 只有已通过可接受性检查的步骤才计分。临时（LLM起草且尚未提升）、已撤销、有争议或未在Layer B上落地的标注不进入序列。

决策策略

• 裁决与执行分离。DecisionPolicy返回APPROVE、VETO或ESCALATE。三种策略中，只有VetoPolicy有已核对的比较奖励。
• VetoPolicy：找不到完整逆序列，或ϕPOLAR(π)<τ（固定0.80）时拒绝变更调用，并用静态拒绝替换智能体消息。
• EscalatePolicy：不可达时用正则基线检查近期用户消息中的肯定同意标记；找到则批准，否则发确认提示并丢弃该调用。附录C.4给出标记集合。
• AdvisoryPolicy：从不拦截，只写审计日志。

评测封装实际走的路径

• 四步：从已执行工具记录重建Layer B；用Layer A对Layer B组成可接受逆序列；按最弱步打分；策略转为批准、否决或升级。
• 更广架构含ThreeWayClassifier与IntentParser，评测封装在决策时不调用二者。门控在候选变更调用上重复。接入已评智能体只需改配置；新工具生态还要编写本体。附录C给出标注语法、未在决策时调用的模块提示词和搜索步骤。

实验设置

• 被测智能体：qwen/qwen3-8b、meta-llama/llama-3.1-8b-instruct、nvidia/nemotron-nano-9b-v2、google/gemini-2.5-flash-lite、openai/gpt-oss-120b、qwen/qwen3.5-27b。正文表简称为qwen3-8B、llama-3.1-8b、nemotron-9b、gemini-flash-lite、gpt-oss-120B、qwen3.5-27B（附录A）。
• 基准与规模：τ²-bench的airline、retail、telecom。72个（模型、域、臂）格子，每格3次试验×50个任务，即尝试150次。
• 四臂：BASELINE（无门控）、InferAct（两阶段批评者改编）、saga_lite（补偿注册表改编）、POLAR（只报告VetoPolicy）。作者称这些不是已验证复现，也未按计算量对齐。
• 固定角色：用户模拟器固定为qwen/qwen3-8b；对话评审与retail自然语言评审均为openai/gpt-4o-mini。评测中的POLAR门控在决策时不加LLM调用。
• 指标与阈值：错误终止运行被排除后的平均任务奖励±标准误（Table 2）。Table 3的∆POLAR是分别过滤错误后的臂均值之差，不是配对估计。主结果τ=0.80。
• 附录A细节：InferAct改编对每个变更候选通常两次批评者调用，温度0，最多200个输出token，推断错误时失败关闭。协议指定固定本体权重，但逐次运行的本体与配置哈希未被独立归档。

主结果

据Table 3，∆POLAR=rPOLAR−rbaseline。每臂尝试150次，有效次数因错误排除而不同。0.000是舍入差，不是两臂均值都为零。

表格较宽，可左右滑动

模型	airline	retail	telecom
qwen3-8B	+0.111	−0.100	+0.038
llama-3.1-8b	+0.182	+0.029	+0.053
nemotron-9b	+0.110	−0.033	−0.053
gemini-flash-lite	+0.109	−0.026	0.000
gpt-oss-120B	−0.073	−0.242	+0.020
qwen3.5-27B	−0.119	−0.209	−0.060

• 作者称收益最大出现在airline的弱到中等智能体，回落集中在高基线智能体和用户意图主导的retail。18格中8格∆>0。摘要把airline上四个正差值写成提高0.11到0.18点。Table 2把行内最高臂加粗，POLAR不是每行最高。
• 作者称airline上POLAR六格都高于InferAct，并在四个弱到中等格子上高于saga_lite。任务奖励不直接度量被阻止的伤害，也不能把反向搜索从保守拦截中分离出来。
• 主格子qwen3-8B airline：原文+0.111不是配对估计。匹配非错误观测得到143对，差为+0.119，任务聚类bootstrap 95% CI为[+0.057, +0.184]（Appendix D）。作者称不把原先检验转到这一估计量。Appendix D里，llama-3.1-8b retail为+0.000（74对），gemini-flash-lite airline为+0.067（90对，CI [−0.020, +0.165]）。

权重、阈值与层级

• 损失类锚点（Figure 5，qwen3-8B）：airline与retail为5×5网格，telecom为1×9行，共58格。相对所选锚点的最大格子差为0.053，落在锚点格标准误带内。作者称这不验证标注正确性，也不建立全局稳健性。
• 向下扫阈值（Table 4，996条非空候选池，另一次固定轨迹运行）：锚点处airline保留36.6%，retail为100%，telecom为98.7%。作者称airline的裁决分布对所选工作点敏感；该诊断不估计其他阈值下的任务奖励。
• 层级消融（Table 5，qwen3-8B airline，每行自有基线重跑，与主实验的+0.111不是同一行）：

表格较宽，可左右滑动

变体	∆	bootstrap 95% CI	perm. p
full (T1, T2, T3)	0.080	[0.013, 0.147]	0.036
no T3	0.073	[0.020, 0.127]	0.013
T1+T3 only	0.087	[0.027, 0.147]	0.010
T1 only	0.087	[0.020, 0.153]	0.017
no irreversible	0.060	[−0.007, 0.127]	0.121

作者称airline本体没有T1标注，T1-only接近一刀切否决，其差并不低于该次full。这些结果不能确立结构逆路径在保守拒绝之外的奖励贡献。no irreversible的区间跨0；作者认为这提示失败关闭可能有贡献，但分开的运行不能分离因果效应，也不能展示伤害预防。

策略与拦截对象

• 三种策略只在qwen3-8B airline上讨论。已核对的主运行基线与Veto均值为0.351和0.462。归档的Escalate与Advisory均值与提交表冲突，试验JSONL不可用，作者因此不报告比较效应与排序。同意正则未经验证，尤其是多语言否定（附录B.2）。
• 1,745次拦截（附录B.3，六智能体、三域）：no_candidate 910（52.1%），external_side_effect 833（47.7%），depth_exceeded 2（0.1%）。airline主导工具为update_reservation_flights与cancel_reservation，触发NO_CANDIDATE；retail主导为退货、换货和取消待处理订单类工具，触发EXTERNAL_SIDE_EFFECT。
• 作者称日志没有独立把每次拦截标成有害。retail上这些工具可以是合法用户请求；低可逆性拒绝是奖励损失的一种可能解释，尤其在gpt-oss-120B上。拦截日志不能确立误否决率或被阻止的伤害。

其他消融与分析

• Figure 4对臂均值差的六点拟合：airline ∆=−0.76b+0.37（R²=0.92），retail ∆=−0.67b+0.06（R²=0.98），telecom ∆=−0.31b+0.03（R²=0.65）。Appendix D匹配估计斜率为−0.71、−0.63、−0.32。作者称斜率不识别因果余量。
• Table 4全量保留率，τ=0.50/0.70/0.80/0.85/0.90/0.95：100%、71.1%、70.7%、62.0%、50.6%、50.6%。airline在0.85起降到17.6%。
• 附录B.1的979条已准入计划来自另一次运行，ϕ落在1.000、0.990、0.855、0.810，份额38.0%、29.7%、21.6%、10.7%。作者要求不要与996条合并。
• Table 6拦截次数最高：GPT-OSS-120B retail的return_delivered_order_items为150，exchange_delivered_order_items为103。
• Table 11域份额：retail 662（37.9%），airline 569（32.6%），telecom 514（29.5%）。论文未把这些计数独立标为有害或无害。
• Table 12：错误计数在llama-3.1-8b与gemini-flash-lite上较高；gpt-oss-120B与qwen3.5-27B接近零。Table 2的均值在nvalid=150−errors上计算。

作者指出的局限与后续方向

• 增益随基线变化：在该样本中，奖励增益随无门控基线升高而缩小；拟合趋势不定义零交叉部署阈值（Limitations）。
• 并非一律更好：相对无门控基线只在18格中的8格更高，并非一律优于其他被评臂（Limitations）。
• 动态门控未测：作者认为，只在不确定信号超过路由阈值时才做反向搜索，或可改善高基线表现，但未测试（Limitations）。
• 新域留给未来：作者建议新域先区分状态变化主导与用户意图主导的变更工具，再映射Layer A并搭配执行策略；第四个域上的工作示例留给未来工作（Limitations）。
• 奖励不是安全标签：被拦截决策缺少独立的伤害与授权标注；T1-only不能把收益从一刀切否决中分离（Limitations）。结论称直接安全收益，以及相对平凡保守拦截器的优越性，仍待测试。
• 封装与出处：评测封装不模拟完整事后状态，也不验证逆序列是否真能执行。本体编写成本、语义错误和对抗稳健性未测量；缺少不可逆关系时，若仍有正向关系，可能错误批准。归档运行的配置与本体来源不完整，对照臂是决策输入和调用预算不同的改编（Limitations）。

实验覆盖范围

• 被测模型为附录A的六个智能体，域为τ²-bench的airline、retail、telecom，臂为BASELINE、InferAct、saga_lite与POLAR的VetoPolicy，每格尝试150次（Section 4.1、Table 2）。
• 用户模拟器固定为qwen/qwen3-8b；对话评审和retail自然语言评审为openai/gpt-4o-mini。评测门控不调用分类器与意图解析器（附录A、Section 3.6）。
• 已核对的策略比较奖励只包括主运行中的Veto；Escalate与Advisory的比较效应未报告（Section 4.5）。
• 损失类扫描是qwen3-8B上58格局部邻域；阈值保留率来自另一次996条决策，ϕ直方图来自979条已准入计划（Section 4.3、附录B.1）。
• 层级消融只在qwen3-8B的airline上，且各行使用分开的基线重跑（Table 5）。论文给出逐格错误计数（Table 12），未报告独立的伤害或授权标签。反向搜索不调用外部符号规划器（Section 3.3）。

POLAR是训练无关的事前门控，用类型化本体在工具调用执行前检查能否组成候选逆序列。

• 问题：作者认为工具调用智能体最危险的失败是不可恢复的动作。已有事前方法给出文本判断，而不给出可检查的恢复路径。
• 方法：Layer A手写T1至T5关系，Layer B从环境重建。序列分数取最弱步。VetoPolicy在无完整逆序列或分数低于0.80时否决。评测封装不模拟完整事后状态，也不改模型权重。
• 结果：τ²-bench六模型、三域，每格尝试150次。Table 3里airline四个较弱到中等模型的差为正，gpt-oss-120B与qwen3.5-27B为负；18格中8格高于基线。retail上gpt-oss-120B的差为−0.242。qwen3-8B airline的匹配差为+0.119（143对，95% CI [+0.057, +0.184]）。
• 消融：同模型airline的另一次运行中，T1-only的差为0.087，并不低于该次full的0.080。作者称这不能确立结构逆路径组合超出了保守拒绝。
• 作者结论：作者认为应问是否存在可接受的逆，而不是只问模型能否判断动作安全；作者称前一问有可审计的结构答案。直接的安全收益，以及相对平凡保守拦截器是否更好，仍待测试。奖励不是被阻止伤害的直接度量。