跳到正文
原文

Soteria:面向安全 LLM 智能体的形式化验证规划与运行时强制执行

Soteria: Formally Verified Planning with Runtime Enforcement for Safe LLM Agents

arXiv:其他 AI 安全论文· arXiv:2611.17880· NeurIPS 2026· Mike He, Ankush Desai, Sharad Malik, Aarti GuptaPrinceton University; Snowflake本站收录· 4 天前· 原文发表防御· 扫描记录里的位置 →

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 SOTERIA:先形式化验证分层计划、再由 SpecMonitor 运行时拦截违规工具调用;在 207 个任务、4 个模型上报告 100% 合规、零违规。

威胁模型受害系统是执行多步工具调用的 LLM 智能体(航空、零售、终端/文件等域)。

问题
LLM 智能体执行多步工具调用时要同时完成任务(utility)和遵守域策略与工具契约(safety),两者存在张力:拦截不安全调用后智能体往往没有有原则的恢复路径,现有方法只能顾一头。
方法
SOTERIA 把计划表示为带守卫的转移系统(GTS),由可复用的预验证子计划组合成分层计划,用 Dafny 静态验证工具契约、进展性和策略合规;运行时 SpecMonitor 逐调用检查并拦截违规调用,被拦截时由已验证计划引导恢复。
实验与结果
在 τ²-Airline、τ²-Retail、Toolathlon 共 207 个任务、4 个模型上,作者报告 SOTERIA 达到 100% 合规、零违规,成功率比各模型-基准对的最优基线高 4.7–43.9 个百分点;消融显示 SpecMonitor 是合规保证的关键,子计划使验证通过率从 38/60 升至 65/68。
局限与可以继续做的
作者指出:规格需半自动形式化加人工校验;验证假设工具契约忠实且运行时后条件成立;定理证明器支持的一阶理论有限、可能无法完成验证。消融只在 τ²-Airline 两个模型上做,多次重复实验仅覆盖 τ²-Airline + GPT-5.4-mini。
实验设置GPT-5.4-mini (openai/gpt-5.4-mini)、Gemini 3 Flash (openrouter/google/gemini-3-flash-preview) 等 · τ²-Airline、τ²-Retail 等 · Utility、Success rate 等
威胁模型
受害系统是执行多步工具调用的 LLM 智能体(航空、零售、终端/文件等域)。风险来自智能体自身产生违反域策略或工具契约的调用(如未查 flown 状态就取消订单),而非外部攻击者;防御在执行前静态验证计划,运行时由 SpecMonitor 拦截违规调用。
被测模型
GPT-5.4-mini (openai/gpt-5.4-mini)Gemini 3 Flash (openrouter/google/gemini-3-flash-preview)Claude Haiku 4.5 (anthropic/claude-haiku-4-5)Claude Opus 4.6 (anthropic/claude-opus-4-6)
基准
τ²-Airlineτ²-RetailToolathlon
指标
UtilitySuccess rateConformance#ViolationsCost
AI 导读Soteria 框架通过形式化验证的分层规划与运行时强制执行,让 LLM 智能体兼顾安全与任务效用。智能体在调用工具前生成结构化计划并对照规范完成形式化验证,执行中既约束轨迹符合规范,也在不安全动作被拦截时提供恢复指引。在多个工具使用基准上,Soteria 的平均任务成功率达到最佳基线的 1.7 倍,且无策略规范违规。

Soteria 框架通过形式化验证的分层规划与运行时强制执行,让 LLM 智能体兼顾安全与任务效用。智能体在调用工具前生成结构化计划并对照规范完成形式化验证,执行中既约束轨迹符合规范,也在不安全动作被拦截时提供恢复指引。在多个工具使用基准上,Soteria 的平均任务成功率达到最佳基线的 1.7 倍,且无策略规范违规。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    让 LLM 智能体在不牺牲任务成功率的前提下保证工具调用遵守域策略与工具契约。

    核心问题:执行多步工具调用的 LLM 智能体如何同时满足任务完成(utility)与策略/契约合规(safety),而不是牺牲其中一个。

    • 场景与重要性:作者指出,智能体正被部署到软件工程、客服、企业自动化等领域,工具调用的现实后果难以撤销;例如航空智能体未核实乘客资格就取消预订违反策略规格,零售智能体未先查订单就把编造的数据传给下游工具违反工具数据流规格。
    • 现有方法的不足(按论文说法):LLM-based guardrails 用第二个模型逐个评判动作,易部署但是概率性的、无形式化安全保证;specification-based monitors 在运行时检查前置/后置条件或轨迹不变量,保证更强,但调用被拦截后没有已验证的恢复计划,且此前动作可能已把智能体留在不可恢复状态,恢复会损害 utility。
    • 核心观察:作者的关键洞察是,智能体可以在任何工具被调用之前,先构造一个经过验证、符合规格的计划,从而不必用 utility 换 safety;已验证计划还能在调用被拦截时提供恢复指引。
    • 论文提出的方案:SOTERIA 框架——一次性从自然语言策略文档和工具定义生成策略规格、工具契约和子计划(LLM 辅助生成后人工校验);规划器把可复用子计划组合成分层计划并做静态验证;运行时由 SpecMonitor 强制拦截违规调用,计划充当执行路线图和恢复指南。
    • 威胁模型:
      • 受害系统:以骨干 LLM 驱动、通过工具 API 读写外部环境(数据库、文件、消息等)的智能体。
      • 风险来源:论文未设定外部攻击者;风险是智能体自身因随机性或规划错误产生违反策略规格或工具契约的调用。
      • 防御者能力:防御方能拿到域策略文档与工具定义,可在执行前验证计划、在每次工具执行前拦截检查。
      • 成功判定:执行既要让环境达到任务预期状态(utility),又要所有调用满足契约、所有策略规格在轨迹上成立(conformance)。
  2. 有哪些相关研究?

    相关工作分三类:LLM 智能体规划、运行时护栏、结构化智能体框架;作者称 SOTERIA 的组合此前没有。

    LLM 智能体的规划

    • LLM+P(Liu et al., 2023)——把规划委托给经典 PDDL 规划器,能得到 sound 的计划;论文指出它限于谓词状态、无丰富数据类型,也没有运行时强制。
    • VeriPlan(Lee et al., 2025)——用 PRISM 模型检查器对照 LTL 约束检查 LLM 生成的日程;论文指出其计划是扁平线性步骤序列、无分支和条件逻辑,且对翻译出的规格没有运行时强制或监控。
    • Plan-and-Solve(Wang et al., 2023)与 Plan-and-Act(Erdogan et al., 2025)——把规划与执行分离;论文指出它们缺乏形式化计划语义和验证。

    LLM 智能体的运行时护栏

    • AgentSpec(Wang et al., 2025)与 ProbGuard(Wang et al., 2026)——按 trigger-predicate 规则监控工具调用,ProbGuard 另加基于马尔可夫链的违规预测。
    • Agent-C(Kamath et al., 2025)支持时序与数据流约束;Agent Behavioral Contracts(Bhardwaj, 2026)借鉴 design-by-contract,含前置条件、不变量和治理约束。
    • NeMo Guardrails(Rebedea et al., 2023)与 GuardAgent(Xiang et al., 2025)——用第二个 LLM 做合规检查;论文指出它们继承了概率性失效模式。论文整体指出:这些方法在运行时监控执行,不在执行前对结构化计划做静态验证,也不用这样的计划引导恢复。

    结构化智能体框架

    • ReAct(Yao et al., 2022)与 Chain-of-Thought(Wei et al., 2023)——结构化 LLM 推理;论文指出它们不产生外部可验证的制品。
    • VeriMAP(Xu et al., 2025)——给子任务 DAG 附加 LLM 生成的断言;论文指出其检查在执行后、无形式化保证。
    • StateFlow(Wu et al., 2024)与 LangGraph(LangChain, 2025)——用状态机组织智能体工作流;论文指出它们没有可用于形式化验证的形式语义。

    基线与基准:实验对比四个基线——No Guardrail、NeMo Guardrails(Colang input rail 逐动作 LLM 评判)、AgentSpec(action-trigger-predicate 规则监控)、ABC(行为契约运行时检查);基准为 τ²-Airline、τ²-Retail(τ²-bench 套件)和 Toolathlon。

    定位:作者称 SOTERIA 把可验证的计划表示、静态验证和运行时强制三者结合,而这一组合在此前工作中不存在。

  3. 论文如何解决这个问题?

    计划表示为带守卫的转移系统并静态验证,运行时由 SpecMonitor 拦截违规调用、由计划引导恢复。

    整体思路:SOTERIA 把"执行前验证过的分层计划"和"运行时规格强制"结合起来——计划在任何工具调用前被形式化验证,执行时既当路线图又当恢复指南,SpecMonitor 兜底保证合规。

    规格与形式化流程

    • 两类规格:工具契约(每个工具的前置条件 Pa 与后置条件 Qa,约束单次调用)和策略规格(一阶逻辑公式,约束工具调用序列,含时序谓词 ≺ 和值流谓词 ⇝,示例见 Table 1)。
    • 形式化流程:先用 LLM 自动形式化器从自然语言策略和工具定义生成契约与规格,再人工逐条校验;人工环节做覆盖检查——每条可在工具调用轨迹上强制的状态改变规则至少映射到一条规格。校验后的规格在同域任务间复用。
    • 成功执行的标准:utility(环境反映任务预期结果)加 conformance(所有调用满足契约、所有策略规格在轨迹上成立)。

    分层计划与 GTS 表示

    • 子计划:域策略中的每个标准流程(如取消、退款、订票)映射为一个带契约的子计划,说明它期望什么输入、保证什么(请求完成或被安全拒绝);子计划可像工具一样被调用,规划器只生成顶层组合。
    • GTS 表示:计划表示为 Guarded Transition System——节点是流程阶段,边是工具调用,每条边由守卫(对执行中收集的数据的布尔条件)门控,使分支、顺序和数据依赖显式且可机器检查。
    • 计划 DSL:规划器须用论文的 DSL 写计划:声明类型化计划变量、@state 标记的状态、每状态至多一个动作的转移、if/else 守卫、终止状态分 accepting(任务完成)与 halting(无法安全继续);还支持子计划 invoke 和把非结构化推理委托给 LLM 的 llm_eval(附录 A.2 给出完整语法)。

    静态计划验证

    • 三项检查:工具契约满足(每次调用满足前置条件)、进展性(计划不会卡在中间状态)、策略合规(每条可能的执行轨迹满足所有策略规格);编码为验证条件(VC)交给 Dafny 自动验证。
    • 符号状态传播:在每个状态 s 维护符号状态 Σ(s),概括从初始状态可达的所有取值;对从 s 到 s′、守卫为 g 的转移,传播式为 Σs→ s′(s′) = δ(Σ(s) ∧ g),其中 δ 合取该转移动作引入的约束(赋值贡献 v′ = e,工具调用贡献工具后置条件)。
    • 进展性拆为两条:可达性(每个非终止状态的 Σ(s) 可满足)与守卫可行性(每个非终止状态出边守卫的析取在 Σ(s) 下恒真)。
    • 策略合规编码:维护 ghost state——单调步数计数器、按动作的调用日志、追踪变量值来源的 provenance map;量词落到调用日志下标,≺ 变成步数比较,⇝ 变成 provenance 成员检查,断言放在每个终止状态、对所有路径成立。
    • 模块化验证:验证含子计划调用的父计划时,把子计划当作只有契约的工具调用,不看内部逻辑。
    • 修复与回退:验证失败产生针对性诊断,规划器在固定重试预算(实验中为 8 次)内修复重验;无法完全验证时以最强的部分验证计划回退,未验证的规格作为显式警告写进执行器提示词。

    运行时强制

    • SpecMonitor:在每次工具执行前检查前置条件,再把当前轨迹前缀加上拟议调用具体求值所有相关策略规格,违反则在执行前拦截;调用执行后校验后置条件,失败则中止(意味着工具契约不可靠)。规格按 safety(执行前查)/liveness(任务完成时查)/irrelevant 分类索引,运行时只做具体轨迹求值、不调 SMT 求解器。
    • 计划作为指引:计划以 worklist 形式呈现给执行器——随工具结果到达逐步简化的流程图,只显示剩余步骤和守卫条件;执行器保留完全的选工具自主权。被拦截时,执行器借 worklist 找替代分支,没有替代时回退到自身推理。
    • 严格模式:另支持 PGAS 严格计划强制模式,只允许守卫和前置条件满足的转移,适用于不允许偏离的高风险流程(附录 A.4)。
  4. 论文做了哪些实验?

    207 个任务 × 4 个模型:SOTERIA 报告 100% 合规零违规,成功率比最优基线高 4.7–43.9 个百分点。

    实验设置

    • 被测模型:GPT-5.4-mini、Gemini 3 Flash、Claude Haiku 4.5、Claude Opus 4.6,temperature 0.0、pass@1(每任务单次尝试),reasoning effort 为 low(适用时)。
    • 基准与规模:τ²-Airline(50 任务)、τ²-Retail(114 任务)、Toolathlon(108 任务中选 43 个,限终端交互、文件管理、文档编辑域,经本地 MCP server 评测),共 207 个任务。
    • 基线:No Guardrail、NeMo Guardrails、AgentSpec、ABC,均用相同骨干模型、工具和域策略文档。
    • 指标:Utility(基准评测器判定的任务完成率,不计违规)、Success(完成且全程无违规)、Conformance(零违规任务比例)、#Viol.(违规总数)、Cost(每任务平均 API 成本,美元)。
    • 评测协议:τ² 两个基准按 τ²-bench 协议做多轮对话评测,用户模拟器与智能体用同一模型;Toolathlon 为单轮;每任务最多 100 步;SOTERIA 规划重试预算 8 次。
    • 规格规模:三个基准分别形式化 24、33、41 条规格(共 98 条),每个基准花数小时,主要是读策略和检查生成结果(附录 C.2)。

    主结果

    据 Table 2(每格为 Util.→Succ. / Conf. / #Viol.;SOTERIA 两率相等只列 Succ.):

    表格较宽,可左右滑动

    模型方法τ²-Airlineτ²-RetailToolathlon
    GPT-5.4-miniNo Guardrail48.0→34.0 / 64.0 / 2927.2→20.2 / 86.0 / 2511.6→2.3 / 41.9 / 42
    GPT-5.4-mini最优基线(ABC)54.0→48.0 / 90.0 / 527.2→20.2(No Guardrail) / 86.0 / 2511.6→2.3(No Guardrail/ABC) / 41.9 / 42
    GPT-5.4-miniSOTERIA60.0 / 100.0 / 035.1 / 100.0 / 011.6 / 100.0 / 0
    Gemini 3 Flash最优基线(ABC)50.0→26.0 / 54.0 / 2342.1→38.6 / 93.0 / 816.3→0.0 / 60.5 / 34
    Gemini 3 FlashSOTERIA62.0 / 100.0 / 045.6 / 100.0 / 016.3 / 100.0 / 0
    Claude Haiku 4.5最优基线(No Guardrail)58.0→30.0 / 58.0 / 2838.6→31.6 / 88.6 / 1616.3→4.7 / 55.8 / 33
    Claude Haiku 4.5SOTERIA70.0 / 100.0 / 056.1 / 100.0 / 09.3 / 100.0 / 0
    Claude Opus 4.6最优基线(NeMo)70.0→54.0 / 82.0 / 1153.5→46.5(No Guardrail) / 87.7 / 1730.2→11.6(No Guardrail) / 55.8 / 34
    Claude Opus 4.6SOTERIA88.0 / 100.0 / 090.4 / 100.0 / 018.6 / 100.0 / 0

    注:"最优基线"按各模型-基准对的最高 Succ. 选取,方法名在括号内;NeMo、AgentSpec 的完整数字见 Table 2,此处省略。

    • 合规性:作者报告 SOTERIA 在全部模型 × 基准上 100% 合规、零违规;基线最高为 τ²-Retail 上 ABC + Gemini 的 93.0%(仍有 8 次违规),基线违规数在 τ²-Retail 为 8–28。
    • 成功率:作者报告 SOTERIA 在每个模型-基准对上成功率最高,比各对最优基线高 4.7–43.9 个百分点(τ²-Airline 上高 10–40 个点,τ²-Retail 上高 7.0–43.9 个点);摘要与引言概括为平均 1.7 倍。
    • 例外:Toolathlon 上 SOTERIA 成功率仅 9.3–18.6%,且 Haiku 4.5 的 9.3% 低于 GPT-5.4-mini 和 Gemini 的 11.6%/16.3%;高合规不等于高完成——Gemini 在 τ²-Retail 上所有基线合规超 90.0%,但成功率不足 40.0%。

    组件消融(Table 3,τ²-Airline,8 次重试)

    • 测了什么:在 flat plan 基座上逐项累加验证、子计划、SpecMonitor,模型为 GPT-5.4-mini 与 Gemini 3 Flash。
    • 结果:flat plan 已有 44%(GPT)/32%(Gemini)成功率,但有 13/27 次违规;加验证后违规降至 10/24,成功率 46%/32%;加子计划后 GPT 的 utility-success 差距收窄(54→50),Gemini 原始 utility 从 56% 升至 62%;加 SpecMonitor 后两模型均 100% 合规、零违规,成功率等于原始 utility(60%/62%)。
    • 作者解读:SpecMonitor 完全闭合了 utility 与 success 的差距,因为不再有违规损失。

    子计划消融(Figure 6,τ²-Airline,GPT-5.4-mini)

    • 测了什么:完整系统(子计划库)对比每轮生成单一整体计划的变体。
    • 结果:子计划使计划中位状态数从 11 降到 8;验证通过的规划轮数从 38/60 升至 65/68,首次尝试即验证通过的比例从 23.3% 升至 48.5%;无子计划时失败以规格失败为主且跨重试持续存在,有子计划时残余失败多为解析和编译错误。
    • 作者解读:把策略分解为独立验证的子计划减轻了规划器负担,使 95.6% 的计划能在重试预算内通过验证。

    多次运行与成本

    • 多次运行(Table 7,附录 B.2):τ²-Airline + GPT-5.4-mini 跑 5 次,SOTERIA 用 3 次重试(非主实验的 8 次):conformance-gated utility 50.8±3.6%,合规 100.0±0.0、违规 0;其 95% 置信区间高于 NeMo 和 No Guardrail,与 AgentSpec(48.0±2.0%)重叠。
    • 成本(Table 2、Table 8):SOTERIA 在 τ²-Airline/Retail 上每任务成本高于所有基线(如 Opus 在 Airline 上 0.796 美元 vs 基线 0.318–0.344),作者解释为每轮对话都生成新计划;单轮 Toolathlon 上 SOTERIA 可更省(如 GPT-5.4-mini 0.033 美元 vs ABC 0.324)。
    • SpecMonitor 开销(Figure 10,τ²-Airline,GPT-5.4-mini):作者报告带 SpecMonitor 的单步中位耗时约 1s、低于不带的约 2.5s,尾部更短(最长约 9s vs 约 15s),作者称提前拦截减少了错误动作序列带来的额外 LLM 调用。

    其他消融与分析

    • 活性(liveness)强制:作者称 NeMo 能拦截缺少前置读取的写操作,但无法保证写后最终读回验证;SOTERIA 在每条接受路径上验证后续必需动作并在任务完成时检查未决义务(§4.1)。
    • 基线失败模式(附录 B.5):三类——完成任务但违反策略(No Guardrail 在 50 个航空任务上累计 29 次违规);过度谨慎转人工(Opus 在零售任务上仅 57% 的必需写动作被调用,23 个任务转人工;SOTERIA 报告 100% 写动作完成);写文件不验证(Gemini 基线 281 次写/685 次读,SOTERIA 62 次写/658 次读)。
  5. 有什么可以进一步探索的点?

    作者列出规格形式化、契约假设、证明器能力等局限;消融与重复实验覆盖面窄。

    作者指出的局限与后续方向

    • 规格依赖人工(Conclusion):SOTERIA 需要一组形式化规格作为输入,目前由 LLM 自动形式化加人工校验的半自动流程获得;作者计划研究如何用 auto-formalization(如 An et al., 2026)减少人工工作量。
    • 契约忠实性假设(Conclusion):计划验证假设工具契约忠实建模工具行为、后置条件在运行时成立(附录 A.3.5 同样列为 soundness 假设)。
    • 证明器能力有限(Conclusion):所用自动定理证明器(Dafny/Z3)支持的一阶理论有限,实践中可能无法完成验证。
    • 子计划库构建(Conclusion):子计划目前由 LLM 辅助生成并迭代验证;作者称从策略文档和智能体经验中自动提取和演化子计划库与规格是有前景的方向。
    • 规划开销(Conclusion):作者称通过计划缓存和跨同类任务复用来降低规划时的 token 开销,可进一步提升实用性。

    实验覆盖范围

    • 被测模型为 GPT-5.4-mini、Gemini 3 Flash、Claude Haiku 4.5、Claude Opus 4.6 共 4 个;基准为 τ²-Airline(50)、τ²-Retail(114)、Toolathlon(108 中选 43),共 207 个任务(§4)。
    • 主结果为 pass@1 单次尝试;多次重复实验只在 τ²-Airline + GPT-5.4-mini 上做 5 次,且重试预算降为 3 次(附录 B.2)。
    • 组件消融只在 τ²-Airline 上用 GPT-5.4-mini 和 Gemini 3 Flash 两个模型(Table 3);子计划消融只用 GPT-5.4-mini(§4.3)。
    • 对比的防御基线为 No Guardrail、NeMo Guardrails、AgentSpec、ABC 共 4 个(§4)。
    • 论文未报告智能体在对抗性输入(如提示注入)下的表现;威胁模型针对的是智能体自身的违规调用,规格由防御方从策略文档形式化(§2.1)。
  6. 总结一下论文的主要内容

    SOTERIA 用验证过的分层计划加运行时拦截,在 207 个任务上报告 100% 合规且成功率不降反升。

    SOTERIA 是一个面向 LLM 工具调用智能体的安全框架,目标是让智能体既完成任务又遵守域策略与工具契约,不在安全与效用之间二选一。

    • 问题:运行时护栏要么概率性无保证(LLM 评判),要么能拦截违规调用却不给恢复路径,智能体被拦后容易卡死或损失效用。
    • 方法:策略文档被形式化为一阶逻辑规格和工具契约;规划器把预验证的子计划组合成分层计划,表示为带守卫的转移系统,用 Dafny 静态验证契约满足、进展性和策略合规(重试预算 8 次,失败可回退到部分验证计划);运行时 SpecMonitor 在每次工具执行前具体求值规格并拦截违规调用,被拦截时由已验证计划以 worklist 形式引导恢复。
    • 主结果(Table 2):在 τ²-Airline、τ²-Retail、Toolathlon 共 207 个任务、4 个模型上,作者报告 SOTERIA 达到 100% 合规、零违规,而基线合规最高 93.0%(ABC + Gemini,τ²-Retail);成功率比每个模型-基准对的最优基线高 4.7–43.9 个百分点,作者概括为平均 1.7 倍。
    • 代表性数字:Claude Opus 4.6 在 τ²-Airline 成功率 88.0%(最优基线 54.0%)、τ²-Retail 90.4%(最优基线 46.5%);Toolathlon 上所有方法成功率都低,SOTERIA 为 9.3–18.6% 但零违规。
    • 消融(Table 3、Figure 6):合规保证主要来自 SpecMonitor(加上后两模型均 100% 合规、零违规);子计划把验证通过轮数从 38/60 提升到 65/68,首次验证通过率从 23.3% 升至 48.5%。
    • 作者结论:作者认为已验证计划提供全局前瞻(执行前检查含未来必需动作的序列)和恢复指引两项运行时监控单独不具备的能力,安全与效用不必相互取舍;代价是对话型基准上每任务 API 成本高于基线,且规格形式化目前需要人工校验。

相关论文

共同使用 Toolathlon
阅读原文NeurIPS 2026