跳到正文
原文

AgenTest:挖掘业务规则以测试 LLM Agent 的业务逻辑缺陷

AgenTest: Mining Business Rules to Test LLM Agents for Business Logic Bugs

arXiv· arXiv:2610.28116· Lili Quan, Longtian Wang, Yuelin Wang, Mingfei Cheng, Chao Shen, Sen Chen, Xiaofei XieSingapore Management University; Xi'an Jiaotong University; Tianjin University; Nankai University本站收录· 19 天前· 原文发表工具

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者提出 AgenTest,从系统提示词、工具定义和领域知识挖掘业务规则并生成 Given–When–Then 测试,在 τ²-bench 三智能体上检出 89/121 个规则违反。

问题
工具型 LLM 智能体执行任务时须遵守业务规则,但这些规则分散在系统提示词和工具定义中或隐含于领域知识,现有测试只评估任务成功率或预定义策略,难以系统发现未写明的业务逻辑 bug。
方法
AgenTest 从系统提示词、工具定义和 LLM 领域知识挖掘业务规则,去重过滤后精炼为 Given–When–Then 规格;再为每条规格构造满足前提的环境状态和模拟用户,用交互策略库驱动多轮对话,最后用规则检查加 LLM 判断的混合 oracle 判定违反。
实验与结果
在 τ²-bench 的 airline、retail、telecom 智能体上,AgenTest 产出 551 条精炼规格,在 DeepSeek-V4-Flash 和 Qwen-3.8-Flash 上分别检出 89 和 121 个 unique bugs,作者称为全部基线合计的 3.4 倍和 2.5 倍;约 60% 含 bug 的运行无法仅从最终状态检出。
局限与可以继续做的
作者指出评测只覆盖一个基准的三个领域和两个底层模型,且需要系统提示词、工具定义和可重置、数据模型已知的环境,交互策略在未见过领域的效果未测(Threats to Validity)。
实验设置DeepSeek-V4-Flash、Qwen-3.8-Flash · τ²-bench (airline, retail, telecom) · unique bugs(违反的精炼规格数)、runs/bug 等
被测模型
DeepSeek-V4-FlashQwen-3.8-Flash
基准
τ²-bench (airline, retail, telecom)
指标
unique bugs(违反的精炼规格数)runs/bugprecisionagreement ratebug rate
AI 导读研究者提出 AgenTest,从系统提示词、工具定义和领域知识中挖掘业务规则,细化为 Given-When-Then 规格后逐条测试,以发现 LLM Agent 的业务逻辑缺陷。对每条规格,该方法构造满足 Given 条件的环境状态和模拟用户,通过多轮交互驱动 Agent,并用混合 oracle 检查消息、工具调用和状态变化是否满足 Then 条件。在 tau2-bench 的航空、零售和电信 Agent 及两个底层模型上,AgenTest 细化出 551 条规格,两个模型上分别检出 89 和 121 条不同规格的违规,是所有基线合计的 3.4 倍和 2.5 倍;只有 AgenTest 检出 Agent 不当访问或修改其他用户数据的情况。约 60% 触发缺陷的运行无法仅凭最终状态发现,需要对照显式业务规则检查完整交互。

研究者提出 AgenTest,从系统提示词、工具定义和领域知识中挖掘业务规则,细化为 Given-When-Then 规格后逐条测试,以发现 LLM Agent 的业务逻辑缺陷。对每条规格,该方法构造满足 Given 条件的环境状态和模拟用户,通过多轮交互驱动 Agent,并用混合 oracle 检查消息、工具调用和状态变化是否满足 Then 条件。在 tau2-bench 的航空、零售和电信 Agent 及两个底层模型上,AgenTest 细化出 551 条规格,两个模型上分别检出 89 和 121 条不同规格的违规,是所有基线合计的 3.4 倍和 2.5 倍;只有 AgenTest 检出 Agent 不当访问或修改其他用户数据的情况。约 60% 触发缺陷的运行无法仅凭最终状态发现,需要对照显式业务规则检查完整交互。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    如何在没有显式业务规格的情况下,自动测试工具型 LLM 智能体的业务逻辑 bug。

    核心问题:工具型 LLM 智能体必须遵守业务规则,但这些规则很少以显式、可测试的规格形式存在,导致业务逻辑 bug 难以被系统发现。

    • 问题场景:客服类智能体通过后端 API 修改订单、退款、取消订阅,作者认为它们不仅要完成用户请求,还要遵守约束操作时机和方式的业务规则;规则是否被遵守可能随对话措辞和上下文变化,带来未授权操作、错误交易等风险(§1)。
    • 现有方法的不足:作者称现有工作一类针对越狱、提示注入等通用安全威胁,不针对合法操作的业务规则;另一类如 τ²-bench 用预定义任务和人工指定的预期结果评估,要求人事先写明测什么、怎么判(§1)。
    • 核心观察:规则分散在系统提示词和工具定义中,或隐含于领域语义。Figure 1 的例子中,航空智能体在未核实请求者身份的情况下修改了他人预订并扣款,任务看似成功、最终状态合法,但违反了"只有预订所有者可请求修改"这一未在任何单一工件中写明的规则。
    • 论文提出的方法:AgenTest 把每条业务规则变成显式测试目标:从系统提示词、工具定义和领域知识挖掘规则,精炼为 Given–When–Then 规格,再用规格驱动环境构造、多轮交互和违反检测(§1、§3)。
    • 问题形式化:给定智能体 A 和环境 E 但无显式规格集,目标是自动导出规格集 S、把每条规格操作化为可执行测试,并在测试预算内发现尽量多的业务逻辑 bug (s, τ)(§2.2)。
  2. 有哪些相关研究?

    相关工作分工具型智能体测试与规格驱动测试两类,作者称没有工作把每条业务规格作为显式测试目标。

    工具型智能体的基准评测

    • τ²-bench [6]、τ-bench [30]、AgentBench [21]、WorkArena [13]、WebArena [33]——用预定义任务评估对话或工具型智能体;MANTRA [2] 从流程文档合成任务。本文直接在 τ²-bench 的三个智能体上评测。
    • AgentHarm [3]、AgentDojo [11]、InjecAgent [32] 等——聚焦有害动作和提示注入等安全基准。论文指出这类工作不针对合法操作的业务规则。

    工具型智能体的自动化测试

    • IntellAgent [19]——多智能体框架,从策略文本采样策略组合生成场景和初始数据库,由 LLM 判断对话;是论文所称最接近的开源方法,作为主要基线。
    • 其他自动化测试工作 [15, 18, 20, 23]——生成基于策略的场景、挖掘工作流边界、覆盖率引导的 fuzzing 或对抗对话;另有工作对记录的轨迹按提示词规则做评估 [28] 或在运行时强制时序约束 [17]。

    规格驱动测试

    • 基于形式模型的测试生成与一致性检查 [14]、用自然语言需求和行为场景指导测试 [25, 29]、用协议知识指导 fuzzing 的消息与序列生成 [22]。论文指出这些方法依赖显式的需求、行为模型或协议规格,而工具型智能体往往没有独立的业务规格文档。

    基线与基准:对比基线为 τ²-bench 的 278 个人工任务(三智能体各 50、114、114)、IntellAgent、MANTRA(其发布的套件含 44、57、31 个任务),均在 τ²-bench 的 airline、retail、telecom 智能体上运行(§4.1)。

    作者定位:没有现有工作把每条业务规格作为显式测试目标,因此隐含规格和需要特定状态的规格很少被测到;AgenTest 挖掘每条规格、构造其适用场景并据此检查行为(§7)。

  3. 论文如何解决这个问题?

    AgenTest 分两阶段:挖掘并精炼业务规则为 Given–When–Then 规格,再用规格驱动环境构造、多轮交互与混合 oracle 检测。

    整体思路:把每条业务规则变成显式测试目标,用它驱动整个测试过程。AgenTest 由规格挖掘与精炼、规格驱动测试两个阶段组成(Figure 2)。

    业务规则挖掘(§3.2.1)

    • 三个来源:工具定义(参数约束与跨工具调用顺序约束)、完整系统提示词(保留上下文地提取规则并绑定相关工具)、LLM 领域知识(按参数、环境状态、顺序、行为规范四个维度对每个工具推断未写明的规则,再按三种模式推断跨调用约束)。
    • 覆盖与绑定检查:跟踪提示词段落是否被引用,未引用段落由 LLM 判断是否含遗漏规则;筛查规则是否适用于更多工具,新绑定须附引文并经核对。
    • 去重与过滤:两层 LLM 过滤——先合并等价规则(保留更可靠来源:schema 优先于提示词优先于领域知识),再检查领域知识规则中的每个概念是否在数据模型、提示词或工具参数中有定义,无定义或只约束工具返回值的规则被移除。

    规则精炼(§3.2.2)

    • 场景推导:LLM 把规则条件读成析取式 C = C1 ∨ ⋯ ∨ Cn,每个合取分支 Ci 产生一个允许场景;再对整体取反得到禁止场景,作者强调必须整体取反,否则只否定一个分支时操作仍可能被允许。
    • GWT 编码:每个场景编码为规格 s = (G, W, T),Given 写适用条件,When 写触发请求,Then 写要求、禁止或允许的行为;Given 指导环境构造,When 指导用户任务,Then 供 oracle 提取断言。

    测试驱动构造(§3.3.1)

    • 环境设置:把 Given 拆成原子子句并分类(环境条件、用户侧条件、所有权关系),映射为 ⟨table, field, op, value⟩ 形式条件并用代码对照数据模型验证;按外键关系搜索满足条件的对象,找不到就修改现有对象的属性;前提无法建立的规格不测试。
    • 用户任务与模拟器设置:把用户侧条件转成用户在对话中传达的内容,从 When 推导目标任务并绑定到所选对象;对象属于他人时,模拟器不初始化所有者的私有信息。

    自适应测试生成与执行(§3.3.2)

    • 策略库:按 Then 的约束类型把规格分为 13 个结构类别(Table 1),枚举用户在时机、形式、完整性、措辞和边界接近度上的变化,保留合规与不合规响应仍可区分的变体,得到 67 个与领域无关的策略,另有一个默认策略(Table 2)。
    • 选择与适配:LLM 为每条规格匹配适用策略;后续轮次用 bug 经验记忆提升曾暴露 bug 的策略、降权反复失败的策略。每个选中配对由 LLM 绑定到具体对象和任务,执行前固定预期行为并做工具引用检查和合规工具序列重放。
    • 多轮交互:每轮重置环境、用户状态和对话历史,模拟用户按策略指令生成响应;记录消息、工具调用、用户操作和首尾状态;预算耗尽或无可用规格–策略对时停止。

    混合 bug 检测(§3.3.3)

    • 断言提取:执行前收集目标规格及约束相同工具且 Given 成立的其他规格,LLM 从 Then 提取约束并绑定对象;参数、状态、事件顺序类约束变成可执行谓词,对话类约束保留为自然语言断言,均保留"要求/禁止/允许"的效力。
    • Oracle 判定:可执行断言用确定性检查;对话断言由 LLM 给出判断和支持引文,引文须与轨迹核对,无支持的判断记为未决。违反被测精炼规格任一断言的运行记为违反。
  4. 论文做了哪些实验?

    在 τ²-bench 三智能体、两个底层模型上回答四个 RQ:规格质量、找 bug 效果、组件贡献和 bug 分析。

    实验设置

    • 被测智能体:τ²-bench 的 airline、retail、telecom 智能体,分别有 15、17、13 个工具,telecom 另有 30 个用户侧工具;底层模型为 DeepSeek-V4-Flash 和 Qwen-3.8-Flash,每种模型构成不同被测智能体(§4.1)。
    • 基线:τ²-bench 任务集(278 个人工任务)、IntellAgent(不支持 telecom 用户侧工具,只跑 airline 和 retail)、MANTRA(发布套件 44、57、31 个任务,单轮无模拟用户)。
    • AgenTest 配置:GPT-4.1 做规格提取,Claude Opus 5.5 做测试用例合成和 LLM 判断,DeepSeek-V4-Flash 做模拟用户;规格每个领域只挖一次,两个底层模型共用(§4.1)。
    • bug 确认:两名作者独立审查 AgenTest 全部运行和基线报告的全部违反,分歧讨论解决,只有人工确认的违反计为 bug。
    • 计数方式:按被违反的精炼规格去重,一个规格计一个 unique bug;排除三个提示词都写明的 turn 规则(默认策略下两模型分别在 69.3% 和 32.2% 的用例中违反)。
    • 运行规模:RQ2 中 AgenTest 跑三轮,504 条可测试规格各一次默认策略加两轮策略迭代(Table 5 合计 1,512 次运行)。

    主结果

    据 Table 4(unique bugs,括号外为三智能体合计;Runs/bug 为每 bug 所需运行数):

    表格较宽,可左右滑动

    方法DS 合计DS Runs/bugQwen 合计Qwen Runs/bug
    τ²-bench555.6834.8
    IntellAgent2051.04124.9
    MANTRA6110.01255.0
    AgenTest8917.012112.5

    注:DS 为 DeepSeek-V4-Flash,Qwen 为 Qwen-3.8-Flash;IntellAgent 未在 telecom 上运行(表中为"–")。分领域看,AgenTest 在 airline/retail/telecom 上分别为 23/41/25(DS)和 37/52/32(Qwen)。

    • 作者称 AgenTest 检出的 bug 数是三个基线合计的 3.4 倍(89 对 26)和 2.5 倍(121 对 49),且每 bug 所需运行最少。
    • Figure 4 显示,AgenTest 的 89 和 121 个 bug 中分别有 83 和 97 个没有任何基线发现;基线合计的 26 和 49 个中 AgenTest 发现 6 和 24 个。作者称基线独有的 bug 都出现在多目标串联的长任务中,而 AgenTest 一次只测一条规格。
    • Figure 3 的等预算比较中,作者称 AgenTest 在超过 44 次运行(DS)和 178 次运行(Qwen)的每个预算下领先;低于该预算时 IntellAgent 略多,作者解释为其少数 bug 在许多对话中重复出现。

    RQ1:规格提取质量

    • 流程数字:挖掘得 483 条规格,去重删 120 条,绑定修复补 25 条,过滤删 19 条领域知识规格,剩 369 条;精炼后得 551 条(每条平均 1.5 条精炼规格)(Table 3)。
    • 正确率:两名作者独立标注、第三人仲裁,88.0% 的精炼规格正确(κ=0.88);按来源,工具定义全部正确、系统提示词 91.2%、领域知识 80.6%。
    • 错误原因:66 条不正确规格中,30 条无来源支持、19 条与提示词或工具文档矛盾、17 条丢失条件。

    RQ3:组件有效性(DeepSeek-V4-Flash)

    • 测试驱动构造:551 条规格中 504 条(91.5%)可构造驱动;47 条失败,其中 26 条规格不正确、21 条要求环境无法持有的状态。1,512 次运行中 1,503 次(99.4%)模拟用户陈述了用户侧条件并触发 When(Table 5)。
    • 交互策略:只用默认策略只违反 6 条规格,随机选策略违反 84 条,完整 AgenTest 违反 89 条(Table 6);作者称交互策略贡献了大部分 bug,bug 经验记忆在此基础上再增 5 个。
    • 混合 oracle:与人工审查的一致率为 97.6%(1,476/1,512),精度 82.6%(161/195);基线判定器的精度分别为 τ²-bench 25.0%(7/28)、IntellAgent 46.5%(93/200)、MANTRA 5.7%(16/281)(Table 7)。默认策略用例中 85%(492/579)的检查是确定性规则。

    RQ4:bug 症状与根因

    • 症状分布:无效参数最多(DS 43/89、Qwen 46/121),其后为违规操作(13、22)和缺少前置步骤(12、25);涉及业务数据工具调用的四类症状合计占 86.5% 和 85.1%(Table 8)。
    • 可观测性:60%(DS)和 59%(Qwen)的含 bug 运行无法仅从最终状态检出,其中 42% 和 37% 不改变数据库。
    • 根因:隐含规则、被忽视的已写明规则、被误用的已写明规则分别占 DS 的 50.6%/30.3%/19.1% 和 Qwen 的 36.4%/26.4%/37.2%;未授权操作几乎全部源于隐含规则(8/9 和 9/10)。标注 κ=0.93。

    其他消融与分析

    • 等预算曲线:在 τ²-bench 的 278 次运行预算内,AgenTest 平均发现 20.3(DS)和 27.7(Qwen)个 bug,基线为 5 和 8;在 MANTRA 的 660 次运行预算内为 45.2 和 61.7,基线为 6 和 12(§4.3)。
    • bug 重复度:IntellAgent 每个 bug 平均被 5.8 和 8.4 段对话暴露,MANTRA 为 3.0 和 6.9 次运行,AgenTest 为 1.3 和 1.3(§4.3)。
    • IntellAgent 在 DS 上 93 段确认违反的对话中 70 段、Qwen 上 280 段中 169 段违反同一条"不得陈述用户或工具未提供的信息"规则(§4.3)。
  5. 有什么可以进一步探索的点?

    作者列出内部、构造、外部效度三类威胁,并计划改进领域推断规格的验证与多规格交互测试。

    作者指出的局限与后续方向

    • 内部效度:提取、用户模拟和 LLM 判断的错误可能影响结果;结果可能随运行变化,尽管在两个底层模型上一致(§6)。
    • 构造效度:按精炼规格计数 bug 依赖 AgenTest 的挖掘与精炼方式,不完整的规格可能限制 AgenTest 的探索范围(§6)。
    • 外部效度:评测只覆盖一个基准的三个领域和两个底层模型,未必推广到其他智能体或部署;AgenTest 需要系统提示词、工具定义和可重置、数据模型已知的环境;交互策略在未见过领域的效果未测(§6)。
    • 后续方向:改进领域推断规格的验证,测试多条规格之间的交互(§8)。
    • 讨论中的观察:仅基线发现的 bug 都出现在多目标串联的长任务中,作者称把共享工具的精炼规格组合成多目标测试可作为补充(§5)。

    实验覆盖范围

    • 被测对象为 τ²-bench 的 airline、retail、telecom 三个智能体,底层模型为 DeepSeek-V4-Flash 和 Qwen-3.8-Flash 共两个(§4.1)。
    • 对比基线为 τ²-bench 任务集、IntellAgent、MANTRA 共三个;IntellAgent 只在 airline 和 retail 上运行(§4.1)。
    • AgenTest 主实验为三轮:504 条可测试规格各一次默认策略加两轮策略迭代,共 1,512 次运行(Table 5);组件消融只在 DeepSeek-V4-Flash 上进行(§4.4)。
    • 所有报告的违反均经两名作者人工审查确认;规格正确性标注 κ=0.88,bug 症状与根因标注 κ=0.93(§4.1、§4.2、§4.5)。
    • 论文未报告 AgenTest 端到端的运行耗时或 LLM 调用成本。
  6. 总结一下论文的主要内容

    AgenTest 把分散和隐含的业务规则挖成 Given–When–Then 规格并驱动测试,在 τ²-bench 上检出 89/121 个规则违反。

    AgenTest 是一个规格驱动的测试方法,面向通过工具直接操作业务数据的 LLM 智能体,解决业务规则分散在系统提示词与工具定义中、或隐含于领域知识而难以系统测试的问题。

    • 方法:从系统提示词、工具定义和 LLM 领域知识三个来源挖掘规则,经去重与适用性过滤后,按条件结构拆分场景并编码为 Given–When–Then 规格;为每条规格构造满足前提的环境状态与模拟用户,用 67 个领域无关的交互策略加 bug 经验记忆驱动多轮对话,再以确定性检查与带引文核对的 LLM 判断组成的混合 oracle 判定违反。
    • 规格质量:在 τ²-bench 三个智能体上产出 551 条精炼规格,人工标注 88.0% 正确(κ=0.88),错误主要集中在领域知识推断的规则(Table 3)。
    • 主结果:在 DeepSeek-V4-Flash 和 Qwen-3.8-Flash 上分别检出 89 和 121 个 unique bugs,作者称为三个基线合计(26 和 49)的 3.4 倍和 2.5 倍,其中 83 和 97 个无任何基线发现(Table 4、Figure 4)。
    • 组件贡献:只用默认策略只发现 6 个 bug,交互策略贡献了绝大部分;混合 oracle 精度 82.6%,基线判定器最高 46.5%(Table 6、Table 7)。
    • bug 特征:无效参数是最常见症状;60%(DS)和 59%(Qwen)的含 bug 运行无法仅从最终状态检出;未授权操作几乎全部源于任何工件都未写明的隐含规则(Table 8)。
    • 作者结论:业务逻辑 bug 既来自未写明的规则,也来自被忽视或误用的已写明规则,不同根因需要不同修复;结构化规则可在工具中强制,精炼规格只依赖提示词和工具定义,可在底层模型更换时作为回归套件复用(§5)。

相关论文

共同使用 τ²-bench
再看 2 篇
共同使用 τ²-bench
阅读原文arxiv.org