Agent 评测框架对比分析:企业分析型 Agent 的稳定性、风险检测与风险发现
Comparative Analysis of Agent Evaluation Frameworks: Stability, Detection, and Discovery in Enterprise Analytics Agents
作者比较三种智能体评估框架在稳定性、已知风险检测和未知风险发现上的表现,称 trace 级评估 F1=0.90,并推荐双框架策略。
- 企业分析智能体会在多工具流程中产生语法正确但语义错误的输出,人工抽查容易漏检。作者要比较三类评估框架在稳定性、已知失败检测和未知失败发现上的差异。
- 用冻结执行轨迹,对两个供应链分析智能体分别测试 Strands Evals、PromptFoo、Agenta。三阶段分别测量重复评估稳定性、72 个标注失败案例的检测效果,以及自动生成测试发现新失败的能力。
- 作者报告 35/36 个配置稳定;Strands 在 Phase 2 取得最佳 F1=0.90,PromptFoo 召回相近但误报更多;Phase 3 共发现 24 个新失败,功能与安全测试零重叠。
- 作者称尚未评估框架能否识别智能体改动后的真实提升或回退,也未把流程封装成可复用工具包。实验仅覆盖两个供应链分析智能体、三个框架和 11,700 次评估。
- 被测模型
- Claude Sonnet 4.5
- 基准
- Agent A benchmarkAgent B benchmarkPhase 2 benchmark
- 指标
- average within-case standard deviationdecision consistencyprecisionrecallF1FPRfalse discovery ratenovel failure count
研究者在受控环境中,将基于轨迹的 LLM 评审、纯文本 LLM 评审加红队测试和确定性启发式三类评测框架,在两个企业分析型 Agent 的冻结执行轨迹上进行三阶段对比。第一阶段重复测量显示 97% 的评测配置达到稳定性阈值,且稳定性模式与具体 Agent 无关。第二阶段在 72 个真实标注测试用例上测量已知风险检出,基于轨迹的框架取得最佳精确率与召回率平衡(F1=0.90),纯文本评测召回率相当但误报多 5 倍。第三阶段发现 24 个新失败,功能测试与安全红队测试零重叠。作者建议功能评估用基于轨迹的评测、安全验证用对抗性红队测试的双框架策略。
深度解读
这篇论文试图解决什么问题?
作者要比较三类智能体评估框架在稳定性、检测和发现上的差异。
核心问题是如何可靠评估企业分析智能体在复杂多工具工作流中的失败。 作者关注的是:不同评估框架在重复测量稳定性、已知失败检测和未知失败发现上表现如何。
- 应用场景:企业团队正在部署会生成 SQL、调用工具并综合答案的分析智能体,错误输出会带来直接业务后果,而且常常逃过人工审查。
- 现有方法不足:作者称,很多团队依赖 ad-hoc spot-checking;本研究中人工初标漏掉了 72 个 ground-truth 失败中的 9 个(12.5%),这些失败语法有效但语义错误。
- 核心观察:作者认为,评估器能看到的信息层级决定评估质量;功能评估和安全评估覆盖的是不同失败面。
- 论文提出:一个三阶段比较研究,分别考察评估稳定性(RQ1)、已知风险检测(RQ2)和未知风险发现(RQ3),并比较 Strands Evals、PromptFoo、Agenta 三种框架。
- 研究对象:两个零售供应链预测分析智能体,Agent A 做品类级需求预测,Agent B 做产品级到货提前期预测;两者都在受控研究设置中用冻结执行轨迹评估。
有哪些相关研究?
相关工作主要覆盖 LLM 评审、一致性测量和对抗测试三条线。
LLM-as-a-judge 与智能体评估
- Yu [10]、Zheng et al. [11]:讨论 LLM-as-a-judge 在智能体系统评估中的采用,以及与人类标注的一致性。
- Li et al. [5]:记录系统性 judge 间分歧;作者借此说明评估可靠性是关键问题。
- 作者定位:已有比较多关注 judging method 的差异,而本文比较的是 judge 可用的信息层级:完整执行轨迹、仅文本输出、字符串表示。
随机性与一致性测量
- Atil et al. [2]:分析 LLM 稳定性。
- Mustahsan et al. [8]:提出用 ICC 衡量 agentic evaluation 的 inter-run consistency;作者认为 ICC 在表现较好的智能体中会受到 ceiling effects 影响。
- Bland and Altman [3]、Livingston and Lewis [6]:分别对应 within-case standard deviation 和 pass/fail 分类一致性,作者采用这两者作为稳定性指标。
对抗测试与信息泄露
- Agrawal et al. [1]:研究 prompt leakage 及防御策略。
- Mohammadi et al. [7]:综述 LLM agents 的评测与基准化,涉及 prompt injection 和信息泄露风险。
- 作者定位:作者称本文是第一个在同一批智能体上定量比较功能评估与安全评估、并论证二者互补而非可替代的工作。
基线与基准
- 对比框架:Strands Evals、PromptFoo、Agenta。
- 使用基准:两个自建的供应链分析智能体测试集,即 Agent A benchmark 和 Agent B benchmark;Phase 2 使用 72 个标注测试案例。
论文如何解决这个问题?
作者用冻结轨迹和三阶段流程,分别测稳定性、已知失败检测和未知失败发现。
整体思路是把三个代表不同信息访问层级的评估框架,放到同一批冻结执行轨迹上做三阶段比较。核心框架是 Strands Evals(trace-based LLM judge)、PromptFoo(text-only LLM judge with red-teaming)、Agenta(deterministic heuristics)。
评估对象与框架设定
- 候选智能体:两个零售供应链预测分析智能体。Agent A 分析品类级需求预测,Agent B 分析产品级 inbound lead time 预测;两者都使用 9 个工具。
- 框架差异:Strands 读取完整 OpenTelemetry execution trace;PromptFoo 只看文本输入和注入的上下文字符串;Agenta 只看字符串表示。
- 需求映射:作者把五个评估需求映射到各框架实现,包括 groundedness、intent、accuracy、tool correctness、SQL correctness(Table 1)。
Phase 1:稳定性测量
- 样本与重复:每个智能体 20 个冻结测试案例;LLM 框架使用 3 个 judge models × 5 次重复,Agenta 重复 5 次。
- 指标:decision consistency(重复评估是否给出相同 pass/fail)和 average within-case standard deviation;稳定阈值设为 ≤ 0.15。
- 阈值含义:在 0–1 分数和 0.5 pass/fail 边界下,0.15 的 within-case std 意味着靠近边界的分数有非平凡概率跨边界翻转。
- 规模:共 5,605 次评估。
Phase 2:已知风险检测
- 测试集:每个智能体 36 个测试案例,共 72 个,覆盖 6 类失败;每个案例在 5 个维度上独立标注,避免交叉污染。
- 标注方式:每个智能体由一名主领域专家标注,模糊案例由另外两名团队成员交叉复核。
- 评估协议:三个框架都跑冻结轨迹,重复 3 次取中位数,pass/fail 阈值为 > 0.5;judge 选用 Claude Sonnet 4.6。
- 规模:共 2,415 次评估。
Phase 3:未知风险发现
- 生成方式:在 Phase 2 基线之上加入框架特定的生成器;Strands 用 ExperimentGenerator 生成每个智能体 20 个功能测试案例,PromptFoo 用 red-team 生成每个智能体 42–48 个对抗案例。
- 分类方式:同一领域专家把每个被标记失败分为 novel、known 或 false positive。
- 评估设置:LLM 框架重复 3 次,judge 仍为 Claude Sonnet 4.6。
- 规模:202 个测试案例,共 3,680 次评估。
论文做了哪些实验?
实验显示 Strands 检测平衡最好,PromptFoo 误报更多,Agenta 稳定性最高但语义检测弱。
实验设置
- 被测对象:两个分析智能体 Agent A 和 Agent B,底层生成模型为 Claude Sonnet 4.5(附录 F)。
- 评估框架:Strands Evals、PromptFoo、Agenta。
- judge 模型:Phase 1 用 Claude Sonnet 4.6、Claude Haiku、Qwen3 32B;Phase 2/3 主实验用 Claude Sonnet 4.6。
- 数据集:Phase 1 每个智能体 20 个冻结案例;Phase 2 每个智能体 36 个案例,共 72 个;Phase 3 共 202 个测试案例。
- 指标:稳定性用 average within-case standard deviation 和 decision consistency;检测用 precision、recall、F1、FPR;发现用 novel failures 和 false discovery rate。
- 重复与判定:LLM 框架在 Phase 2/3 重复 3 次取中位数,pass/fail 阈值为 > 0.5;论文未报告人工标注一致性系数。
主结果
表格较宽,可左右滑动
框架 Precision Recall F1 FPR 出处 Strands 88.2% 90.9% 0.896 10.3% Table 5 PromptFoo 60.4% 87.9% 0.716 48.7% Table 5 Agenta 45.8% 100% 0.629 100% Table 5 - 作者解读:Strands 在两个智能体合并结果上取得最佳 precision-recall 平衡,且该排名在每个智能体各自结果中一致(附录 B)。
- 作者解读:差距主要来自是否需要执行上下文;在 SQL correctness 上,两个 LLM 框架都达到 89% recall,但在 tool correctness 上 Strands 为 89%,PromptFoo 为 11%。
- 作者解读:Agenta 在结构性 SQL 错误上可靠,但在 Agent B 的语义错误上 recall 为 0%,因为 regex 看不到这类错误。
稳定性实验
- 总体结果:36 个配置中 35 个(97%)达到稳定阈值(Table 2)。Agenta 平均 std 为 0.000、decision consistency 为 100%;PromptFoo 为 0.025、92%;Strands 为 0.053、82%。
- judge 差异:Claude Haiku 最稳定(0.029),其后是 Sonnet 4.6(0.035)和 Qwen3 32B(0.072)。唯一不稳定配置是 Strands 中的 Qwen3/style(0.207,20% decision consistency)。
- 作者解读:稳定性是(framework, model)组合的属性,不是模型单独的属性;方差集中在复杂、数据密集型案例(附录 K)。
未知风险发现实验
- 发现数量:Phase 3 共发现 24 个 novel failures,功能测试与安全红队发现零重叠(Table 6)。Strands 发现 9 个功能失败,PromptFoo 发现 15 个安全失败,Agenta 为 0。
- 失败类型:Strands 发现 SQL bug、工具流程缺口和 schema fabrication;PromptFoo 发现 schema metadata leakage、storage path exposure、system prompt disclosure 和 excessive agency under adversarial prompt injection(Table 7)。
- 作者解读:功能测试和安全测试面向不同失败面,因此互补;安全发现数量随 schema 复杂度增加,Agent B 的安全发现是 Agent A 的 4 倍。
人工漏检与复核
- 漏检情况:两个智能体合计有 9 个失败最初被人工标为 pass,后来在评估器提示后改为 fail;其中 Agent A 有 5 个 SQL partition errors,Agent B 有 4 个 calculation interpretation mistakes。
- 具体模式:这些错误语法有效但语义错误,因此人工检查难以发现。
- 作者解读:带领域 rubric 和 trace access 的 LLM 评估器可以充当第二评审者。
其他消融与分析
- 标签修订敏感性:排除 9 个被改判案例后,合并 precision 从 0.86 变为 0.82,recall 从 0.91 变为 0.88,FPR 保持 0.13(脚注 1)。
- judge 规模分析:在 10 个 Agent A 测试案例上,Claude Opus 4 与 Sonnet 4.6 的分数相关性为 r = 0.97,但延迟约为 3.5 倍(Table 20)。
- 方差驱动因素:trace-based judging 的 within-case std dev 随工具数增加而上升(m = 0.017),text-only judging 无此关系(m = -0.006)(附录 K)。
有什么可以进一步探索的点?
作者明确提出工具包化和判别力评估两个后续方向。
作者指出的局限与后续方向
- 工具包化:作者称,目前双框架策略还需要手工配置评估器、收集并冻结轨迹、运行红队生成并解释结果;未来可打包成可复用工具包(Future Work)。
- 判别力评估:作者称,本文没有测试框架能否在智能体发生变化时检测真实改进或回退,而这正是 CI/CD gating 所需能力(Future Work)。
- 受控扰动设计:作者提出可从 baseline agent 出发,构造已知质量差异的变体,并在 Phase 2 benchmark 上评估 directional accuracy、effect size、sensitivity、specificity(Future Work)。
实验覆盖范围
- 被测智能体:仅覆盖两个零售供应链分析智能体,Agent A 和 Agent B(3.1)。
- 评估框架:仅比较 Strands Evals、PromptFoo、Agenta 三个框架(3.2)。
- 评估规模:三阶段共 11,700 次评估;Phase 1 为 5,605 次,Phase 2 为 2,415 次,Phase 3 为 3,680 次(附录 E)。
- judge 覆盖:主实验 judge 为 Claude Sonnet 4.6;Phase 1 还比较了 Claude Haiku 和 Qwen3 32B;附录 J 仅在 10 个 Agent A 案例上比较了 Claude Opus 4。
- 论文未报告:人工标注的一致性系数,以及 Phase 3 中每个生成器产出案例的完整查询预算或耗时。
总结一下论文的主要内容
作者用三阶段实验证明,评估器可见信息决定智能体评估质量。
这篇论文比较三种智能体评估框架在企业分析场景中的稳定性、检测能力和未知风险发现能力。作者关注的问题是:语法正确但语义错误的智能体输出,常常逃过人工抽查。
- 方法:在同一批冻结执行轨迹上比较 Strands Evals、PromptFoo、Agenta,分别代表 trace-based LLM judging、text-only LLM judging with red-teaming、deterministic heuristics。
- 稳定性结果:36 个配置中 35 个(97%)达到稳定阈值;Agenta 最稳定,Strands 方差更高但仍大多稳定(Table 2)。
- 检测结果:在 72 个已知失败案例上,Strands 取得最佳平衡,F1=0.896;PromptFoo recall 接近但 FPR 更高;Agenta 在语义错误上失效(Table 5)。
- 发现结果:Phase 3 共发现 24 个新失败,功能测试与安全红队零重叠;Strands 找到功能问题,PromptFoo 找到安全问题(Table 6、Table 7)。
- 人工对比:9 个 ground-truth 失败最初被人工标为 pass,后来在评估器提示下改判为 fail。
- 作者结论:作者认为,评估器可见的信息层级决定评估质量,功能评估与安全评估互补,并推荐用 Strands 做功能评估、用 PromptFoo 做安全验证。