Agentic Commerce Bench：衡量会花钱的智能体的欺诈检测能力

核心问题是：拥有支付权限的智能体，怎样识别交易中的不当价值提取？ 作者把损失作为检测目标，而不是把攻击进入系统的方式作为分类依据。

• 使用场景：智能体选择服务、接受报价并自动结算；论文测量的支付轨道结算后不可逆，每次付款无需人工确认。
• 现有工具的范围：作者认为，身份真实、地址正确且服务确实交付的交易对手仍可能多收费；身份检查和越狱检测无法直接判断这种损失。
• 核心观察：攻击来源与可观察证据不相同。推理层能看到注入内容，却未必能看到实际收款地址；线上的付款字段也不一定包含购买意图。
• 提出的产物：五层观察分类、二十类欺诈基准 ACB，以及配置审计、离线探测和运行时检测栈 gordonguard。
• 风险对象：基准涵盖结构违规、模式回避、真实交易对手欺诈和智能体行为；另外把没有攻击者的重复付款损失单独计分。

相关工作围绕安全检测范围、支付证据和基准有效性展开。

智能体安全评测

• garak、promptfoo、AgentDojo：分别提供越狱与注入探测、基于断言的红队测试、工具型智能体的提示注入攻防评测；OWASP整理相关威胁词汇。
• 基线方法与基准：作者在ACB的A1–A4上比较关键词列表、garak 0.16.0、自己的pattern judge和LLM-as-judge。
• 作者的定位：作者认为，此类工作评测智能体是否被操纵，而ACB评测价值是否被不当提取；garak的差异属于检测范围。

支付欺诈

• first-party fraud：授权方造成损失，身份信号不能区分。作者将智能体使用自身获发凭证的支付归入这一范畴。
• 既有支付模式：多收费、拆分、重复计费和warm-up fraud已存在于卡支付。作者称，本文关注它们被自动交易对手采用后的测量问题。

协议与结算

• x402与UCP：x402先支付后获取结果；UCP把购物车、结账和订单分成不同能力。作者讨论这种顺序如何改变可用证据。
• ISO 8583与ISO 20022：论文借鉴STAN和EndToEndId对应的标识分工，将重试标识与请求标识分开。

基准有效性

• Torralba和Efros（2011）：研究数据集来源携带的非任务信号；Recht等（2019）研究测试集特定的进展。
• Kapoor和Narayanan（2023）：讨论数据泄漏与可复现性失败。作者据此检查生成器和检测器由同一方编写带来的有效性问题。

作者将ACB定位为支付损失测量，而不是对越狱评测的替代；分类还明确区分每个检测层是否有权观察相应证据。

ACB将欺诈类别、观察层级和证据来源分开，gordonguard在同一套合成支付环境中接受校准与评测。核心不是统一判定所有攻击，而是先确定检测器能看到什么。

观察层级与权限

• 五个层级：L0是智能体推理、提示词和工具；L1是金额、收款方、端点等线上字段；L2是结算结果；L3是交易对手信息；L4是委托方授权。
• 两类证据：单请求证据无状态、可在线拒绝；历史证据需要存储并面临冷启动，不能因没有历史就拒绝所有新客户（Table 1）。
• jurisdiction：逐类记录哪些层级能观察攻击。越权范围的结果记为n/a，避免把不可见证据造成的失败记为零召回。
• 不可见对照：F6是付款对应的服务档次与交付不符；论文建模的层级都看不到交付档次，因此保留它作为对照。

会话与类别构建

• 数据单元：每个会话是同一智能体的有序动作，含推理文本、线上字段和结算结果；标签只放在会话上，检测前移除。
• 二十类任务：S1–S6是结构违规，E1–E4是单动作合规但整体回避，F1–F6是真实交易对手欺诈，A1–A4是智能体行为或配置问题。
• 关键字段：request_fingerprint区分重复收费与重复购买；quoted_price_units记录报价；context_sources记录内容来源。

让合成任务具有可辨识性

• 相对限额：智能体限额取自身典型支出的倍数，范围为[2.5, 12]，并记录限额来自运营方、框架默认值还是行为推断。
• 价格重叠：干净价格允许变动，攻击价格与其重叠，避免空白区间中的一个阈值就能完成检测。
• 结算缺陷：生成器加入结算失败与重试；同时含攻击和真实重复付款损失的会话转入LOSS，避免把检测损失误记为检测攻击。
• 来源账本：会影响结果的常量必须声明来源；无来源参数和可被非任务特征分开的类别会使检查失败。

检测栈与部署入口

• 三个入口：配置审计检查模型、系统提示词和工具定义，共十项；离线探测模拟工具、钱包、目录、结算轨道和账本；运行时guard支持observe或enforce。
• 检测组件：L1包括payload、price、behavioural、registry、catalogue、economic及重复收费检查；L0使用推理或配置证据。
• 历史键：以agent_id累计有界历史，而不是依赖会话标识，依据是生产结算中两者的可用率不同。

校准与有效性检查

• 校准目标：仅用没有攻击的干净训练集，为整体管线拟合10%复核预算和1%阻断预算；攻击召回不参与拟合。
• 整体预算：预算约束最终决策而非各检测器分别拟合，避免多个检测器的标记率叠加。
• 有效性检查：检查非任务特征、合法与攻击特征重叠、已知强弱检测器的排序、历史键替换，以及价格与生产目录的匹配。

实验比较了推理层基线和完整检测栈，并把召回与误报预算、样本量及成本一起报告。

实验设置

• 被测系统：gordonguard完整检测栈及pattern judge；对照是关键词列表、garak 0.16.0和LLM-as-judge。论文未写明LLM裁判或独立文本生成模型的名称。
• 基准来源：ACB使用1,647项生产服务操作和1,068次结算的聚合参数，覆盖八个领域类别；会话本身是合成数据。
• 评测协议：干净训练集拟合阈值，独立测试集测结果；复现说明给出1,200个训练会话、3,000个测试会话和seed 42。
• 判定指标：报告逐类召回、flag rate、FPR、block rate及pooled recall；无观察权限记n/a，带真实损失的攻击会话不计入攻击召回。
• L0输入：garak以DAN-family检测器处理推理文本；排除MitigationBypass。LLM裁判依据rubric打分，论文未报告具体判定阈值。
• 重复与精度：三次独立生成使用seeds 42/7/1337；每类约30个样本时，95%区间半宽为±0.19（§6）。

主结果

据Table 3：ACB完整检测栈，10%复核预算，仅用干净训练流量拟合；flag为会话标记比例。

表格较宽，可左右滑动

类别	含义	n	L0	L1	flag
S1	超限	29	n/a	0.90	0.90
S5	幂等重放	23	n/a	0.96	0.96
S6	身份不符	31	n/a	1.00	1.00
E3	收款方轮换	27	n/a	0.00	0.00
F1	多收费	36	n/a	0.03	0.03
F5	retry farming	28	n/a	1.00	1.00
F6	静默降档	25	n/a	0.04	0.04
CLEAN	干净会话	1821	未报告	未报告	0.065

• 表格选取：省略S2–S4、E1–E2、E4、F2–F4、A1–A4和LOSS；另一最低结果是F3，其flag为0.00、n=37（Table 3）。
• 作者的解读：八类不优于干净标记率：S3、S4、E3、E4、F1、F2、F3、F6。作者认为多收费与合法价格变动重叠，限制了该预算下的检测。
• 满分的含义：作者称S6测的是身份相等检查，F5测的是重复付款。重复收费检查也标记了无攻击者重复付款中的410/411个会话（§8.2）。

推理层基线与控制实验

据Table 2：ACB的四类L0任务；不同FPR的行不能直接按召回排名。

表格较宽，可左右滑动

judge	A1	A2	A3	A4	mean / FPR
keyword list	0.00	0.00	0.00	0.00	0.00 / 0.000
garak 0.16.0	0.00	0.00	0.00	0.00	0.00 / 0.000
pattern judge	0.14	0.34	0.19	0.13	0.20 / 0.000
LLM-as-judge	0.25	0.53	0.05	0.22	0.26 / 0.133

• 控制实验：garak对良性推理和支付回避对照评分均为0.0，对越狱对照为1.0。作者据此认为工具在工作，但支付回避不在其检测范围内（§8.1）。
• 跨层证据：作者解释，A3的矛盾发生在推理意图与线上动作之间，仅看到推理的裁判无法直接解决它。
• 表间条件：Table 3的L0列来自完整栈评测，不是Table 2的pattern judge行；两表数值应分别引用。

校准、独立复现与有效性

• 三次复现：按seeds 42/7/1337，干净flag rate为0.065、0.076、0.072；block rate为0.009、0.019、0.015（§8.3）。
• 预算例外：两次阻断超过0.01预算。作者解释，离散风险分数使严格低于预算的阈值只能阻断零个会话，因此允许阻断超预算并报告实际值。
• 外部文本检查：L0误报检查报告0/80，95%上界为≤3.8%；文本由未见过探测内容的模型生成。论文未说明该结果对应的具体L0 judge（§8.3）。

运行经济性

• 生产金额：结算中位数为0.007 美元，99百分位为0.25 美元；假设每次人工复核1.00 美元，作者称一次复核是中位付款的143倍（§8.4）。
• 成本口径差异：正文报告测试流量成本138 美元、保护付款18 美元，其中复核123 美元；同节敏感性表在1.00 美元复核成本下报告130.27 美元与7.2×。论文未解释两组成本差异。
• 作者的边界判断：固定误报与召回后，0.10 美元复核成本对应总成本23.74 美元、付款量的1.3×；作者认为微支付应累计智能体证据后复核，而非逐笔复核。

其他消融与分析

• 复核预算：L1在1%、5%、10%、20%预算下，pooled recall依次为0.26、0.44、0.44、0.69（§8.3）。
• 已知强弱排序：保留管线0/25/50/75/100%信号构成检测器阶梯；作者报告排序单调、lift spread为0.40（§6）。
• 历史键替换：按会话重置与跨会话agent_id历史的逐类结果一致到三位小数（§6）。
• 价格匹配：目录对比1,644项生产付款要求，最差分位误差为1.8×（§6）。
• 损失桶：LOSS中533个会话，flag为0.99；CLEAN的block为0.009（Table 3）。
• 图的可读范围：Figure 3、4提供类别、图例与坐标文字；纯文本不支持核对柱高或曲线位置，以上数值取自表格及正文。

作者明确讨论了数据、估计精度、观察层覆盖与结算模型的边界。

作者指出的局限与后续方向

• 合成数据与精度：没有真实客户会话进入基准；Table 3逐类估计半宽为±0.19，扩大生成池可达到±0.10（§9）。
• L0表达数量：758条推理文本归并为51种不同字符串，因此Table 2只测了少量不同表达（§9）。
• 会话与观察层：30分钟无活动间隔恢复会话的成功率是构造条件下的上界；L2、L4模拟但未评分，L3只部分覆盖（§9）。
• 结算模型：数据来自一种不可逆微支付轨道；作者没有checkout轨道上的智能体流量，不估计报价绑定、授权与扣款比较或可追回性的效果大小（§9）。
• 检测与决策方向：作者提出利用L3交易对手历史、联合跨层证据，以及研究累计多少智能体证据才值得人工复核（§10）。
• 对手与委托方：回避类攻击写好后固定不变；作者提出自适应对手，并指出当前欺诈家族没有敌意委托方类别（§10）。

实验覆盖范围

• 类别范围：ACB包含二十类，分为结构、回避、交易对手欺诈和智能体四个家族，另有LOSS与CLEAN桶（§5、Table 3）。
• L0对照：Table 2比较四个judge；LLM裁判名称、rubric判定阈值和独立文本生成模型名称未报告（§7–8）。
• 重复范围：完整管线独立生成并拟合三次；Table 3每类n为23至46，论文提醒小于±0.19的逐类差异不宜解读（§6、§8.3）。
• 生产依据：聚合参数来自服务目录与结算；生产结算来自六个智能体，其中一个贡献81.6%的付款（§6）。
• 成本条件：经济性分析固定测得的误报率和召回，分别改变人工复核成本或支付中位数，不是这些新金额条件下重新测得的检测结果（§8.4）。

ACB是一套智能体支付欺诈基准与检测参考栈，目标是衡量钱是否被不当提取，而不仅是智能体是否接受了恶意指令。

• 问题定位：真实交易对手也可能多收费。作者认为，这类损失不能由身份检查直接识别，且不同观察层拥有不同证据。
• 方法结构：分类覆盖五个观察层、单请求与历史证据、二十类风险；gordonguard提供配置审计、离线探测和运行时检测，阈值只从干净训练流量拟合。
• 完整栈结果：ACB在10%复核预算下，CLEAN标记率为0.065；F1多收费标记率为0.03，F5 retry farming为1.00。作者称八类不优于干净标记率（Table 3）。
• 安全工具对照：garak 0.16.0在ACB四类L0任务中召回均为0.00；它对越狱对照评分为1.0。作者将这种差异解释为检测范围，而非工具失灵（Table 2、§8.1）。
• 预算与成本：同一L1管线在1%和20%复核预算下，pooled recall分别为0.26和0.69；生产支付中位数为0.007 美元。作者认为，召回必须与误报及复核经济性一起阅读（§8.3–8.4）。
• 证据边界：流量是合成数据，逐类估计95%半宽为±0.19。作者后续关注交易对手历史、跨层检测、累计证据决策和自适应对手（§9–10）。