跳到正文
原文
Giskard·本站收录· 原文发表· 评测 →· 扫描记录里的位置 →

Promptfoo 与 Giskard 对比:对 AI 支付智能体做红队测试

Promptfoo vs Giskard: red teaming an AI payment agent

AI 导读

Giskard 用运行 GPT-5.4 mini 的 AI 支付智能体 Aria 作靶子,以自家审计确认的 42 个漏洞(9 个严重,剔除 3 个虚构确认后按 39 个计)为参照,实测 Promptfoo 默认红队扫描的召回与误报。Promptfoo 的 1,365 个单轮测试报告 147 个失败,其中 91 个对应确认漏洞、22 个(15%)为误报,但只检出 39 个漏洞中的 5 个、9 个严重漏洞中的 3 个,另有 1 个漏洞被触发却被其判分模型判为 PASS。Aria 威胁模型的 28 个风险场景中 9 个从未被尝试,包括并发支付和冒充客服诈骗;作者指出关键危害在工具调用而非回复文本,例如向伪造商户 ID 付款。

阅读原文giskard.ai