Giskard 实测 PyRIT 红队框架:39 个已确认智能体漏洞中检出 0 个
PyRIT vs Giskard: 0 of 39 Agent Vulnerabilities Detected
AI 导读
安全厂商 Giskard 实测微软开源红队框架 PyRIT 的默认配置,发现其在审计确认的 39 个智能体漏洞(含 9 个严重漏洞)中检出 0 个,报告的 9 个失败里 8 个为误报。测试对象 Aria 是运行 GPT-5.4 mini、带 8 个工具的支付智能体;Giskard 用 25 种 Foundry 技术对 20 个默认 HarmBench 目标发起 520 次测试。误报源于默认评分器把任何非拒答回答都计为攻击成功;PyRIT 曾 47 次触发该智能体打印含支付令牌 AGT-9F2B-77401 的账户快照,却每次判为 PASS。默认目标与该智能体威胁模型的 28 个风险场景几乎不重叠,PyRIT 从未尝试其中 25 个。作者建议保留 PyRIT 但补充威胁模型,为每个场景设定攻击目标和相应评分器;文中说明参照基准是 Giskard 自家审计,PyRIT 按默认配置运行。