事件历史事件
Giskard实测：扫描工具94%告警为噪声
先了解这件事
AI 综述
Giskard用运行在GPT-5.4 mini上的银行支付Agent Aria实测Garak、Promptfoo、DeepTeam、PyRIT四款LLM安全扫描器，4,101条告警中94%无需修复，39个已确认漏洞仅检出7个、9个严重漏洞仅检出4个。误报主因是扫描器判分器不了解Agent用途，把询问收款方等正常行为判为失败；另有3个漏洞被触发却被扫描器自己的判分器判为PASS。
AI 根据报道生成 · 8 天前更新
走势与进展
每小时关注度
现在 35，24 小时 0%·峰值 35（11月6日 03:00）
11月7日11月8日11月9日11月10日11月11日现在 35
相关研究
报道提到其成果的论文
- 报道提到 HarmBenchHarmBench：自动化红队测试与鲁棒拒答的标准化评测框架扫描不等于 AI 红队测试：94% 的告警是噪声
arXiv · 2024-02-06 · 深度解读
后续时间线
11月4日
- Giskard扫描不等于 AI 红队测试：94% 的告警是噪声
Giskard 用运行在 GPT-5.4 mini 上的银行支付 Agent Aria 实测 Garak、Promptfoo、DeepTeam、PyRIT 四款 LLM 安全扫描器，4,101 条告警中 94% 无需修复，39 个已确认漏洞仅检出 7 个、9 个严重漏洞仅检出 4 个。误报主因是扫描器判分器不了解 Agent 的用途，把询问收款方等正常行为判为失败；另有 3 个漏洞被触发却被扫描器自己的判分器判为 PASS。严重缺陷藏在工具调用而非文本回复，向伪造商户 ID 付款的漏洞在 15,563 次测试中无一被发现。28 个风险场景中四款扫描器合计只实现 10 个、6 个从未尝试，尽管都宣称覆盖 OWASP Top 10。文章建议保留扫描器并叠加威胁模型，用 EBIOS Risk Manager、STRIDE 等框架列出风险场景，据此判分、统计覆盖率并补齐红队缺口。
相关讨论
关注度走势
每天新增来源
- 11月4日新增1个来源（1家媒体、0个账号）
- 11月5日新增0个来源（0家媒体、0个账号）
- 11月6日新增0个来源（0家媒体、0个账号）
- 11月7日新增0个来源（0家媒体、0个账号）
- 11月8日新增0个来源（0家媒体、0个账号）
- 11月9日新增0个来源（0家媒体、0个账号）
- 11月10日新增0个来源（0家媒体、0个账号）
- 11月11日新增0个来源（0家媒体、0个账号）
- 11月12日新增0个来源（0家媒体、0个账号）
- 11月13日新增0个来源（0家媒体、0个账号）