Failure-First 的跨框架覆盖矩阵：红队工具遗漏了什么
The Cross-Framework Coverage Matrix: What Red-Teaming Tools Miss
AI 导读
Failure-First 把自行实测的 36 类攻击家族对照 MITRE ATLAS、OWASP LLM Top 10（2025）、OWASP Agentic Top 10（2026）、Garak、PyRIT 和 DeepTeam 六套框架，发现存在结构性的覆盖缺口。MITRE ATLAS 覆盖最广，达 63%；两份 OWASP Top 10 各为 54%；自动化红队工具 Garak、PyRIT、DeepTeam 分别只有 11%、14%、9%。十类攻击家族在六套框架中零覆盖，其中七类带有实测攻击成功率数据。具身 AI 攻击的覆盖最少，作者建议 MITRE ATLAS 增设具身 AI 战术、OWASP 扩展 LLM05 以涵盖物理动作输出，并提供 411 个 JSONL 格式场景供集成。