谁来测试测试者？LLM 智能体工具调用安全的系统枚举与覆盖审计
Who Tests the Testers? Systematic Enumeration and Coverage Audit of LLM Agent Tool Call Safety
AI 导读
研究者提出 SafeAudit 元审计框架，通过系统枚举 LLM 智能体的工具调用流程来审计现有安全基准的覆盖缺口。该框架用基于 LLM 的枚举器生成有效工具调用工作流和多样用户场景，并引入 rule-resistance 这一非语义量化指标，从现有基准中提炼安全规则并找出规则未覆盖的不安全交互模式。在 3 个基准和 12 个环境中，SafeAudit 发现超过 20% 的残留不安全行为未被现有基准暴露，覆盖随测试预算增加而单调增长。