AI Agent安全评测:AI Beat三层证据L1-L3+红队越狱实测
「AI Agent安全评测:AI Beat三层证据L1-L3+红队越狱实测」
AI 导读
斗象科技开源的 AI Agent 安全评测框架 AI Beat 包含 PromptBeat 与 AgentBeat 两个产品,前者对模型、RAG 应用等目标做黑盒红队评测,后者采集 Agent 的工具调用、命令与文件变化等执行轨迹。作者核对仓库后介绍,AgentBeat 把证据分为三层,L1 只看最终响应,L2 是被测方自报证据,L3 由独立 State Controller 验证环境状态,需满足 L3 层级与完整证据等条件才能标记为 official_benchmark。仓库内置 Foot-in-the-Door(arXiv:2410.16950)与 RAG 投毒(PoisonedRAG,arXiv:2402.07867)两个攻击案例,后者以召回匹配与答案采纳双门禁判定攻击成败。作者提醒仓库根目录没有 LICENSE 文件,商用或二次分发需自行确认授权。
相关论文