事件历史事件
斗象科技开源AI Agent安全评测工具AI Beat
先了解这件事
AI 综述
斗象科技开源 AI Agent 安全评测框架 AI Beat，包含 PromptBeat 与 AgentBeat 两个产品。PromptBeat 面向模型、RAG 应用等目标做黑盒红队评测；AgentBeat 采集 Agent 的工具调用、命令与文件变化等执行轨迹。有作者核对仓库后介绍，AgentBeat 将证据分为三层：L1 只看最终响应，L2 为被测方自报证据，L3 由独立 State Controller 验证环境状态，需满足 L3 层级与完整证据等条件才能标记。
AI 根据报道生成 · 20 天前更新
相关研究
报道引用的论文
- PoisonedRAG：针对大语言模型检索增强生成（RAG）的知识污染攻击AI Agent安全评测：AI Beat三层证据L1-L3+红队越狱实测
USENIX Security 2025 · 2024-02-12 · 深度解读
后续时间线
10月23日
- 公众号Doonsec· 媒体跟进「AI Agent安全评测：AI Beat三层证据L1-L3+红队越狱实测」（新标签页打开原帖）
- 公众号 句芒安全实验室AI Agent安全评测：AI Beat三层证据L1-L3+红队越狱实测
斗象科技开源的 AI Agent 安全评测框架 AI Beat 包含 PromptBeat 与 AgentBeat 两个产品，前者对模型、RAG 应用等目标做黑盒红队评测，后者采集 Agent 的工具调用、命令与文件变化等执行轨迹。作者核对仓库后介绍，AgentBeat 把证据分为三层，L1 只看最终响应，L2 是被测方自报证据，L3 由独立 State Controller 验证环境状态，需满足 L3 层级与完整证据等条件才能标记为 official_benchmark。仓库内置 Foot-in-the-Door（arXiv:2410.16950）与 RAG 投毒（PoisonedRAG，arXiv:2402.07867）两个攻击案例，后者以召回匹配与答案采纳双门禁判定攻击成败。作者提醒仓库根目录没有 LICENSE 文件，商用或二次分发需自行确认授权。
相关讨论
共1条
- 72 小时以前 · 不计入 72 小时的数字
- 公众号Doonsec「AI Agent安全评测：AI Beat三层证据L1-L3+红队越狱实测」（新标签页打开原帖）
仅提供链接，本站不转载内容。