思科开源AI智能体侦测工具Quarry,可分析多步骤操作找出可疑行为
思科開源AI代理偵測工具Quarry,可分析多步驟操作找出可疑行為
AI 导读
思科开源AI智能体行为侦测工具Project Quarry,通过分析智能体执行任务期间的工具调用、执行结果和操作先后顺序,帮助安全团队识别可疑行为,源代码与文档已在GitHub公开。安全人员可用专用规则语言设定检测条件,由检测引擎分析智能体操作记录,也可选择结合AI模型进行语义判断,例如检查工具返回内容是否含有提示注入指令、智能体操作是否偏离原定任务。思科称Quarry已应用于自家AI安全产品AI Defense。企业使用Quarry需保留智能体操作记录,只存用户输入与模型最终回答可能不足以还原操作过程;据其使用文档,可用既有执行记录测试和调整检测规则以降低误判正常操作的风险,也可将Quarry整合进智能体执行期间的安全检查流程。
推荐理由
思科开源的智能体行为检测工具支持规则与语义两种判断方式,部署智能体的团队可参考其对操作日志留存的要求。
阅读原文