跳到正文
原文
公众号 为机器立心·本站收录· 原文发表· 工具 →· 扫描记录里的位置 →精选关注度39

腾讯朱雀实验室开源pikit工具箱,系统测评AI智能体间接提示注入风险

腾讯朱雀实验室:黑客藏指令在文档网页里,AI Agent就会中招?开源pikit工具箱,专门搞定间接提示注入

AI 导读

腾讯朱雀实验室发布论文并开源pikit工具箱,用于系统性测评AI智能体抗间接提示注入能力。pikit把测评拆解为攻击、传播通道、防御三个可自由组合的坐标轴,包含13种攻击构造、16种载体(支持PDF元数据、邮件头等真实文件)以及9种提示层防护加3套离线检测基线。团队用开源代码Agent pi完成2800+组对照实验:提示层防护整体使攻击成功率相对下降71.8%,其中few_shot_warning与instruction_hierarchy最优、压至0.32%,但没有防御能归零风险;离线静态检测精确率高但漏报严重,如LengthDetector召回率仅11.11%,只能作辅助。工具代码已开源在GitHub的Tencent/AI-Infra-Guard仓库。

推荐理由

工具把攻击、载体、防御拆成可组合模块,论文实测显示指令层级类防护优于分隔符隔离、静态检测漏报严重。

阅读原文mp.weixin.qq.com