腾讯朱雀实验室开源pikit工具箱,系统测评AI智能体间接提示注入风险
腾讯朱雀实验室:黑客藏指令在文档网页里,AI Agent就会中招?开源pikit工具箱,专门搞定间接提示注入
AI 导读
腾讯朱雀实验室发布论文并开源pikit工具箱,用于系统性测评AI智能体抗间接提示注入能力。pikit把测评拆解为攻击、传播通道、防御三个可自由组合的坐标轴,包含13种攻击构造、16种载体(支持PDF元数据、邮件头等真实文件)以及9种提示层防护加3套离线检测基线。团队用开源代码Agent pi完成2800+组对照实验:提示层防护整体使攻击成功率相对下降71.8%,其中few_shot_warning与instruction_hierarchy最优、压至0.32%,但没有防御能归零风险;离线静态检测精确率高但漏报严重,如LengthDetector召回率仅11.11%,只能作辅助。工具代码已开源在GitHub的Tencent/AI-Infra-Guard仓库。
推荐理由
工具把攻击、载体、防御拆成可组合模块,论文实测显示指令层级类防护优于分隔符隔离、静态检测漏报严重。