通过结构化模板注入实现自动化 Agent 劫持
Automating Agent Hijacking via Structural Template Injection
AI 导读
论文提出 Phantom,一个基于结构化模板注入(Structured Template Injection)的自动化 Agent 劫持框架。其思路是向检索到的上下文注入优化后的结构化模板,制造角色混淆,让 Agent 把注入内容误判为合法用户指令或此前的工具输出。为提升对黑盒 Agent 的迁移性,Phantom 先做多级模板增强,再训练 Template Autoencoder(TAE)把离散模板嵌入连续潜在空间,并用贝叶斯优化搜索最优对抗向量。在 Qwen、GPT 和 Gemini 上的实验显示,该框架在攻击成功率(ASR)和查询效率上均优于既有基线;作者称已在真实商业产品中发现 70 多个漏洞并获厂商确认。
推荐理由
论文把攻击模板搜索自动化,在 Qwen、GPT、Gemini 上验证结构化模板注入的迁移性,作者称已在真实产品中确认 70 多个漏洞。