PIPETTE:面向鲁棒 LLM 智能体的提示注入紫队测试
PIPETTE: Prompt Injection Purple-Teaming for Robust LLM Agents
AI 导读
研究者提出 PIPETTE,一个把提示注入红队发现转化为防御鲁棒性提升的紫队框架。论文指出,RL-Hammer 与 PISmith 两种基于 RL 的红队方法存在模式坍缩,反复发现相似攻击策略,其额外成功不再为对抗训练带来鲁棒性提升,因此红队阶段的高攻击成功率并不保证防御变强。PIPETTE 采用基于字典学习的奖励,鼓励红队覆盖更广的攻击策略,并集成面向间接提示注入防御的 on-policy 对抗训练流程,使智能体在抵御攻击的同时完成合法用户任务。在 AgentDojo 和 ASB 智能体基准上的评估显示,PIPETTE 训练出的防御对静态攻击的攻击成功率接近零,能抵御强自适应攻击,同时良性任务效用接近无防御基线。