跳到正文
原文

PIPETTE:面向鲁棒 LLM 智能体的提示注入紫队测试

PIPETTE: Prompt Injection Purple-Teaming for Robust LLM Agents

arXiv:其他 AI 安全论文· arXiv:2611.24362· Lipeng He, Yihan Wang, Jiawen Zhang, N. Asokan·本站收录· 13 小时前· 原文发表防御· 扫描记录里的位置 →
AI 导读

研究者提出 PIPETTE,一个把提示注入红队发现转化为防御鲁棒性提升的紫队框架。论文指出,RL-Hammer 与 PISmith 两种基于 RL 的红队方法存在模式坍缩,反复发现相似攻击策略,其额外成功不再为对抗训练带来鲁棒性提升,因此红队阶段的高攻击成功率并不保证防御变强。PIPETTE 采用基于字典学习的奖励,鼓励红队覆盖更广的攻击策略,并集成面向间接提示注入防御的 on-policy 对抗训练流程,使智能体在抵御攻击的同时完成合法用户任务。在 AgentDojo 和 ASB 智能体基准上的评估显示,PIPETTE 训练出的防御对静态攻击的攻击成功率接近零,能抵御强自适应攻击,同时良性任务效用接近无防御基线。

阅读原文arxiv.org