研究者提出序列马赛克攻击并给出防御理论
Reflections and Fragments: Securing LLMs Against Sequential Mosaic Attacks
AI 导读
研究者针对多轮序列马赛克攻击提出防御理论，这类攻击的单个片段看似无害，组合后却构成有害载荷。作者证明任何固定长度的近期提示窗口在一般情况下都不足以防御，因为安全相关信息可能出现在交互中任意靠前的位置，并形式化了一个在线状态机制 watchman 来携带这些信息。在明确假设下，该机制可实现零失败防御并保持正向的有益帮助性，在更强条件下还是零失败防御者中最优的。研究还给出状态数与查询数的下界，并指出自博弈均衡本身不能证明有用性，进而提出在零失败防御者中最大化最坏情况有益帮助性的约束形式。实验上，通过多轮自博弈在冻结 LLM 上训练角色专属的 attacker 与 defender LoRA 适配器，攻击者更易诱导有害回答，防御者对攻击更鲁棒，在未见攻击目标上也有提升。