PISanitizer：通过提示词清洗防止长上下文大语言模型的提示注入

研究者提出 PISanitizer，一种针对长上下文大语言模型提示注入的防御方法，在后端模型生成回复前定位并清洗上下文中可能被注入的 token。现有提示注入防御多为短上下文设计，注入指令在长上下文中占比很小，防御效果有限。该方法基于两点观察：提示注入本质是构造迫使模型跟随的指令，而模型依靠注意力机制聚焦关键输入 token；因此先让模型跟随上下文中的任意指令，再清洗驱动这种跟随行为的高注意力 token，使注入指令越能有效迫使模型跟随就越容易被清洗。作者称评测显示该方法能成功阻止提示注入、保持效用、优于现有防御，并对基于优化的攻击和强自适应攻击保持鲁棒。代码开源于 https://github.com/sleeepeer/PISanitizer。