提示注入即角色混淆
Prompt Injection as Role Confusion
AI 导读
研究者将提示注入归因于角色混淆，即模型依据文本的语气而非标注角色判断其来源，网页中隐藏的命令因听起来像用户文本而劫持 Agent。他们设计 role probes 测量模型内部对谁在说话的感知，发现注入文本与被模仿的可信角色占据相同表征空间。基于此的 CoT Forgery 零样本攻击向用户提示和工具输出注入伪造推理，模型误以为是自己的想法，在前沿模型上取得 60% 攻击成功率，基线接近零。角色混淆程度可在生成第一个 token 前预测攻击成功率，该机制也适用于标准 Agent 提示注入。项目页面为 https://role-confusion.github.io。
推荐理由
论文把提示注入归因于模型的角色混淆，并给出可在生成前预测攻击成功率的探针方法，为 Agent 防护提供了可测量的切入点。