CoER：用对抗协同演化与精炼防御自适应间接提示注入

论文速读

问题

工具型语言模型 agent 在调用工具时易受 indirect prompt injection（IPI）攻击：不可信工具输出中隐藏的指令会悄悄改变合法任务执行。现有防御多针对固定攻击训练和评估，攻击者不随防御者行为调整，因此面对真实场景中的自适应攻击可能失效。

方法

作者提出 CoER，把任务内交错的工具调用与自适应注入建模为 general-sum Markov game：防御者通过连续工具调用推进任务，攻击者可在同一任务内多次注入并依据公开执行反馈调整后续攻击。先用成功轨迹做 Attacker SFT，再用 bilateral adversarial RL 保留双方历史策略作为对手池并混合当前与历史对手训练；随后用这些攻击者挑战教师 agent，仅用同时通过安全与任务完成验证的示范微调共同演化的防御者。

实验与结果

在七个领域、三个评估种子上，CoER 将 1,187 个自适应案例的平均攻击成功率从 Base 的 41.31% 降到 0.22%，安全任务完成率从 39.60% 升到 76.24%。InjecAgent 与 AgentLAB 上攻击抵抗力提升；冻结交叉对局显示攻击能力增强，消融显示双边历史对手混合与种群引导精炼均有效，攻击者会利用执行反馈调整后续注入。

局限与可以继续做的

精炼阶段增加数据生成成本并依赖强教师；三阶段流程须顺序执行，种群管理引入未充分刻画敏感性的超参数。评估仅覆盖七个 AgentDyn 套件，对其他 agent 框架、非文本模态或更大骨干的泛化未测试；攻击者与防御者共享同一基座模型，异构攻击者可能暴露同族共演化遗漏的弱点。改进奖励设计或引入多样攻击者种群是可能方向。

据 论文全文（AI 生成） 整理，供快速了解，以论文原文为准。