研究人员在搜索问答任务中演示参考答案反馈投毒可让Agent自生成后门规则
Agent的参考答案反馈投毒
AI 导读
论文《When Feedback Becomes a Backdoor》(arXiv 2611.09348)提出参考答案反馈投毒,攻击者只需篡改训练任务中的参考答案,就能诱导基于 SkillOpt 的自我优化 Agent 自行生成持久后门规则,无需修改模型参数、优化器或 Skill 文件。在 SearchQA 实验中,400 条训练样本的 30% 参考答案被污染后,三个随机种子全部成功保留后门,带 [ZEPHYR-17] 标记的 600 个问题全部触发、正常问题 0 次误触发,投毒后正常准确率 84.5% 与对照的 85.5% 基本相当。论文提出的载体效应显示,后门规则与正常改进规则捆绑时可随整体性能提升通过干净验证集,验证参考答案被污染则构成另一个攻击入口。但在 SpreadsheetBench 电子表格 Agent 上,自然攻击因规则抽象和修改预算两个障碍在三个随机种子上均未成功。
推荐理由
论文给出参考答案投毒的成功率与载体效应机制,部署自我优化 Agent 的团队可据此检查反馈与验证链路。
相关论文