跳到正文
原文
安全内参 / 模安局·本站收录· 原文发表

大模型自我反思微调,让 Agent 学会抵御未知的提示注入

大模型自我反思微调,让Agent学会抵御未知的提示注入

AI 导读

约翰斯·霍普金斯大学、圣路易斯华盛顿大学等机构研究团队提出自我反思微调方法 SRFT,让 Agent 从自身错误决策中学习抵御提示注入。方法先让模型在受攻击上下文中采样候选动作,由专家模型生成解释错误原因与后果的反思文本,再连同正确动作做 LoRA 监督微调。在 AgentDojo 上,Llama-3.1-8B 的攻击成功率从 7.59% 降至 1.26%,Qwen3-8B 从 16.97% 降至 1.05%;面对 RL-Hammer 自适应攻击,Llama-3.1-8B 原始模型攻击成功率达 98.5%,SRFT 训练后仅 17.5%。

相关论文
阅读原文secrss.com