SRFT自我反思微调提升Agent抗提示注入能力
先了解这件事
2026年10月3日，约翰斯·霍普金斯大学、圣路易斯华盛顿大学等机构研究团队发布论文，提出名为SRFT（自我反思微调）的安全训练方法，让模型从自身错误决策中学习抵御提示注入。该方法先让待训练模型在含注入内容的工具返回中采样候选动作，再由专家模型对比正确动作、生成解释错误原因与潜在后果的反思文本，最后将反思文本与正确动作一起用于LoRA监督微调。论文在AgentDojo基准上的结果显示，经SRFT训练后，Llama-3.1-8B的提示注入攻击成功率从7.59%降至1.26%，Qwen3-8B从16.97%降至1.05%。
AI 根据报道生成 · 16 天前更新
相关研究
报道引用的论文
- SRFT：让 Agent 从失败经验中自我反思以抵御提示注入大模型自我反思微调，让 Agent 学会抵御未知的提示注入
arXiv · 2026-10-03 · 深度解读
报道提到其成果的论文
- 报道提到 AgentDynAgentDyn：你的智能体安全防御能否在真实动态环境中部署？大模型自我反思微调，让 Agent 学会抵御未知的提示注入
arXiv · 2026-02-03
- 报道提到 Meta-SecAlignMeta-SecAlign：训练大语言模型抵御提示注入以构建鲁棒智能体大模型自我反思微调，让 Agent 学会抵御未知的提示注入
arXiv · 2025-07-03 · 深度解读
- 报道提到 SecAlignSecAlign：用偏好优化防御提示注入大模型自我反思微调，让 Agent 学会抵御未知的提示注入
ACM CCS 2025 · 2024-10-07 · 深度解读
- 报道提到 AgentDojoAgentDojo：评估 LLM 智能体提示注入攻击与防御的动态环境大模型自我反思微调，让 Agent 学会抵御未知的提示注入
arXiv · 2024-06-19 · 深度解读
- 报道提到 InjecAgentInjecAgent：工具集成大语言模型智能体的间接提示注入基准评测大模型自我反思微调，让 Agent 学会抵御未知的提示注入
arXiv · 2024-03-05 · 深度解读
后续时间线
- 网页AI Threat Watch (aithreat.io)· 媒体跟进大模型自我反思微调，让Agent学会抵御未知的提示注入（新标签页打开原帖）
- 安全内参 / 模安局大模型自我反思微调，让 Agent 学会抵御未知的提示注入
约翰斯·霍普金斯大学、圣路易斯华盛顿大学等机构研究团队提出自我反思微调方法 SRFT，让 Agent 从自身错误决策中学习抵御提示注入。方法先让模型在受攻击上下文中采样候选动作，由专家模型生成解释错误原因与后果的反思文本，再连同正确动作做 LoRA 监督微调。在 AgentDojo 上，Llama-3.1-8B 的攻击成功率从 7.59% 降至 1.26%，Qwen3-8B 从 16.97% 降至 1.05%；面对 RL-Hammer 自适应攻击，Llama-3.1-8B 原始模型攻击成功率达 98.5%，SRFT 训练后仅 17.5%。
- 公众号 模安局大模型自我反思微调 SRFT，让 Agent 学会抵御未知的提示注入
约翰斯·霍普金斯大学等机构团队于 2026 年 10 月 3 日发布论文，提出 SRFT（自我反思微调）安全训练方法：先让待训练模型在含注入内容的工具返回中采样自己的候选动作，再由专家模型对比正确动作、分析错误原因与潜在后果，将反思文本与正确动作一起用于监督微调。在 AgentDojo 上，Llama-3.1-8B 的攻击成功率从 7.59% 降至 1.26%，Qwen3-8B 从 16.97% 降至 1.05%；面对 RL-Hammer 自适应攻击，经 20 轮攻击训练后 Llama-3.1-8B 的 SR-Agent 攻击成功率为 17.5%，低于原始模型的 98.5% 和 Meta-SecAlign 的 69.5%。消融实验显示，在 Qwen3-8B 上去掉错误动作分析后，攻击成功率从 17.0% 升至 65.0%。
相关讨论
- 72 小时以前 · 不计入 72 小时的数字
- 网页AI Threat Watch (aithreat.io)大模型自我反思微调，让Agent学会抵御未知的提示注入（新标签页打开原帖）