SAGE:定位 LLM Agent 修复中最早偏离安全意图的环节
SAGE
AI 导读
研究者提出 Security Awareness Gap Evaluation(SAGE),一种基于轨迹的方法,结合每轮记录的安全推理评估与重建的代码历史,定位 LLM Agent 在修复中最早偏离任务安全意图的环节,针对的是通过语法与功能检查但仍含漏洞的静默失败。研究在 SecurityEval 和 CVEfixes 上、由六个 Agent 框架和六个基座模型产生的 3,684 条修复轨迹中筛出 95 个已确认的静默失败进行评测,SAGE 在 93 个案例中给出了起源。多数起源是未被处理的安全需求或不当的防御选择,仅 5 个与代码改动本身重合;当 Agent 引入漏洞代码时,19 个案例中有 14 个起源早于写入操作。重复评分和第二评判者对起源类型的复现一致性高于对具体轮次的一致性,仅保留最终文件的轨迹一致性最低。