P2Patch:利用引导的漏洞修复
P2Patch: Exploit-Guided Vulnerability Repair
作者提出 P2PATCH:补丁生成后由利用智能体继续攻击同一漏洞,101 个 CVE 上 41% 已接受补丁被绕过,held-out 覆盖率升至 0.847/0.625。
针对已报告、已钉住版本的 C/C++ 与 Java 项目漏洞;攻击者控制与发现相关的输入(归档条目、文件、缓冲区、请求参数、序列化对象、命令行参数、网络消息);智能体不获得 CVE 编号、上游补丁、公告利用文本或 held-out PoV,禁用网络检索;宿主与基准仓库视为可信基础设施。
- 自动漏洞修复常用同一份证据(告警、崩溃输入、PoC)既指导打补丁又判定成功,补丁可能只特化到该证据而漏洞仍在,作者称之为 oracle-reuse 问题。
- P2PATCH 让利用智能体先把发现变成可复现 PoV,补丁智能体修复后,利用智能体再攻击已打补丁的程序寻找同漏洞新绕过;每个执行确认的绕过都成为永久修复要求,最终用与构建隔离的 held-out PoV 套件评分。
- 101 个 CVE 上,41% 的运行在补丁阻断原 PoV 后仍找到执行确认的新绕过;相比单次修复,held-out Cfix 从 0.781 升至 0.847,Cres 从 0.421 升至 0.625;对三个已发表系统的共享 subject 重评分也更高。
- 作者称协议是有界测试而非完备性证明;held-out 套件是人工编写的路径而非全部输入空间;预训练记忆无法排除;18 个 residual 套件的可执行 PoV 被暂缓发布;每 subject 仅一次运行,论文未报告重复次数。
- 被测模型
- Claude Haiku 4.5GLM 5.2DeepSeek V4 FlashGPT-5.6-luna
- 基准
- VulnRepairBenchVulnLoc+
- 指标
- CfixCresmacro coveragebypass ratecost per subject
研究者提出生成式对抗修复系统 P2Patch,把每个补丁当作新的攻击目标。利用智能体先构造漏洞证明(PoV),修复智能体打补丁,随后再以同漏洞的新利用攻击补丁后的程序;成功利用会成为永久修复要求,最终补丁须阻断积累的全部 PoV,且构造期 PoV 与留出评测 oracle 严格分离。在 101 个 C/C++ 和 Java CVE 样本上,41% 的运行中,补丁挡住构造期 PoV 后仍被同漏洞的新利用攻破。相比使用 Claude Code、从同一发现出发的单遍修复,P2Patch 将留出 fix-closed 覆盖率从 78.1% 提到 84.7%,beyond-upstream 覆盖率从 42.1% 提到 62.5%,在重叠样本上认证的已阻断攻击路径也多于近期最先进的智能体修复系统。作者称,对抗测试与独立安全 oracle 能暴露单次验证漏掉的修复缺口。
相关热点
1 个事件 · 1 条新闻提到
提到这篇论文的新闻
研究称AI编写补丁常修不完整,反成攻击路线图
- CSO Online提到论文的名字AI 编写的补丁正在成为黑客的攻击地图
More recently, in a benchmark test called P2Patch, researchers pitted two AI agents against each other: one wrote exploits for 101 real vulnerabilities, and the other patched the code until the
深度解读
这篇论文试图解决什么问题?
修复系统用同一份证据构建并验证补丁,作者称这会高估修复完整性,提出利用引导的对抗式修复。
核心问题:自动漏洞修复存在 oracle-reuse 问题——同一份证据(静态告警、sanitizer 轨迹、PoC、测试)既用于构建补丁又用于判定成功,补丁可能只阻断那一个证据而漏洞仍可被变体触发。
- 场景与动机:作者称,静态告警指出可疑流但不证明可利用性,PoC 只演示一次失败执行,测试套件很少定义完整安全边界;plexus-utils 的 zip slip 案例中,2016 年官方修复用 startsWith 做包含检查,可被兄弟路径绕过,九年多后才被第二次修复关闭(Figure 1)。
- 现有方法不足:作者称,现有修复系统的修复目标在打补丁前就固定,每次修复尝试都试图满足同一个告警、崩溃、轨迹或 PoV,目标不会随已打补丁的程序自适应变化;近期评估也显示 PoC 加功能测试的验证会高估修复正确性。
- 核心观察:作者认为补丁一旦改变程序,关键问题不只是原 PoV 是否被阻断,而是能否找到一个不同的利用来证伪当前补丁的安全声明;这类似反例引导综合,但验证者是有预算的利用器而非完备判定过程。
- 论文提出:P2PATCH,一个执行裁判的利用-补丁对抗修复系统,外加 101 个 project–CVE subject 的基准 VulnRepairBench,用独立认证的 held-out PoV 套件把构建期证据与评估期证据严格分开。
- 威胁模型(Section 2.4):
- 目标:已报告漏洞的修复,针对钉住的 C/C++ 与 Java 项目版本,研究 repair 而非 triage。
- 攻击者能力:控制与发现相关的输入,如归档条目、文件、缓冲区、请求参数、序列化对象、命令行参数或网络消息。
- 知识与隔离:智能体不获得 CVE 编号、上游修复、公告利用文本或 held-out PoV,禁用网络检索;作者称这不能消除预训练获得的知识。
- 信任假设:评估宿主与基准仓库视为可信基础设施,智能体产生的编辑、命令和声明视为不可信输入;原型不声称能抵御恶意仓库。
有哪些相关研究?
论文把相关工作分为自动漏洞修复、修复循环优化对象、PoV 生成、补丁验证与基准五类,并指出区别在修复目标是否可移动。
自动漏洞修复系统
- 学习式方法(SequenceR、CURE 等)——在假设编辑位置下把漏洞代码翻译成修复代码;分析式系统(ExtractFix、VulnFix、SemFix、Angelix)——从具体失败或漏洞见证推导修复约束。
- 智能体式系统(APPATCH、PatchAgent、San2Patch、CodeCureAgent、OSS-Fuzz 修复智能体、LoopRepair)——用 LLM 结合漏洞代码、告警、轨迹或复现产物迭代修复;论文指出它们的修复目标通常在打补丁前固定。
修复循环优化什么(Table 11)
- San2Patch 在推理路径(ToT)上循环,PatchAgent 在智能体动作上循环,LoopRepair 在候选补丁上循环,三者的成功目标都固定;论文指出 P2PATCH 改变的是修复目标本身:补丁被接受后,已打补丁的程序成为下一个攻击目标。
利用与 PoV 生成
- SemFuzz 从漏洞文本生成内核利用,FaultLine 生成语言无关 PoV 测试,PoC-Gym 研究 Java PoV 的静态轨迹引导,CVE-Genie 从公开 CVE 材料重建环境与可验证利用;论文指出这些工作聚焦让漏洞可执行,P2PATCH 把该能力当作修复原语。
补丁验证与基准
- 测试套件过拟合是程序修复的长期问题(Smith 等、Le 等);PVBench 显示 PoV 加功能测试会高估修复成功率,VulnRepairEval 与 PatchEval 转向可执行的容器化安全测试;论文指出 P2PATCH 采用可执行验证但把构建期 PoV 与 held-out 评估套件分开。
- 许多修复评估以官方修复为目标行为,作者称这会让官方修复成为天花板:官方修复未关闭的路径无法被度量。
基线与基准:对比基线为 SINGLE PASS(同一 Claude Code 框架单次修复)、San2Patch、PatchAgent、LoopRepair;基准为论文自建的 VulnRepairBench(101 个 CVE,C/C++ 部分源自 VulnLoc+)。作者定位:本文是首个把每个执行确认的绕过变成永久修复要求、并用独立 held-out 安全 oracle 评估的反例引导利用-补丁协议(作者称这是其贡献,原文表述为贡献列表而非"首个"声明)。
论文如何解决这个问题?
P2PATCH 用执行裁判的对抗循环:PoV 引导修复,补丁再被攻击,确认的绕过追加为永久修复要求,held-out 套件独立评分。
整体思路:P2PATCH 把每个补丁当作新的攻击目标,构建期证据与评估期证据严格分离,智能体只提议 PoV 和补丁,成功与否由编排器执行判定。
问题设定与形式化
- 给定钉住的漏洞版本 P0、规范化发现 f 和项目执行契约 C,产出源补丁 π 或结构化失败;补丁 construction-valid 当且仅当 P0 ⊕ π 阻断所有累积 live PoV 且无差分回归。
- 执行裁判为三值结果:EXEC(P, e) ∈ {REPRO, BLOCKED, INCON},分别表示复现、阻断、因超时/构建失败等原因无法判定;INCON 不给任何一方计分,避免把坏基础设施当成修复成功。
- 要求集只增不减:每当执行确认新绕过,Er+1 = Er ∪ {er+1},b = |E| − 1 表示 bootstrap 之后追加的绕过数。
Bootstrap:让发现可执行
- 利用智能体(exploiter)根据规范化发现生成候选 PoV e0,仅当 EXEC(P0, e0) = REPRO 才被接受;超时、构建失败、缺 harness 或未观察到漏洞行为都算 INCON 或 BLOCKED,不进入要求集。
- 预算内找不到可复现 PoV 就返回结构化失败,不让补丁智能体修复未执行的声明;e0 是构建证据,不是评估 oracle。
补丁收敛与对抗加固
- 补丁智能体(patcher)编辑产品代码,安全优先门控:所有受保护 PoV 判定为 BLOCKED 后才考虑回归检查;每轮门控检查最新绕过加 e0,早期绕过在加固循环结束后统一重放,重放失败直接拒绝该补丁,不再给修正机会。
- 对抗加固:补丁通过当前门控后,exploiter 收到已打补丁程序及其 diff,寻找同漏洞、同安全边界但不同载荷、编码、入口点或兄弟路径的新绕过;主配置固定 R=4 轮,稳定退出只表示预算内未找到新绕过,不是漏洞不存在的证明。
执行裁判与工件完整性
- 回归检查是差分的:打补丁后失败的测试只有与原始版本对比支持归因时才计为回归;live 门控与最终重放用同一执行语义,held-out 套件在修复结束后才挂载。
- 角色权限不对称:exploiter 可建攻击工件但不能削弱产品代码,patcher 可改代码但不能删除或改写受保护 PoV;编排器在调用前做快照并恢复越权改动。
- 原型为 Python 编排器,禁用网络检索与继承设置;评估用 κatt=3 次攻击尝试、κgate=3 次门控评估、R=4 轮(附录 C)。
独立安全 oracle 与成功判定
- Fix-closed PoV:在漏洞版本复现且被官方修复阻断,度量 held-out 攻击路径覆盖 Cfix;Residual PoV:在漏洞版本和官方修复版本上都复现,度量超越上游的加固 Cres。
- 覆盖率只对 conclusive 执行计算,INCON 移出分母;最终补丁与上游 diff 不做语法比较,只做行为比较:是否阻断官方修复所阻断的独立认证路径。
- 泄漏控制:智能体收不到 CVE 编号、上游补丁、公告利用文本和 held-out 文件,禁用网络检索;作者称这无法消除预训练知识,主张仅限于修复循环无法检视评估套件。
论文做了哪些实验?
101 个 CVE 上 41% 已接受补丁被新绕过;held-out Cfix 0.781→0.847、Cres 0.421→0.625,增益主要来自对抗循环,并在四个模型家族上复现。
实验设置
- 被测模型:主实验(6.1–6.3)固定 Claude Haiku 4.5;模型扫描(6.4)另测 GLM 5.2、DeepSeek V4 Flash、GPT-5.6-luna,每个 arm 同一模型兼任 exploiter 与 patcher。
- 基准:VulnRepairBench,101 个 CVE(60 Java、41 C/C++),61 个仓库,20 个弱点类;fix-closed 套件 324 个 PoV(每 subject 1–14 个),40 个 subject 另有 residual 套件共 66 个 PoV(Table 1);从 138 个候选发现中筛出 101 个可复现 subject(附录 D)。
- 基线:SINGLE PASS(同一 Claude Code v2.1.241 框架单次修复,无 live PoV);已发表系统 San2Patch、PatchAgent、LoopRepair 在共享 subject 上用同一 held-out 套件重评分,均用 Claude Haiku 4.5。
- 指标:宏覆盖率 Cfix/Cres(每 subject 内 conclusive PoV 被阻断的比例再平均),intention-to-treat:未产出接受补丁的 subject 计零;另报 micro 覆盖率、bypass 率、成本。
- 统计检验:exact Wilcoxon signed-rank 检验,Holm 校正;语言拆分、分层、已发表系统重评分和模型扫描为探索性分析。
- 评审方式:自动门控通过后两名评审按固定 rubric 独立人工审查补丁 diff,对模型与配置设盲,分歧联合裁决;held-out oracle 不参与验收。每个 subject 一次运行,论文未报告重复次数。
主结果
据 Table 2(intention-to-treat 宏覆盖率)与 Table 4(模型扫描):
表格较宽,可左右滑动
配置/模型 n Cfix Cres 接受补丁 bypass 率 成本 $/subj SINGLE PASS (Haiku 4.5) 101/40 0.781 0.421 — — 0.45 P2PATCH (Haiku 4.5) 101/40 0.847 0.625 98/101 41% 2.09 P2PATCH (GLM 5.2) 101/40 0.921 0.795 100/101 47% 2.43 P2PATCH (DeepSeek V4 Flash) 101/40 0.821 0.608 94/101 35% 0.54 P2PATCH (GPT-5.6-luna) 101/40 0.594 0.400 66/101 31% 0.16 - 作者称两项主检验都通过 Holm 校正(Cfix p=0.0286,Cres p=0.0254);micro 覆盖率 Cfix 0.710→0.781、Cres 0.409→0.712。
- 作者称 GPT-5.6-luna 在 66 个已接受补丁内 Cfix 达 0.909,但 35 个 subject 未修复拉低了 intention-to-treat 分数,其中 26 个是补丁被人工评审拒绝。
- 作者称该比较是端到端覆盖-成本权衡,不是效率排名。
RQ1:已接受补丁的绕过
- 测什么:补丁阻断其构建 PoV 后,exploiter 能否找到同漏洞新绕过。结果:101 次运行中 41 次(41%)找到执行确认的不同绕过,共 68 个;逐轮条件概率为 41%、37%、53%、50%(轮次 1–4,样本 99/41/15/8,Figure 4),作者称后几轮样本小不精确解读,但绕过率不随深度消失。
- 作者解读:编排器只强制执行确认、不机器检查语义新颖性,41% 是语义不同绕过的上界;4 次运行在第四轮仍确认新绕过,搜索是被截断而非穷尽。
RQ3:增益归因
- 据 Table 3:Cfix 上 live PoV 贡献 +0.027(p=0.2944)、对抗循环再贡献 +0.038(p=0.0020);Cres 上 PoV 贡献 +0.050(p=0.5000)、循环贡献 +0.154(p=0.0156)。作者称可检测的增益来自循环而非 PoV。
- 循环本身无回归:Cfix 上 10 升 91 平 0 降,Cres 上 7 升 33 平 0 降;Table 2 中 3 个负对全部发生在循环之前(2 个未修复计零,1 个 CVE-2018-17297 的 PoV 锚定导致修复面变窄,作者称该 subject 上 exploiter 未找到绕过所以循环未运行)。
- 轮次预算扫描(Table 9,98/39 个 subject):R=1 时 Cres 从 0.457 升至 0.556,之后增量递减,R=3 到 R=4 为 +0.000;作者称大部分 residual 收益在前两轮到达。
RQ5:已发表系统重评分
- 据 Table 5:P2PATCH 对 San2Patch(n=33)Cfix 0.922 vs 0.608(+0.314);对 LoopRepair(n=39)0.930 vs 0.325(+0.605);对 PatchAgent(n=16)0.929 vs 0.836(+0.093);residual 增益 +0.454 至 +0.500。
- 作者称这不与原文评估矛盾:原验证标准没有度量同一 held-out 攻击路径覆盖;比较反映输入、协议、预算、实现成熟度和验证策略的整体差异,不是全局排名。
- 成本(Table 6):P2PATCH 平均 $2.09/run,SINGLE PASS $0.45,LoopRepair $0.38,PatchAgent $0.32(论文注明为下限)。
其他消融与分析
- 语言拆分(Table 8,探索性):Java Cfix +0.071、C/C++ Cfix +0.057;C/C++ Cres +0.333(n=12)。
- 上游历史(附录 G,Figure 6):23 个可判定 residual gap 中 14 个后来被上游关闭(中位约两年后,最长九年半,plexus-utils 一例被分配 CVE-2025-67030),9 个在上游当前代码仍开放并已向 8 个项目披露。
- 负面结果:3 个 subject P2PATCH 未产出接受补丁(2 个 PoV 未复现、1 个补丁被人工评审拒绝);CVE-2018-17297 上 Cfix 从 0.80 降到 0.20,作者归因于 bootstrap PoV 锚定。
有什么可以进一步探索的点?
作者称协议是有界测试而非证明,held-out 套件存在覆盖偏差,预训练记忆无法排除,部分 residual 执行确认留作后续。
作者指出的局限与后续方向
- 有界加固而非证明(Section 7):exploiter 有预算、live PoV 集有限、held-out 套件是人工编写路径而非全部输入空间;稳定运行只表示配置的利用器未再找到绕过,仍是测试主张而非法式证明。
- Oracle 覆盖偏差(Section 7):套件含人工编写路径而非所有相关路径;residual PoV 由反向规则认证,官方修复本身不认证它们;14 个 residual gap 被后续上游修复佐证,其中 8 个已执行确认 PoV 在后来的树上被阻断,作者称把执行确认扩展到每一行是 future work。
- 已发表系统比较的范围(Section 7):这是端到端 oracle 比较,不声称先前系统在其原始标准下失败;差异反映输入模态、修复协议、预算、实现成熟度和验证策略,不只是对抗循环。
- 预训练记忆(Section 7):无法排除模型对公开 CVE、公告、修复或利用示例的预训练接触,可能抬高所有配置的绝对覆盖率;作者称这是在公开漏洞上评估 LLM 修复的局限。
- residual PoV 的部署含义(附录 A、G):residual PoV 只表示某行为在基准契约下仍可复现,不证明在每种部署中都可利用;"上游仍开放"不等于可利用,需逐案建立从攻击者输入的可达性。
实验覆盖范围
- 被测模型共 4 个:Claude Haiku 4.5(主实验)、GLM 5.2、DeepSeek V4 Flash、GPT-5.6-luna;每个 arm 同一模型兼任 exploiter 与 patcher(Section 6.4)。
- 基准为 101 个 CVE subject(60 Java、41 C/C++),20 个弱点类;C/C++ 源自 VulnLoc+,Java 来自 GitHub Security Advisories 与 NVD(Section 5)。
- 已发表系统对比覆盖 San2Patch(33 个共享 subject)、LoopRepair(39 个)、PatchAgent(16 个),均为 C/C++ 共享子集(Table 5、附录 E)。
- 每个 subject 每个配置一次运行;论文未报告重复次数,也未报告人工评审的评审者间一致性数值。
- 主配置预算为 κatt=3、κgate=3、R=4(附录 C);18 个 residual 套件(30/66 PoV)与 4 个 fix-closed 套件(16/324 PoV)的可执行 PoV 被暂缓发布(附录 B)。
总结一下论文的主要内容
P2PATCH 把补丁当作新攻击目标做对抗式修复,41% 已接受补丁被新绕过,held-out 覆盖率超过单次修复与三个已发表系统。
P2PATCH 是一个执行裁判的利用引导漏洞修复系统,针对自动修复中"用同一份证据构建并验证补丁"的 oracle-reuse 问题。
- 问题:作者称,补丁只需阻断构建它的那份 PoC 或告警就可能被接受,但同一漏洞的变体载荷、编码、入口点或兄弟路径仍可触发;plexus-utils 的 zip slip 修复九年后才被二次修复即为例证(Figure 1)。
- 方法:exploiter 先把规范化发现变成可复现 PoV,patcher 修复后,exploiter 再攻击已打补丁的程序;每个执行确认的同漏洞绕过追加为永久修复要求(只增不减),三值执行裁判(REPRO/BLOCKED/INCON)杜绝把基础设施失败当作修复成功;最终补丁用与构建严格隔离的 held-out fix-closed 与 residual PoV 套件评分。
- 绕过率:在 101 个 CVE 上,41% 的运行在补丁阻断原 PoV 后仍找到执行确认的新绕过,共 68 个;绕过率不随加固轮次消失(Figure 4)。
- 覆盖率:相比 SINGLE PASS,held-out Cfix 从 0.781 升至 0.847(n=101),Cres 从 0.421 升至 0.625(n=40),两项检验均通过 Holm 校正;归因分析显示可检测增益来自对抗循环(Cfix +0.038、Cres +0.154)而非 bootstrap PoV(Table 3)。
- 模型与基线:绕过发现在四个模型家族上复现(31%–47%);GLM 5.2 达 Cfix 0.921、Cres 0.795;对 San2Patch、LoopRepair、PatchAgent 的共享 subject 重评分,P2PATCH 的 Cfix/Cres 均更高(Table 5),作者称这是端到端比较而非全局排名。
- 结论与代价:作者认为自适应反例增长加独立安全 oracle 能暴露一次性验证漏掉的修复缺口,但仍是有界测试方法而非完备性证明;平均成本 $2.09/subject,约为单次修复($0.45)的四倍多;14 个 residual gap 后被上游关闭,9 个仍开放并已披露。