发现还是记忆？面向真实业务逻辑漏洞挖掘的忠实基准

当前漏洞发现智能体究竟是在发现复杂漏洞，还是在记忆已公开漏洞。

• 场景：作者认为网络安全已成为检验大语言模型和自主智能体的突出试验场，动机包括AI快速产出的软件也需要更好的安全。CTF等挑战集会随模型变强而饱和，基准分数更难解释。
• 现有不足：作者称合成漏洞基准可复现、有客观成功标准，但未必测到真实漏洞；基于CVE、GHSA、Snyk等公告库的基准更真实，但公开软件身份线索会让模型认出见过的漏洞，从而泄漏答案。
• 核心观察：业务逻辑漏洞由应用特有策略和语义关系定义，不像低层内存或线程问题、也不像通用注入那样呈现为语法模式或运行时信号（Figure 1）。合法操作与违规往往返回相同成功响应，只有主体、对象和效果之间的关系能分开二者。
• 本文提出：作者提出跨语言基准 AnonVul，含132个可执行的应用级业务逻辑漏洞，覆盖九种语言和36个CWE。半自动流水线做语义保持的匿名化，从专家规格注入oracle，并差分验证PoC。
• 访问设置：blackbox只给运行中的应用和任务特定的攻击者权限；greybox再给隔离的只读源码快照和源码检查工具。两者共享场景、授权和运行时限制。目标漏洞、参考PoC、补丁实例和oracle内部对智能体隐藏。成功由隐藏的关系oracle判定。

网络安全智能体基准

• CTF与交互任务：InterCode-CTF（Yang et al., 2023）、NYU CTF Bench（Shao et al., 2024）、Cybench（Zhang et al., 2025b）评夺旗或网络安全能力；RedCode-Exec（Guo et al., 2024）评代码智能体的风险执行与生成。
• 已知漏洞与开放发现：CVE-Bench（Zhu et al., 2025）、BountyBench（Zhang et al., 2025a）、SEC-Bench（Lee et al., 2025）、CyberGym（Wang et al., 2026d）、CyberGym-E2E（Shi et al., 2026）、HoF-Bench（Simecek et al., 2026）面向CVE、悬赏或端到端发现。Table 3还列入AutoAdvExBench、SeCodePLT、PatchAgent，并给出规模，如Cybench 40 CTF、CVE-Bench 40 CVE、CyberGym 1,507、CyberGym-E2E 920、AnonVul 132。
• 论文点名的差距：作者称业务逻辑漏洞在这些基准中仍然很少。CVE-Bench和BountyBench的Detect任务对智能体隐瞒目标漏洞；CyberGym-E2E在端到端设置隐瞒ground truth；HoF-Bench对检测器隐藏CVE标识，但不对打分的judge隐藏。作者称这四者都没有同时具备以业务逻辑为中心的语料、匹配的blackbox/greybox，以及成对的匿名与身份可见评测。

业务逻辑漏洞

• 事务与工作流：Felmetsger et al. (2010)、Sun et al. (2014)、Pellegrino and Balzarotti (2014)等做Web应用逻辑漏洞检测；论文还列举电商、设计制品、智能合约和基于注解的净化（Chen et al., 2019; Deepa et al., 2018; Cheh et al., 2022; Sun et al., 2024; Wang et al., 2026b）。
• 授权与权限约束：Huang et al. (2024b)检测数据库应用中的破损对象级授权；论文将Shi et al. (2025)、Li et al. (2026)、Cao et al. (2024)、Luo et al. (2025)、Zhang et al. (2026; 2025c)归入权限、提权和OAuth类约束。
• 不变量与关系抽象：Wang et al. (2024)、Liu et al. (2025)、Atlidakis et al. (2019)、Li et al. (2021)涉及API行为、合约不变量和有状态REST探索；Huang et al. (2021)、Li et al. (2023; 2024)提供关系约束和神经符号推理抽象。作者称这类缺陷要跨用户、对象和状态验证安全效果。

漏洞发现方法

• 分析与学习型检测：Dinella et al. (2020)、Zhou et al. (2019)、Li et al. (2025)、Wang et al. (2026a)。
• 动态探索、数据与规格：论文列举模糊测试（Fioraldi et al., 2020等）、漏洞数据集与经验评估（Fan et al., 2020; Chen et al., 2023; Ni et al., 2024; Ding et al., 2025; Khare et al., 2025），以及规格形式化（Zheng et al., 2025; Feng et al., 2026）。
• 部署与对话测量：Kang et al. (2022)、Yang et al. (2026c)测量真实Web应用；Yang et al. (2026b;d)考察对话上下文和跨组件安全失败。作者称AnonVul改为在可执行应用中用匹配访问和关系oracle评测业务逻辑发现。

对照设置：实验没有另设传统检测器基线，而是在AnonVul上比较六个智能体系统；Scaling另加两个Codex系统。Table 3比较基准设计，不比较实验分数。

作者把本文定位为：把匹配的blackbox/greybox、被动运行时oracle，以及匿名与身份可见的成对评测合在一起，检查源码访问和可识别软件知识如何影响发现。

作者用半自动流水线构建 AnonVul：大规模候选分类用Claude Haiku 4.5，漏洞分析与环境构建用Claude Sonnet 4.6，全程有人工复核。复现由reproduction agent完成，论文未在该处单独点名模型。

选择、规格与环境

• 纳入：公开开源软件中2025-01-01至2026-03-01披露的漏洞，只收安全后果依赖应用特有语义的业务逻辑漏洞（作者引用OWASP Foundation, 2021）。ANOTA的CWE类只指导检索，不决定纳入。跨层案例在应用行为使请求上下文与安全相关时可以纳入。
• 规格：分析advisory、补丁和受影响实现，记录受影响版本、主体与权限、受保护对象、操作或工作流、前置条件与状态、禁止效果、补丁行为和部署要求。同一规格用于建环境、验证复现、定义oracle和检查匿名化。人工对照原始材料核对。
• 四种打包：独立应用为Direct；需要数据库、缓存或身份服务的为Compose；要重建CMS、CI或Kubernetes等宿主上下文的为Platform；库和框架作为精确的易受攻击依赖嵌入脚手架宿主，即Carrier，安全关键操作仍由原始依赖实现。132个通过认证的实例为Direct 35、Compose 62、Platform 25、Carrier 10（附录A）。
• 排除与边界：154个合格候选中，7个因不可用的许可或专有功能排除，15个因公开上游证据不足排除。修复可以改依赖、配置、夹具、启动和接线，不能改易受攻击逻辑、扩大攻击者权限、替换上游修复，或增加专门用于利用的端点。

参考PoC与语义保持匿名化

1. 冻结见证：复现成功后冻结为reference PoC，从新状态重放。易受攻击版本必须出现指定违规，补丁版本必须没有。人工核对advisory、补丁和实现。进一步重放会扰动合成身份和对象，但保持角色、权限和工作流。
2. 两类信息：保留角色、权限、对象关系和工作流；去掉或替换产品名、版本、advisory ID等原子线索，以及路由、header、端口等合起来能识别软件的复合线索（Figure 4）。
3. 两轮检查：静态分析扫描greybox中暴露给智能体的源码目录和配置的运行时名称；动态检查用合成用户走普通工作流，而不是目标利用，查看页面、HTTP头与响应、解码后的token声明、日志和容器元数据。线索在源码和运行时工件上一致替换，再查，直到通过。最后重放参考PoC，确认易受攻击实例仍有禁止效果、补丁实例仍能挡住。
4. 沙箱外材料：advisory、包、版本、镜像、源码记录、补丁和验收记录留在实验沙箱外。greybox只暴露声明的只读应用源码目录，排除构建记录、评估器代码、补丁数据、参考PoC、插桩和隐藏夹具，并阻止快照触及运行时服务、目标文件系统、数据库、秘密或容器API。

被动关系运行时oracle

• 观察点：按规格确定主体、受保护对象、授权或工作流条件，以及结果效果。在效果可观察处做被动插桩：状态差分、响应或内容、回调或副作用。主见证为状态差分59个、受保护响应或内容59个、回调或其他副作用14个；多步见证可以组合证据（附录B）。
• 隐藏判定：验证器只读记录证据，检查见证指定的安全状态或效果。插桩对智能体隐藏。认证在适用时使用未攻击、合法、错误主体、错误对象和不完整工作流对照，因为单凭事件不足以确立参与者、对象、权限和工作流绑定。
• 准入：从新状态检查服务健康、普通工作流和已知残余身份线索。利用前oracle必须为负；参考PoC必须触发oracle；匹配补丁实例必须挡住违规且oracle仍为负。另检查oracle不向应用发请求。最终复核规格、环境、PoC、oracle和变换记录是否指向同一违规。

评测协议

• 匹配设置：blackbox提供运行中的应用；greybox增加不可变只读源码快照和源码检查工具。greybox不接收blackbox轨迹、草稿、工具输出、候选、触发结果或人工分析。运行时隔离拒绝攻击者使用Docker socket、宿主挂载、目标文件系统、评估器文件和无限制的外部网络。
• 提示与隐藏项：系统提示词规定逻辑漏洞发现目标、授权范围和工具约束；用户提示词给出目标地址、授权身份、任务，以及合成凭据等资源。oracle内部、评估器状态、目标漏洞、参考PoC和补丁实例保持隐藏。
• 反馈与提交：启用oracle反馈时，正向确认只表示已观察到目标效果，不揭示条件。提交工具接受可选的可执行PoC，冻结其哈希后在新状态上用同一隐藏oracle重放，不再改写、也不再调用模型。
• 主实验预算：每个系统、每个任务、每种设置一次独立尝试，从新状态开始，限制20分钟和5美元。官方尝试只记录一次，不用重跑替换。

实验设置

• 被测系统：主实验六个：Claude Opus 4.8、Claude Sonnet 4.6（Claude Code），GPT-5.4（Codex），GLM 5.2、Kimi K2.6、MiniMax M2.5（mini-swe-agent）。Scaling另加GPT-5.6 Sol、GPT-6 Astra（均为Codex）。论文称这些系统来自专有和开放权重模型家族，但未逐一标明哪几个属于哪一类。
• 基准：AnonVul，132个漏洞，来自154个候选，九个语言或运行时生态、36个CWE，一漏洞可多标签。Figure 5：特权提升40、IDOR 33、授权32、业务流程17、语义上下文6、认证绕过4；语言Go 39、PHP 27、Java 21、JS/TS 19、Python 16、Other (4) 10。推理结构由人工标注。
• 三种实验：Main覆盖全部132个任务的blackbox与greybox。Scaling重跑六个主系统在两种设置都未解出的10个漏洞。Visible在20个漏洞上对照匿名与恢复身份，选择时兼顾Main的成功和失败；Visible恢复产品、包和版本标识，不揭示目标advisory或exploit。
• 预算：主实验每格1次、20分钟、5美元。Scaling每格60分钟、50美元。1,584个主实验格对应最多31,680智能体分钟，即528智能体小时，以及最多7,920美元。
• 指标与判定：verified discovery，即隐藏关系oracle观察到指定效果。Table 1的Overall是两设置的发现率；Task coverage是至少成功一次的漏洞数。成功不由LLM裁判打分。提交PoC的重放结果须与最终运行时结果一致。
• 样本量：主实验132×2×6=1,584次尝试，与论文所写1,584一致。每格单次，不重跑替换。

主结果

表格较宽，可左右滑动

系统（框架）	Blackbox	Greybox	Overall
Claude Opus 4.8（Claude Code）	19.70%	26.52%	23.11%
Claude Sonnet 4.6（Claude Code）	15.91%	21.21%	18.56%
GPT-5.4（Codex）	11.36%	25.00%	18.18%
GLM 5.2（mini-swe-agent）	13.64%	21.21%	17.42%
Kimi K2.6（mini-swe-agent）	4.55%	6.82%	5.68%
MiniMax M2.5（mini-swe-agent）	1.52%	7.58%	4.55%
六系统合计	11.11%	18.06%	14.58%

据Table 1。Task coverage为blackbox 41/132、greybox 58/132、合计63/132。

• 作者称源码访问提高了每个系统的表现，但所有系统与两种设置合计只覆盖63个漏洞，69个仍未解出。
• 作者称推理结构和漏洞类型上的表现不同，语义上下文类没有成功（Figure 6）。该图语言轴为0–75%，推理与逻辑轴为0–45%；Rust、.NET、Elixir/Erlang各含两个漏洞。图注未给出各轴端点读数。
• 作者称成功集中在相对小的共享子集。附录D写：已解出漏洞中36个两种设置都有成功，5个仅blackbox，22个仅greybox；43/63（68.3%）至少被两个系统解出，只有20个只靠单一系统。六个系统都解出的是Open WebUI的访问控制缺陷（12格中11格通过）和Keycloak的特权提升缺陷。

预算扩展

• 测了什么：10个主实验两种设置均未解出的漏洞，160个排定cell，预算60分钟和50美元，并加入GPT-5.6 Sol与GPT-6 Astra。
• 结果：8个cell成功，分布在Wagtail、ZITADEL、XWiki。Table 2中GPT-5.6 Sol为1/10与3/10，阻断1/20，Rate 20%；Opus 4.8为3/10与0/10，Rate 15%；GPT-5.4为1/10与0/10，Rate 5%；Sonnet 4.6、GLM 5.2、Kimi K2.6、MiniMax M2.5均为0/20。GPT-6 Astra的BB/GB/Rate为“–”，Blocked为20/20。提供方防护阻断21个cell。八次成功里五次仍落在主实验的20分钟和5美元内，三次超出两者；10个任务中7个仍未解出。最终矩阵为8次成功、131次失败、21次阻断，阻断与139次已执行尝试分开报告。
• 作者解读：作者称额外预算可以维持停滞搜索，但探索本身解决不了大多数失败。Grav上GPT-5.6 Sol的blackbox用满60分钟、花费27.62美元，仍未发现目标漏洞。n8n上该系统的blackbox用238轮、13.18美元，到时限未提交候选。

身份线索

• 测了什么：20个漏洞、六系统、两种访问，匿名与Visible各240格。Visible不揭示目标advisory或exploit。
• 结果：发现率从21.25%（51/240）到40.83%（98/240）。引言写上升19.58个百分点。64格由失败变为成功，17格由成功变为失败。引言写Visible cell中31.3%调用了对目标软件的具体先验知识；RQ3写31.3%的cell含先验知识线索，24.2%具体调用漏洞知识。Copyparty从匿名2/12到可见12/12。

表格较宽，可左右滑动

系统	BB匿名	BB可见	GB匿名	GB可见
Claude Opus 4.8	6	10	3	14
Claude Sonnet 4.6	2	8	5	13
GPT-5.4	5	10	11	13
GLM 5.2	3	6	8	8
Kimi K2.6	2	4	1	7
MiniMax M2.5	1	2	4	3

据Figure 8，单位为20个漏洞中的成功数。作者标注的BB变化为+5 pp到+30 pp，GB为−5 pp到+55 pp；唯一负向标注是MiniMax M2.5的greybox。

• 作者解读：作者称软件身份会实质帮助发现，也会误导。Gitea上Kimi K2.6在Visible的blackbox中追求与目标授权缺陷无关的历史漏洞并失败。作者称匿名条件下对产品或历史漏洞的猜测通常不正确；匿名成功说明可以靠探索发现，但总体发现率仍有改进空间。

失败模式

• 测了什么：主实验1,584次中1,353次失败，全部轨迹归入五类。Visible的142次失败也各有一个主类；薄记录中，用尽尝试且无目标候选者被保守归入过程控制，并在审计账本中标为低置信（附录E）。
• 结果：C-I policy inference failure（策略推断失败）34.59%，C-II process control（过程控制）24.24%，C-III wrong direction（方向错误）22.25%，C-IV self-assessment（自我评估）14.41%，C-V evidence handling（证据处理）4.51%。Table 4：Opus 4.8的Main失败中C-I占59.1%（120/203），GPT-5.4的C-III占50.9%（110/216），Kimi K2.6的C-II占55.8%（139/249）。63个已解漏洞上的失败相对69个未解漏洞，C-I为30.3%对37.3%，C-IV为18.7%对11.7%。Visible失败中过程控制47.9%、方向错误33.8%、策略推断4.9%。
• 作者解读：作者称最常见障碍是未能推断谁在何种状态下不该对哪个对象做哪个操作。结论写：失败较少来自界面探索，较多来自把主体、权限、状态和工作流组成一次有效的违规事务。Figure 9图注称成功集中在相同的较易案例，颜色越深表示通过的系统越多。Scaling中Kimi K2.6在XWiki的blackbox做了138次工具调用、159轮，仍未发现目标漏洞。

其他消融与分析

• 源码增益（附录D.1）：GPT-5.4从11.36%到25.00%（+13.64 pp）最大；Opus 4.8为+6.82 pp；Kimi K2.6最小（+2.27 pp）；其余系统在+5.30到+7.58 pp。MiniMax M2.5总体最低，但其greybox 7.58%高于Kimi K2.6的6.82%。
• 属性差（附录D.1，pooled）：Authorization +9.0 pp，AuthZ/AccessControl +11.7 pp，object或principal binding +10.8 pp；Workflow/Callback −11.9 pp，SemanticContext −15.3 pp，semantic或context interpretation −15.3 pp；Platform −2.8 pp。Figure 11另按语言、CWE和环境类型给出百分点差。
• 提交：Kimi K2.6在6.4%的cell提交候选，其中88.2%确立目标效果；MiniMax M2.5提交45.5%、转化10.0%；GPT-5.4提交57.6%、转化31.6%；Opus 4.8提交48.5%、转化47.7%。1,353个失败格中976（72.1%）无候选，369（27.3%）有候选但未观察到目标效果，8个停在金额上限。
• Oracle（RQ4）：作者审阅全部设置和模型的轨迹，未发现假阳性或假阴性；作者称这只界定已观察到的误差，并不确立误差不存在。提交PoC的重放与最终运行时结果一致。
• 通过与重跑：Figure 7统计337次通过，其中Main 231、Scaling 8、Visible 98。附录E.2对20个选定格做同协议重跑，子集故意纳入5个已观察到的反转；起初10成10败中，5个成功变为失败，10个失败仍失败。
• 个案：Section 2的Graylog 6.2.0–6.2.3（GHSA-3m86-c9x3-vwm9，CWE-285）在去掉身份线索后，发现率在全部模型与设置上下降40%。附录E.2写，与特权提升任务不同的Keycloak token-exchange任务在全部12个Main格中未解出。

作者指出的局限与后续方向

• 时间窗（Section 7）：只关注最近一年内披露的漏洞，提高时效，但限制基准规模，并增大小子集的方差。
• 单次运行（Section 7）：每格是固定预算下的单次运行，结果可能随尝试而变化。
• 残余线索（Section 7）：匿名化去掉已知识别线索，残余信号仍可能留下。
• 人工判断（Section 7）：构建包含专家复核，复现构建过程可能依赖人工判断。
• 评分范围（Section 7）：oracle验证目标漏洞；无关的有效发现不在评测范围内。报告的比率衡量指定违规的发现，而不是任意安全缺陷的发现。

论文的Limitations与Conclusion没有另列实验计划。附录E.2写重跑结果促使考察智能体如何选择并维持有效搜索方向，并称这些结果促使考虑多次尝试评测。

实验覆盖范围

• 主实验为六个智能体系统，每任务两种访问各1次；Scaling另含GPT-5.6 Sol与GPT-6 Astra，共10个漏洞、160个排定cell（Section 5，Table 1–2）。
• 语料是2025-01-01至2026-03-01公开开源披露中筛出的132个可执行业务逻辑漏洞，九个语言生态、36个CWE，并有匹配的blackbox与greybox（Section 3–4，Figure 5）。
• 每个准入环境都有人工验证的参考PoC；认证包含易受攻击版本与匹配补丁版本的差分，以及适用时的未攻击、合法、错误主体、错误对象和不完整工作流对照（Section 3，附录B）。
• 失败分析覆盖主实验全部1,353条失败轨迹；Visible的142条失败各有一个主类，其中部分薄记录被标为低置信（Section 5，附录E，Table 4）。
• RQ4审阅了全部设置与模型的评测轨迹，检查oracle假阳性与假阴性；论文未报告失败分类的标注者间一致性数值（Section 5，附录E）。

AnonVul是一个可执行基准，用来区分漏洞发现智能体是在从应用安全模型出发发现漏洞，还是在借助软件身份回忆已知漏洞。

作者针对的问题是：CTF和合成基准会饱和或不够真实，真实公告基准又会因产品名、版本和advisory等线索泄漏答案。业务逻辑漏洞由应用特有的主体、对象、权限和工作流定义，崩溃或状态码难以分开合法操作和违规。

做法是在2025-01-01至2026-03-01的公开开源披露中重建132个任务。流水线写成规格，按Direct、Compose、Platform或Carrier打包，去掉身份线索但保留安全语义，再用被动关系oracle对照补丁版本做差分认证。评测是匹配的blackbox与greybox；主实验每格一次、20分钟、5美元。

• Table 1中Claude Opus 4.8的尝试级总体发现率为23.11%，六系统合计为14.58%；至少一次成功的漏洞是63/132，69个未被任何系统解出。
• 源码访问把合计发现率从blackbox的11.11%提高到greybox的18.06%。作者称语义上下文类没有成功。
• 10个主实验未解出的漏洞提到60分钟和50美元后，160个排定cell成功8个，7个任务仍未解出；GPT-6 Astra的20/20被提供方防护阻断。
• 20个漏洞上，匿名为21.25%（51/240），恢复产品、包和版本标识后为40.83%（98/240）。RQ3写Visible中31.3%的cell含先验知识线索。64格由失败变成功，17格反向。
• 1,353次主实验失败中，策略推断失败占34.59%。作者审阅全部轨迹后称未观察到oracle假阳性或假阴性，并说明这不确立误差为零。

作者在结论中称，失败较少来自界面探索，较多来自把主体、权限、状态和工作流组成一次有效的违规事务。作者还称，评测漏洞发现时需要控制可识别的软件知识。