VAST:将真实漏洞场景编译为可验证的多步环境以评测 LLM 红队智能体
VAST: Compiling Grounded Vulnerability Scenarios into Verifiable, Multi-Step Environments for Evaluating LLM Red-Team Agents
作者提出 VAST,把漏洞场景编译成带 6 级工作流加固的可验证评测环境;作者称在 270 个 episode 的提示词对比中,给出完整工作流指南后三模型解题率从 12/90、14/90 升至 76/90。
- 评测 LLM 安全智能体需要难度可调、失败可诊断的可复现环境;作者认为现有 CTF 类基准存在训练数据暴露、执行保真度夸大、换皮式多样性膨胀和 Pass@1 评分过粗四类设计风险。
- VAST 把漏洞场景与编译器引入的工作流加固层分离:三层来源记账(37,990 条记录筛出 109 条种子边、81 个 topic)、6 级算子阶梯(BASE 到 L7)、42:39 topic 划分,以及四道确定性验证门和两阶段失败标签。
- Diagnostic-9 上 deepseek-v4-pro 从 BASE 7/9 降到 L6 0/9;270-episode 提示词对比中 full_guide 把解题率提到 76/90;ranges_v2 上三模型解出 88/126;披露 v2_02 的 worker 模块后从 0/18 到 18/18;LoRA 配方对比中 Recovery SFT 三种子均值 4.67/33,全部解题集中在 v2_03。
- 作者指出:审计是事后进行的;四道门只验证给定参考路径而非完整修复;受控评测只覆盖 10 个编译簇和 6 个辅助目标而非全部 81 个 topic;未测 Claude/GPT 等 API;失败标签是描述性覆盖而非因果根因;LoRA 结果只在单一 held-out 目标上有解题。
- 威胁模型
- 被评测的智能体是先未认证后认证的外部客户端,只拿到 base URL 和低权限租户凭据;可观察契约是登录后的服务目录(路由、参数名、对象 ID)和结构化 HTTP 错误响应。成功仅由服务器端 oracle 判定,不由智能体自报;episode 重置由 harness 或调度器管理。
- 被测模型
- glm-5.3 (z-ai/glm-5.3)grok-4.7 (x-ai/grok-4.7)deepseek-v4-pro (deepseek/deepseek-v4-pro)Qwen2.5-Coder-7B-Instruct (Qwen/Qwen2.5-Coder-7B-Instruct)
- 基准
- VAST 主基准(81 topics,42:39 划分,1,387 instances)ranges_v2 辅助套件(6 个非 TopicServer 目标)
- 指标
- solve rate(服务器端 oracle 判定)four-gate pass rate(G1–G4)failure-label coverage(category 1/2/4/5/7/8/9)HTTP requests / turnsWall Wins(recovered_and_solved)
论文提出 VAST,一个声明式靶场编译器,把基于真实漏洞的场景编译为可验证的多步环境,用于评测 LLM 安全智能体。主基准经事后代码与 AST 审计后保留 109 条种子边(45 条带严格上游 CVE 标注)、81 个主题配置和 1,387 个实例。TopicServer 层 270 回合的预算匹配对照实验显示,glm-5.3、grok-4.7 与 deepseek-v4-pro 在 contract_only 下解出 12/90、generic_hint 下 14/90,而提供完整工作流协议的 full_guide 升至 76/90。在 ranges_v2 上,覆盖 6 个工作流的 126 回合评测解出 88/126(69.8%),披露已安装的 worker 模块后,异步 Redis worker 链场景从 0/18 升至 18/18。
深度解读
这篇论文试图解决什么问题?
作者构建难度可调、失败可诊断的可复现环境,用于评测 LLM 红队智能体的多步漏洞利用能力。
核心问题:如何为 LLM 安全智能体构建难度可系统调节、失败原因可定位、且不被表面多样性 inflate 的可复现评测环境。
- 应用场景:自主渗透测试和漏洞验证是 LLM 智能体在安全攻防中的前沿方向,安全团队需要评测模型对授权边界、补丁行为和多步利用路径的推理能力(Section 1)。
- 现有基准的四类设计风险(作者归纳):训练数据暴露(公开 writeup 可字面重放)、执行保真度夸大(可运行服务不等于执行了声称的机制)、换皮式膨胀(表面改写冒充多样性)、Pass@1 评分过粗(无法定位卡点)。作者说明这是动机性风险,不是对每个既有基准的实测缺陷。
- 核心观察:一个裸授权场景往往只需一次标识符替换即可触达 sink;在保持底层缺陷不变的前提下,在其前面编译一层有状态工作流,可以单独研究多步工作流合成带来的额外负担(Section 1.1)。
- 论文提出:VAST(Verifiable Adversarial Scenario Training & Evaluation),一个声明式 range 编译器,含三层来源记账、6 级算子阶梯、42:39 topic 划分、四道确定性验证门和结构化失败标签;另附 Gymnasium 环境和课程调度器作为基础设施。
- 评测设定(非攻击威胁模型):被评智能体是先未认证后认证的外部客户端,只有 base URL 和低权限租户凭据;可观察契约是登录后服务目录加结构化 HTTP 错误;成功仅由服务器端 oracle 判定,不由智能体自报(Section 2.2)。
有哪些相关研究?
相关工作分四组:CTF 类基准、可验证软工与漏洞语料、REST 模糊测试与 RL 环境;作者以 Table 1 定位 VAST 的差异。
CTF 衍生基准
- InterCode-CTF(2023)——把 picoCTF 挑战包进 bash 执行循环,面向命令行交互和短 flag 任务;作者引用其公开任务数,不评价难度。
- NYU CTF Bench(2024)与 Cybench(2025)——策划高校和职业 CTF 挑战;Cybench 引入可选子任务里程碑作为中间进度信号。
- XBOW 的 XBEN(2024)——104 个容器化 Web 验证基准,按 L1–L3 粗难度分层;同组还有 PentestGPT、自主 Web/一日漏洞利用智能体和 CyberSecEval 2。作者指出这些套件对评测企业红队能力有三点局限:公开解法可复用、偏重谜题而非授权工作流、缺少在固定漏洞原语上调节多步前置阶梯的原生机制。
可验证软工、漏洞语料与模糊测试
- Defects4J、LAVA、EvilCoder、Magma——建立可复现的缺陷与漏洞评测。
- RESTler——有状态 REST API 模糊测试,强调多步 HTTP 工作流中的生产者-消费者依赖。
- SWE-bench(2024)——真实 GitHub issue 配对 fail-to-pass/pass-to-pass 单测;作者称其单测验证与本文补丁门 G4 类似但不等同。
可验证 RL 与课程设计
- DeepSeek-R1 与 GRPO、prioritized level replay、regret-based environment design——作者称这些工作表明确定性验证器和自适应任务调度可支持学习;VAST 对应贡献 Gymnasium 兼容环境 VastGymEnv 和调度器 VastCurriculumScheduler,供未来实验。
基线与对比设置:本文没有方法学基线;对比对象是三个前沿模型(glm-5.3、grok-4.7、deepseek-v4-pro)在 VAST 主基准和 ranges_v2 辅助套件上的表现,以及 Qwen2.5-Coder-7B-Instruct 的两种 LoRA SFT 配方。
作者定位:Table 1 按文档化能力对比五个基准,VAST 在编译器引入的多步状态、6 级难度阶梯、按 reset 表面随机化和错误码失败标签上打勾,G4 补丁检查标记为 partial(只覆盖被测路径)。
论文如何解决这个问题?
VAST 用三层来源记账加声明式编译,把漏洞原语与 6 级工作流加固层分离,再用四道确定性门验证。
整体思路:把漏洞场景(原语 × 执行栈 × 业务状态机)与编译器引入的工作流加固层解耦,通过 VAST 编译器渲染实例,用确定性门和结构化错误码支撑可复现评测与失败诊断。
三层来源记账与准入控制
- 四个不互换的集合:原始记录池 F(|F| = 37,990:GHSA 37,552、Vulhub 334、XBEN 104,均为 pinned commit)→ 种子边 S(|S| = 109,68 来自 XBEN、41 来自外部公告,45 条带严格 CVE 标注)→ topic 配置 M(|M| = 81,定义为 m = ⟨ p, τ, v ⟩,即原语、执行栈、业务状态机的组合)→ 渲染实例 I(|I| = 1,387 = 359 canonical + 1,028 变体)。
- 五问来源策略:缺陷代码位置、真实解释器执行、Entry→Precondition→Sink 有向边、确定性服务器端状态证据、CVE 标注(记录而非硬门槛);另有基于标签的准入启发式(verif ≥ 0.50、lift ≥ 0.50、real ≥ 0.40),作者说明这是策略过滤器而非运行时保真证书。
- 四条描述性准入控制:单一拓扑占比 ≤ 40%(实际最大 injection_2nd_order 占 34/109 = 31.2%)、CVE 标注记录、共享 HMAC relay 模式冻结在 11 个 family、入口与业务对象可见性(禁止无链接的 secret trap 端点)。种子标签多样性 HHI = 0.160、evenness 0.925。
- 事后审计:对 12 个扩展 topic 逐行代码审计加对全部 88 个 topic 的自动 AST 扫描后,撤回 7 个 topic、5 个降级为有界执行模型;历史注册表(88 topics、116 边、1,597 实例)保持不变。
6 级算子课程阶梯
- 阶梯定义:R0(BASE) ⊂ R1(P1) ⊂ R2(P2) ⊂ R3(P3) ⊂ R4(P4) = R5(L7),依次挂载会话门(Op 3)、三维业务不变量(Op 4)、两阶段草稿重绑定(Op 7)、有状态协议锁(Op 8);P4 与 L7 挂载相同六项服务器能力,L7 只是历史档案标签,其验证门额外演练 canary/quota 探针。
- 性质声明:阶梯只加应用层前置条件,不构成服务、主机或权限边界;标称步骤数(1/2/3/6/6/6)是客户端工作流阶段数,不是实测解题长度。
- 42:39 划分:Track-A 42 个 topic 暴露全部六级(252 个 canonical 规格),Track-B 39 个只暴露部分级别(107 个规格);作者说明这是提议的评测划分,本文实验不做跨划分泛化。
四道确定性验证门与失败标签
- 验证式:Validate(I) ⇐⇒ G1(I) ∧ G2(I) ∧ G3(I) ∧ G4(I) = True;G1 良性工作流通过且无标记泄漏,G2 黑盒参考利用(不读 ground-truth)满足 win 谓词,G3 负向探针达到预期结果,G4 补丁阻断 G2 同时保持 G1。
- 边界声明:四道门只验证给定参考路径,不证明完整修复或动态污点等价;359/359 canonical 规格在当前源码上重跑通过(各 3 次重复,seed 7),1,028 个变体未重跑。
- 两阶段失败归因:Stage 1 匹配结构化服务器错误码到 category 1/2/4/7/8/9;Stage 2 在无匹配时按轨迹里程碑(是否查看草稿、是否调用 amend)回退到 category 5 或 7。作者明确:0 请求的早期终止也会被打上 category 5 的原始标签,评测表中单独区分;标签是描述性覆盖而非因果根因。
在线挂载审计与执行分层
- 能力图审计:42 个 Track-A topic × 6 级共 252/252 实例广播了与预期一致的能力图,210/210 非 BASE 的缺步探针被拒绝;这是累积挂载检查,不是隔离单算子效果的析因消融。
- 三层验证分层:35 个声明式编译 topic 走共享 TopicServer 底盘加 AST 扫描,2 个手写试点直接验证,39 个 Track-B topic 靠 AST 扫描加四门重跑;作者称静态 AST 加参考路径门不能证明任意输入下的动态数据流可达性。
评测协议
- 主集 harness:暴露 http_request 和本地 hmac_sha256 两个工具;智能体只拿 base URL 和低权限凭据;完成判定严格由服务器端 Oracle(response, binding);ranges_v2 用独立的单工具 harness(max_tokens = 1024,每轮 ≤ 4 次调用)。
论文做了哪些实验?
五组实验:Diagnostic-9 配对、500 轮压力、四级样本阶梯、270-episode 提示词对比、ranges_v2 与 LoRA 配方对比。
实验设置
- 被测模型:deepseek-v4-pro、grok-4.7、glm-5.3(前沿模型,主集与 ranges_v2);Qwen2.5-Coder-7B-Instruct(LoRA 实验,Base 加 6 个适配器)。
- 基准:VAST 主基准(81 topics,42:39 划分,1,387 instances;实验实际用 Diagnostic-9、4-topic 阶梯样本、10 个编译簇的 30 个 P2/P3/P4 实例);ranges_v2 辅助套件(6 个非 TopicServer 目标,14 个目标-级别配置 × seeds {7, 19, 31})。
- 指标与判定:解题仅由服务器端 oracle 判定;失败用 category 1/2/4/5/7/8/9 标签;统计检验为精确 McNemar、topic 聚类精确符号检验、Cochran's Q。
- 预算:Diagnostic-9 配对 40 轮/120 请求;压力测试 500 轮/不限请求;阶梯样本 35(DeepSeek)/40(GLM)轮;提示词对比 40 轮/不限请求、temperature 0.0、sampling seed 7;ranges_v2 40 轮(另报 ≤22 轮投影)。
- 样本量:主集 API 运行 430 episodes,ranges_v2 375 episodes,合计 805 个分析 episode(Table 10);LoRA 每臂 60 条轨迹、120 步、3 个训练种子。
- 重复次数:四门重跑各 3 次;LoRA 3 种子;其余为单次运行。
主结果
270-episode 三模型提示词对比(10 个编译簇 × P2/P3/P4,40 轮,temperature 0.0;据 Table 7):
表格较宽,可左右滑动
模型 contract_only generic_hint full_guide glm-5.3 5/30 (16.7%) 6/30 (20.0%) 28/30 (93.3%) grok-4.7 5/30 (16.7%) 5/30 (16.7%) 23/30 (76.7%) deepseek-v4-pro 2/30 (6.7%) 3/30 (10.0%) 25/30 (83.3%) 合并 (N=90) 12/90 (13.3%) 14/90 (15.6%) 76/90 (84.4%) - generic_hint 无净增益:对 contract_only 的 cluster sign 检验 p = 1.00(三模型分别 3:2、1:1、2:1);作者称其把解题移向 P2(12/30 vs 5/30)但不改善 P3/P4。
- full_guide 提升:对 contract_only 的 cluster sign 检验 p ≤ 0.00391(10:0、9:0、9:0),平均请求数从 50.7–64.4 降到 20.9–26.6;作者把它解读为已知协议下的脚手架可解性,而非原语隔离难度。
- full_guide 下仍有 14/90 未解:7 个是 grok-4.7 的 0 请求客户端早停,7 个是两跳任务上的多请求失败(CFB-64-VRF、CFB-55-ITK)。
Diagnostic-9 配对与 500 轮压力测试
- 配对对比(RQ1/RQ2):deepseek-v4-pro 在 9 个同族实例上 BASE 解 7/9、L6 解 0/9(7 个同向不一致对,精确 McNemar 与符号检验 p = 0.0156);作者明确这是 9 对样本上的诊断观察,不是总体估计。
- 500 轮压力:grok-4.7 与 glm-5.3 在同一 9 个 L6 实例、不限请求下各解 1/9;16 个失败 episode 共发 5,755 次请求(均值 359.7),16/16 以 model_finished 结束,无一触顶 500 轮。
- 失败标签:15/16 带服务器错误标签(category 8 占 8、category 7 占 5、category 1 占 2),1 个是 grok-4.7 的安全拒答(15 次请求后停止),单独记录不计入服务器错误分母。
四 topic 六级阶梯样本(RQ3)
- 测了什么:deepseek-v4-pro 与 glm-5.3 在 4 个 topic × 6 级共 48 episodes(Table 5、Figure 2)。
- 结果:BASE 和 P1 上 glm-5.3 解 4/4、deepseek-v4-pro 解 3/4;P2 起降至 0/4 和 1/4,P3/P4/L7 全为 0/4;相邻级配对差异不显著(P1→P2 精确 McNemar p = 0.25)。
- 作者解读:33 个阶梯失败中 category 7 占 15、category 1 占 6、category 5 和 8 各占 5;作者强调这是标签分布而非已证原因,且 4 个 topic 是诊断样本不是 81 topic 的代表抽样。
ranges_v2 非 TopicServer 套件与披露干预(RQ5)
- 126-episode 评测:三模型在 6 个目标上合并解 88/126(69.8%)(glm-5.3 28/42、grok-4.7 31/42、deepseek-v4-pro 29/42;Table 8);v2_03 双网络 pivot 18/18,v2_02 Redis worker 链 0/18;126 个 episode 无一 0 请求放弃。
- 披露干预:在 v2_02 的 GET /sched/directory 中披露已安装 worker 模块列表后,18-episode 匹配干预把解题从 0/18 提到 18/18(100%,每模型 6:0,精确 McNemar p = 0.03125),4–6 轮内完成;作者称这隔离出未公开命名空间屏障而非队列/门失败。
- BASE vs L6 保持率:18 个配对实例上三模型的 BASE/L6 解题分别为 13/18 vs 12/18、15/18 vs 11/18、10/18 vs 13/18,cluster sign 检验均不显著(p = 1.00、0.50、0.25)。
三种子 LoRA 配方对比(Section 6.3)
- 设置:Qwen2.5-Coder-7B-Instruct,Arm A 纯 Golden SFT(60 条无错轨迹)对 Arm B 60:40 原始轨迹混合的 Header-Recovery SFT;37 个血缘不相交训练 family,s ∈ {42, 1024, 2025},33 个 held-out 实例、22 轮、231 episodes(Table 9)。
- 结果:Base 0/33;Arm A 三种子 0/33、0/33、5/33(均值 1.67 ± 2.89/33);Arm B 6/33、6/33、2/33(均值 4.67 ± 2.31/33,2/3 种子高于 Arm A,seed 2025 反转);两臂活跃 assistant token 仅差 +1.77%。
- 作者解读:全部 19 个解题都集中在 v2_03_dmz_dualnet_pivot,其余四个 held-out 目标 0/27;作者称这是单一血缘留出 HTTP pivot 栈上的探索性配方对比,不是多目标 OOD 迁移。
其他消融与分析
- RQ4 Part 2 历史干预:附加共享恢复指南后 deepseek-v4-pro 从 0/12 升至 12/12、glm-5.3 从 1/12 升至 12/12,但 DeepSeek 轮上限同时从 35 改为 40(Table 6)。
- 36-episode 试点:glm-5.3 在 12 个阶梯实例上 contract_only 0/12、generic_hint 1/12、full_guide 12/12。
- 调度器冒烟测试:glm-5.3 在 2 个执行模型上 16 episodes 解 14/16,含降级、种子轮换和指南激活;作者称这不构成无引导课程结果或学习增益。
- 目录可发现性:40/40 个编译 Track-A topic 的目录在 3 次请求内暴露草稿端点和不变量字段。
- 轨迹导出:历史导出 2,012 条,过滤后 1,797 条;作者说明无实验在该单轮摘要库上训练。
有什么可以进一步探索的点?
作者列出事后审计、门覆盖边界、样本与队列覆盖等局限;实验覆盖 10 个编译簇加 6 个辅助目标。
作者指出的局限与后续方向
- 事后审计:代码级机制审计是在 2026-11-08 至 2026-11-10 历史运行之后执行的,非预注册;历史 116/79/88/1,597 注册表保持不变(Section 6.4)。
- 门覆盖边界:G1–G4 只验证给定的良性、参考利用、负向和补丁切换路径,不证明完整修复或无引导契约可发现性;G4 只阻断给定参考路径(Sections 3.4、6.1)。
- 引导成功的解释边界:full_guide 衡量的是已知协议下的脚手架可解性,不是原语隔离难度;7 个 0 请求停止和 7 个多请求失败仍带工作流/回退或 unknown 标签(Section 6.1)。
- 样本量与队列覆盖:受控多条件评测覆盖 10 个编译 TopicServer 簇加 6 个辅助 ranges_v2 目标,而非全部 81 个 topic、39 个 Track-B 手写 family 或 Claude/GPT 等 US-lab 前沿 API(Section 6.4)。
- 失败标签性质:category 标签报告观察到的拒绝覆盖,不是已证因果根因;模型侧安全拒答和 0 请求停止与服务器错误分开统计(Section 6.4)。
- 遏制与保真边界:sitecustomize.py 是 Python 运行时钩子而非内核防火墙,作者只声称 Python 级 loopback 遏制;5 个降级模型执行 stdlib/loopback 而非多主机隔离;路由可见性不证明每个必需状态转移都可从契约发现(Sections 2.2、6.4、A.7)。
实验覆盖范围
- 被测模型:前沿模型 3 个(glm-5.3、grok-4.7、deepseek-v4-pro)加 Qwen2.5-Coder-7B-Instruct(Base 与 6 个 LoRA 适配器),共 4 个模型家族。
- 主基准覆盖:受控实验用 Diagnostic-9(9 族)、4-topic 阶梯样本、10 个编译簇的 30 个 P2/P3/P4 实例;42:39 划分未做跨划分训练/测试。
- 辅助套件:ranges_v2 的 6 个目标(2 个独立工作流 + 4 个 Docker/Linux 栈),14 个配置 × 3 个实例种子。
- 统计设计:精确配对检验用于 RQ1/RQ2(N = 9)、RQ4(N = 10 簇/30 实例)、RQ5(N = 6 目标/18 对);阶梯样本 N = 4 时相邻级对比 p ≥ 0.25。
- 论文未报告:调度器冒烟测试的模型轮上限与请求上限(标记为 unspecified);Diagnostic-9 的完整历史实例排除清单;表面随机化的配置基数(实现未记录分解)。
总结一下论文的主要内容
VAST 把漏洞场景编译成带 6 级工作流加固的可验证环境,实验显示前沿模型在无引导时多卡在工作流层。
VAST 是一个声明式 range 编译器与可验证评测框架,面向 LLM 红队智能体的多步漏洞利用评测,核心设计是把漏洞原语与编译器引入的工作流加固层分离。
- 要解决的问题:作者认为现有 CTF 类基准有训练数据暴露、执行保真度夸大、换皮式多样性膨胀和 Pass@1 评分过粗四类风险,且缺少在固定漏洞原语上调节多步前置条件的机制。
- 方法要点:三层来源记账(37,990 条记录 → 109 种子边 → 81 topics → 1,387 实例)、6 级算子阶梯(BASE 到 L7,P4 与 L7 挂载相同能力)、42:39 topic 划分、四道确定性验证门(只覆盖给定参考路径)和两阶段失败标签;事后代码审计撤回 7 个 topic、5 个降级。
- 关键结果 1:Diagnostic-9 上 deepseek-v4-pro 从 BASE 7/9 降到 L6 0/9(p = 0.0156);500 轮不限请求下 grok-4.7 与 glm-5.3 各只解 1/9。
- 关键结果 2:270-episode 提示词对比中,contract_only 12/90、generic_hint 14/90(cluster sign p = 1.00),full_guide 升至 76/90(p ≤ 0.00391);作者称无引导条件测的是契约探索加状态机合成,full_guide 测的是已知协议下的脚手架利用。
- 关键结果 3:ranges_v2 六个非 TopicServer 目标上三模型解 88/126(69.8%);披露 v2_02 的 worker 模块列表后从 0/18 升至 18/18(p = 0.03125)。
- 关键结果 4:三种子 LoRA 配方对比中 Header-Recovery SFT 均值 4.67 ± 2.31/33 高于 Golden SFT 的 1.67 ± 2.89/33,但全部解题集中在 v2_03 单一目标(其余 0/27)。
- 作者结论:VAST 提供了诊断和训练多步安全智能体的可审计基础;作者同时强调四道门只验证被测路径、失败标签是描述性覆盖、受控评测未覆盖全部 81 个 topic,LoRA 结果只是探索性配方对比。