CyberPersistBench：评测 LLM 攻击者的安装与持久化能力

核心问题是如何独立评测入侵后的安装与持久化，并区分立足点在哪个阶段失效。

• 评测终点：作者认为，现有基准多在初始目标达成后停止，无法区分短暂会话与持久访问；网络断开、服务重启和主机重启会使初始立足点消失。
• 诊断分辨率：作者指出，终局通过或失败会混合配置无效、原生注册失败和重启后失效等情况，无法定位能力边界。
• 受限起点：智能体从已被入侵系统的受限访问开始，只获得能力契约、环境状态和目标。其任务是通过指定原生机制维持访问，同时保持业务完整性；验证协议隐藏。
• 评测方案：CyberPersistBench 将漏洞利用与持久化分离，用确定性检查和 L1–L6 阶段评分评测核心任务，并加入原生防御与多主机扩展（Figure 1）。

相关研究围绕攻击能力评测，以及入侵后的安装与持久化组织。

攻击能力基准

• CTF 评测：NYU CTF Bench（Shao et al., 2024）和 Cybench（Zhang et al., 2025b）在受控环境中评测安全挑战。
• 真实漏洞与赏金：CVE-Bench、SEC-bench、CyberGym、ExploitGym 引入真实软件漏洞；BountyBench 评测有漏洞赏金记录系统中的检测、利用和修补。
• 更广安全风险：CyberSecEval 2（Bhatt et al., 2024）涉及提示注入和代码解释器滥用。作者认为，相比漏洞发现与利用，安装和持久化仍较少得到评测。

安装与持久化

• 对抗仿真：CALDERA（Miller et al., 2018）侧重自动化对手仿真；作者指出，它不以生命周期扰动下的持久化评测为重点。
• 渗透测试智能体：PentestGPT（Deng et al., 2024）主要关注上游漏洞发现和权限提升。
• 入侵后场景：OCCULT（Kouremetis et al., 2025）和 AgentCyberRange（Liu et al., 2026）包含入侵后场景；作者指出，它们未专门评测生命周期扰动后的立足点存活。

分类依据与实验对照

• 持久化分类：MITRE ATT&CK 的 TA0003 和 Villalón-Huerta et al.（2022）的分类为机制组织提供依据。附录 B 的映射是多对多对应，并非 ATT&CK 技术的互斥划分。
• 基线设置：实验使用 Inspect ReAct 作为共同基线框架，在 CyberPersistBench 核心集上另比较 Codex CLI 和 Claude Code；未报告在上述外部基准上的对照实验。

作者将本工作的区别定位为：从受限立足点开始，独立测试访问撤销与生命周期扰动后的存活，并以六阶段评分定位失败。

CyberPersistBench 将持久化定义为入侵后的对抗存活任务：智能体执行安装，评测器随后撤销访问并施加扰动，再检查执行证据和业务状态（Figure 2）。

任务契约与隐藏验证

核心定义为 T=(c,e,g,V)：c 是受限能力契约，e 是基线环境，g 是持久化目标与完整性约束，V 是私有、有序验证协议。

• 信息边界：智能体只获得 c、e、g，不获得 V；V 指定扰动顺序、新鲜挑战 nonce 和内部检查。
• 权限边界：任务声明执行身份、权限和接口；评测不要求发现漏洞或取得新的初始访问。附录 D 给出了完整共享提示词，此处不复述。

分类与任务构建

• 机制分类：核心集有 203 项任务、7 类、46 个机制家族，按宿主原生机制的重新激活或访问保留方式组织（Figure 3、Table 5）。
• 构建流程：先部署真实软件栈与受限起点，再编写私有验证协议，最后用研究者编写、AI 辅助编码且人工验证的参考解检查全部核心任务可解性。
• 配置载体：环境配置与评测配置共同声明平台、能力、基线、任务材料、业务不变量和验证顺序（附录 C.1）。任务提供无害 Canary。

存活证据与完整性

• 隔离执行：Inspect AI 管理容器或虚拟机，仅暴露任务声明的网络和接口；具体后端及扰动见 Table 6。
• 两种证据：按机制检查自动激活的回调，或认证重新进入后的访问保留；每个扰动边界更新 nonce，排除旧日志回放。
• 原生归属：检查进程父系或认证审计记录，拒绝将非托管后台循环计为原生存活；另检查业务健康与重复、冲突进程。

六阶段前缀评分

• 安装阶段：L1 检查机制构造，L2 检查目标系统的原生注册与解析，L3 检查未扰动基线下的功能激活。
• 持久化阶段：L4 检查初始凭据撤销后的自主执行，L5 检查服务重启和进程终止后的恢复，L6 检查任务指定重初始化后的激活。
• 依赖规则：后续阶段得分要求本阶段及所有前置阶段通过；最终成功还要求完整性检查通过。L6 可涉及主机重启、现有容器重启或容器重建，并非统一操作。

防御与多主机扩展

• 原生防御：在具有适用原生控制的 128 项任务中比较防御开关；Table 7 列出签名、准入、认证、加载及插件目录等 9 个适配配置。
• 跨主机约束：65 项任务将入口与目标分离，目标不可直接访问；操作经指定管理接口或中继路径，要求协调顺序认证及各主机配置。
• 共同预算：每次尝试最多 40 个智能体回合、160 条消息；评测器命令超时为 300 秒，暂时性基础设施错误最多自动重试两次（附录 D）。

实验比较了持久化成功、阶段通过率、业务完整性，以及防御和多主机条件下的表现。

实验设置

• 被测模型：GPT-5.6-sol、Claude Sonnet 5、DeepSeek-V4-pro、Kimi K2.6、GLM-5.2。
• 任务规模：核心集 203 项；防御子集 128 项；多主机扩展 65 项。核心七类任务数依次为 25、24、27、27、46、38、16（Figure 3）。
• 共同框架：全部实验使用 Inspect ReAct；核心集另测 GPT-5.6-sol 的 Codex CLI，以及 Claude Sonnet 5、GLM-5.2 的 Claude Code。
• 成功协议：每个合格任务运行三次独立尝试，pass@3 表示至少一次满足全部条件；判定由确定性状态机完成，不使用 LLM 评审。
• 诊断指标：报告前缀累积的 L1–L6 和 Integrity；多主机还报告至少一个或全部目标的执行取得，以及全目标安装、持久化阶段通过率。
• 分母差异：Codex CLI 和 Claude Sonnet 5 的 Claude Code 行，排除三次尝试均被框架安全策略阻止的任务，分母分别为 181、197；其他核心行均为 203（Table 1）。

主结果

据 Table 1；全部为核心集、Inspect ReAct、pass@3，阶段值与完整性值均为百分比。

Swipe horizontally to read the table

模型	成功任务与 SR	L1	L2	L6	Integrity
GPT-5.6-sol	86/203（42.4%）	74.9	56.2	44.8	77.8
Claude Sonnet 5	82/203（40.4%）	62.1	49.8	40.9	73.4
DeepSeek-V4-pro	77/203（37.9%）	70.0	50.2	40.9	73.4
GLM-5.2	64/203（31.5%）	58.6	43.3	32.5	69.5
Kimi K2.6	56/203（27.6%）	47.8	36.0	28.1	64.0

• 阶段边界：作者称，主要下降发生在构造到原生注册之间。Figure 5 标注相邻阶段平均下降为 17.0、7.3、1.3、0.7、1.0 个百分点；横轴为能力阶段。
• 完整性约束：所有 Table 1 配置的最终成功率都低于 L6；作者将差距解释为部分存活伴随合法服务受损或冲突进程。
• 框架比较：Table 1 的 GPT-5.6-sol＋Codex CLI 为 81/181（44.8%），Claude Sonnet 5＋Claude Code 为 86/197（43.7%），GLM-5.2＋Claude Code 为 66/203（32.5%）。前两项与共同框架的分母不同。

原生防御

• 同任务对照：Table 2 在同一 128 项任务、Inspect ReAct、pass@3 下比较开关。GPT-5.6-sol：40.6%→13.3%；DeepSeek-V4-pro：40.6%→10.9%；GLM-5.2：34.4%→10.2%。
• 其余模型：同表 Claude Sonnet 5：33.6%→8.6%；Kimi K2.6：18.8%→5.5%。作者称，轨迹中常见策略拒绝后重复小幅修改的操作，而不是转向其他机制。
• 拦截与例外：Figure 11 中 GPT-5.6-sol 的 runit 防御案例结果为 0.0，仅 2/11 检查通过且都是评测器检查；Figure 12 中 GLM-5.2 的 WordPress 案例为 13/13，业务健康通过，但防御策略被修改。附录 F 给出了完整示例。

多主机协调

• 最终成功：Table 3 的 65 项任务、Inspect ReAct、pass@3 下，GPT-5.6-sol 为 19/65（29.2%），GLM-5.2 为 18/65（27.7%），Claude Sonnet 5 为 12/65（18.5%）。
• 协调例外：同表 DeepSeek-V4-pro 为 11/65（16.9%），Kimi K2.6 为 7/65（10.8%）。GLM-5.2 与 DeepSeek-V4-pro 的 Single 均为 67.7%，Dual 分别为 33.8%、23.1%；作者称，取得一个目标的执行不等于全部目标持久化。
• 拓扑差异：Figure 7 的声明式控制平面中，GPT-5.6-sol 与 GLM-5.2 为 40.0%、22.5%；中继证明链中为 13.3%、46.7%。作者称，相似总分可能对应不同拓扑能力。

机制分析与案例证据

• 类别均值：Figure 6 的跨模型 pass@3 均值为：服务与守护进程 47.5%、应用组件 46.5%、账户认证 44.8%、启动自加载 40.0%、控制编排 27.4%、计划触发 19.2%、执行流劫持 16.3%。
• 作者解释：作者认为，即时执行或认证反馈可能支持纠错，延迟或间接反馈可能使纠错更难；该解释来自类别结果与轨迹讨论，不是单独的因果干预实验。
• 核心案例：附录 E 的 runit 任务中，DeepSeek-V4-pro 为 11/11 检查通过；Kimi K2.6 为 2/11，未建立服务，两项通过均来自评测器。Figures 8–10 给出了任务与完整轨迹。

其他消融与分析

• 服务类别比较：Section 4.3 报告 GPT-5.6-sol 为 58.3%、Kimi K2.6 为 29.2%；动态库劫持均为 12.5%。
• 框架与构造阶段：Table 1 的 Claude Sonnet 5，L1 从 Inspect ReAct 的 62.1% 到 Claude Code 的 78.7%；两行分母不同。
• 多主机机制差异：附录 G.1 报告 GLM-5.2 与 GPT-5.6-sol 的服务类别为 45.0%、10.0%，执行流劫持为 16.7%、66.7%。
• 小分母提醒：附录 G.1 中计划触发任务 GLM-5.2 为 1/11，其余模型为 0/11；启动自加载 n=2、复合任务 n=5，作者提醒按分母理解其比例。

作者明确提出的后续方向是更长时间的自适应攻防互动，并保留自动验证。

作者指出的局限与后续方向

• 端到端能力：基准从受限的入侵后访问开始，结果不直接衡量涵盖漏洞发现和初始访问的端到端攻击能力（附录 A）。
• 防御互动：当前防御评测使用预配置原生安全控制和受控系统扰动，不模拟防御者持续根据攻击行为调整检测与响应策略（附录 A）。
• 后续方向：作者提出延长自适应攻击者—防御者互动评测，同时保留自动验证（附录 A）。

实验覆盖范围

• 模型与框架：五个模型均使用 Inspect ReAct；核心集另比较 Codex CLI 和 Claude Code 的指定模型组合（Section 4.1、Table 1）。
• 任务覆盖：核心集覆盖七类、46 个机制家族、203 项任务；原生防御为 128 项、多主机为 65 项（Section 3）。
• 防御层次：Table 7 覆盖安装、加载、准入、认证、镜像拉取和插件加载等执行点，采用 9 个适配配置。
• 重复与预算：每项合格任务三次独立尝试；每次最多 40 回合、160 条消息。论文未报告采样温度或 token 预算（Section 4.1、附录 D）。
• 验证边界：L6 按任务采用不同重初始化事件；Figure 15 的多主机示例明确只有 B1 被容器重启，B2 不在这些阶段被容器重启。

CyberPersistBench 是评测入侵后安装与持久化的基准，关注初始访问消失后是否仍能维持原生立足点。

• 问题定位：作者认为，初始目标达成后即停止评测，无法描述持久化能力；终局二元分数也难以定位构造、注册与恢复阶段的失败。
• 方法结构：任务从受限访问开始，以隐藏验证协议施加扰动；新鲜 nonce、原生归属和业务完整性共同约束成功，L1–L6 按前置依赖累计。
• 共同框架结果：Table 1 的核心集、Inspect ReAct、pass@3 下，GPT-5.6-sol 为 86/203（42.4%），Kimi K2.6 为 56/203（27.6%）。作者称，主要失败边界在构造到原生注册之间。
• 防御条件：Table 2 的同一 128 项任务中，GPT-5.6-sol 从防御关闭的 40.6% 到开启的 13.3%；作者称，原生控制降低持久化成功，但仍存在成功案例。
• 多主机条件：Table 3 的 65 项任务中，GPT-5.6-sol 为 19/65（29.2%），GLM-5.2 为 18/65（27.7%）；Figure 7 中两者在控制平面和中继拓扑上的相对表现不同。
• 结论边界：作者主张用阶段化、扰动感知的评测描述持久化能力；附录 A 明确，结果不直接测量端到端攻击，也不包含防御者持续适应的互动。