BypassGym:评估 AI 智能体端点防御规避能力的基准
BypassGym: A Benchmark for Evaluating AI Agents' Endpoint Defense Evasion Capabilities
作者提出 BypassGym 基准,测 AI 智能体生成加载器绕过真实 EDR 的能力;5 个模型后端 90 次运行中 71 次成功。
- 现有智能体网络安全基准测渗透测试和漏洞发现,但不测防御规避:智能体能否写出在真实 EDR 防护的端点上执行 payload 而不被阻断的 loader。作者认为真实攻击中 LLM 已被用于恶意软件开发,这一问题紧迫。
- 提出 BypassGym:给定固定 C2 shellcode,智能体在容器内用编译工具链迭代开发 loader,先在无 EDR 虚拟机做功能验证,再在装有目标 EDR 的虚拟机做执行与 C2 功能检查,结构化反馈供下一轮修改;附带可调丰富度的 evasion knowledge skill。
- 5 个模型后端对 6 个 EDR、3 个 payload 共 90 次运行,71 次(78.9%)成功;DeepSeek-V4.1 Flash 达 17/18,Bitdefender 仅放行 5/15。提供 evasion 知识提升成功率;详细端点反馈有帮助,仅 pass/fail 反馈没有。
- 作者指出:仅覆盖 Windows 上 6 个商用 EDR;知识库覆盖有限,成功率应视为能力下界;无法完全区分对 loader 与对 payload 的检测。RQ2/RQ3 仅用 GLM 与 DeepSeek 两个模型,每条件 18 次运行、每组合一次运行。
- 威胁模型
- 任务设定:给定固定 C2 shellcode payload,智能体须生成并编译一个 loader,在装有目标 EDR 的真实 Windows 端点上执行 payload 且进程不被阻断或终止;判定排除检测告警,只看功能执行与存活。智能体可使用提供的 evasion knowledge skill 和 Windows 编译工具链,每次运行最多 10 次迭代。
- 被测模型
- GPT-6 LunaGemini 3.1 Flash LiteGLM-5.3 FlashDeepSeek-V4.1 FlashQwen3.7 Plus
- 基准
- BypassGym(基于 Proxmox VE 的 Windows 端点环境,6 个 EDR 产品 × 3 个 C2 payload:Havoc、AdaptixC2、Sliver)
- 指标
- 运行成功率(passing submission 数/运行数)迭代次数、耗时、token 消耗延迟重放存活率
研究者发布 BypassGym 基准,在真实端点上评估 AI 智能体绕过 EDR(端点检测与响应)的能力,作者称这是首个在真实端点上系统评估该能力的基准。任务设定为给定 C2 shellcode,智能体需生成并编译加载器,使载荷执行时不被已部署的 EDR 拦截或终止;基准还提供补充性的规避知识技能,支持有无该输入的对比。环境基于 Proxmox VE 构建,在虚拟机中运行真实 Windows 系统和 EDR 产品,并向智能体返回结构化检测反馈。评测覆盖 5 个轻量模型后端、6 款 EDR 产品和 3 种载荷,结果显示即使这些简单模型也能生成成功绕过的提交,其中 DeepSeek-V4.1 Flash 达到 17/18 次成功运行,Bitdefender 仅放行 15 次运行中的 5 次。
深度解读
这篇论文试图解决什么问题?
现有基准不测防御规避:智能体能否写出在真实 EDR 端点上执行 payload 的 loader。
核心问题:AI 智能体能否自主生成在真实 EDR 防护的 Windows 端点上执行 C2 payload 而不被阻断或终止的 loader,现有基准没有测量这一能力。
- 场景与动机:作者称 LLM 已被用于真实恶意软件工作流(LAMEHUG、PROMPTFLUX 等案例),EDR 是关键防线,但智能体能否绕过它尚不清楚,模型提供方、终端安全厂商和政策制定者都需要回答。
- 现有评估的不足:作者称现有 AI 恶意软件研究经扫描服务、沙箱或离线检测器评估样本,agentic 安全基准主要测渗透测试、漏洞发现与复现,均未在真实端点、已部署 EDR 下系统测量 loader 能否让 payload 实际运行。
- 三个挑战:任务标准化但不能限制 loader 设计;必须在真实端点上评估并在测试间恢复干净状态;领域知识须作为可控输入以测量其影响。
- 论文提出:BypassGym 基准——固定 payload、工具与迭代预算、开放 loader 实现,基于 Proxmox VE 运行真实 Windows 系统和 EDR 产品,返回结构化检测反馈,并附可调丰富度的 evasion knowledge skill。
- 任务设定(威胁模型):
- 目标:生成并编译 loader,使给定 C2 shellcode 在目标端点执行、进程存活、建立可用 C2 会话。
- 输入:固定 payload、知识 skill(full/partial/none 三档)、README 与 Windows 编译工具链。
- 受害系统:Proxmox VE 虚拟机中装有真实 EDR 产品的 Windows 端点。
- 判定:功能执行与存活为准,检测告警不计入判定(论文说明因各产品无一致公开告警接口)。
有哪些相关研究?
相关工作分两类:AI 恶意软件生成与规避、智能体网络安全基准;作者称均不在真实 EDR 端点上测执行。
AI 恶意软件生成与规避
- MalGEN [31]:用 planner 与 developer 智能体按 MITRE 指定的行为生成恶意软件,经 VirusTotal 与沙箱评估。
- LLMalMorph [2]:将 Windows 恶意软件源码变异为数百个变体,测规避与功能保持,经 VirusTotal 与 Hybrid Analysis 评估。论文指出这两者都经聚合扫描、沙箱或离线分类器评估,不测 payload 是否在端点上运行。
- Dante-7B [29] 与 Obfusc8 [18]:前者微调小模型生成可编译 shellcode loader,论文指出其不对 EDR 测执行、不支持智能体迭代;后者测已部署端点防御,但只改写 PowerShell 脚本。
LLM 与智能体的网络安全评测
- Cybench [38] 与 AutoPenBench [11]:分别评测 CTF 解题与渗透测试,以任务成功为判定。
- CyberGym [36]:漏洞发现与复现,以 sanitizer crash 为 oracle。作者称它与 BypassGym 最接近(都用隔离环境中基于执行的 oracle),但评估的产物与结果不同。
- AgentCyberRange [20] 与 CyberSecEval 3 [35]:前者在真实网络靶场测 Web 利用与后渗透,EDR 规避只是攻击链中的一步;后者含自主规避阶段,但用 LLM 裁判评估命令输出,论文指出其不测生成样本是否在逃避检测的同时保持恶意功能。
基线与对比设置
- 论文无方法基线;功能基线为三个 C2 框架直接生成的默认 EXE(无智能体、无自定义 loader),在 18 个 EDR 格子中 15 失败、3 通过(Table 3)。
作者定位:作者称 BypassGym 据其所知是首个在真实端点上系统评估防御规避能力的基准,以"payload 在 EDR 下实际执行"为评估 oracle(Table 1)。
论文如何解决这个问题?
BypassGym 三模块:任务设定、容器内 loader 迭代开发、PVE 虚拟机上的 EDR 评估与结构化反馈。
整体思路:把"固定 C2 shellcode + 目标 EDR"定义为一个任务,智能体在容器内迭代开发 loader,先在无 EDR 虚拟机验证功能,再在装有目标 EDR 的虚拟机做执行与 C2 功能检查,反馈供下一轮修改。BypassGym 含三个模块(Figure 1)。
Evasion Task Setup
- 任务输入:固定 C2 shellcode payload(当前实例用 Havoc、AdaptixC2、Sliver)、选定知识条件下的 skill、说明交付物的 README;附录 A 给出代表性初始提示词。
- 知识库:37 项独立技术、3 个完整参考项目(AceLdr、gargoyle、BOAZ)、6 个 DLL 劫持模板,按 loader 阶段组织,打包为遵循 OpenAI Codex skills 文档的原生 skill。
- 三档知识条件:full 提供完整 skill;partial 移除所有 README.md 但保留源码、二进制与 loader 项目;none 只给含元数据的 SKILL.md。
- 交付物约束:ZIP 内含恰好一个 .exe 入口(PE32+/x86-64),可带依赖与单独 loader DLL;bundle 内 shellcode 必须加密存储。
Shellcode Loader Development
- 运行环境:容器内可配置 agent scaffold 与模型后端;实验用 Codex CLI、Claude Code、OpenCode 及 GPT、Gemini、GLM、DeepSeek、Qwen 后端;工作区跨迭代持久。
- 运行与迭代:一次 run 固定 payload 与目标 EDR,最多 10 次迭代;候选须先通过 NoEDR 虚拟机的 Endpoint Execution Check 才能进入目标 EDR 虚拟机;NoEDR 失败时同轮内最多 10 次修复提交。
- 成功判定:首个在目标 EDR 上通过全部必需检查的提交即成功;10 次迭代耗尽则记失败。
EDR Evaluation and Feedback
- 基础设施:Proxmox VE 虚拟机,含一台 NoEDR VM(Windows 11、移除 Defender)和每产品一台的 Target EDR VM;每次测试前恢复快照。
- 评估 oracle:以功能执行与存活为准——payload 实际执行、进程在观察窗口内不被阻断或终止;检测告警被刻意排除,作者说明原因是各产品无一致公开告警接口,且真实攻击者可能不在意是否触发告警。
- 两组检查(Table 2):Endpoint Execution Check 在端点 VM 上跑四阶段(Static Check、Process Check 启动后等 10 秒查存活、Traffic Monitor 观察 60 秒要求出站连接、Delayed Check 再等 10 秒);C2 Functionality Check 在 C2 服务器上跑,用统一 playbook 验证命令执行与双向文件传输。
- 反馈:两阶段均返回结构化结果,智能体据此在下一迭代修改提交。
论文做了哪些实验?
5 模型×6 EDR×3 payload 共 90 次运行,71 次(78.9%)成功;另测知识、scaffold、推理强度与反馈粒度。
实验设置
- 被测模型:GPT-6 Luna、Gemini 3.1 Flash Lite、GLM-5.3 Flash、DeepSeek-V4.1 Flash、Qwen3.7 Plus 五个后端;RQ1 全部用 Codex CLI。
- 环境:Proxmox VE 上隔离 Windows 虚拟机;6 个 EDR 产品(Windows Defender、Kaspersky、Elastic、Trend Micro、Sophos、Bitdefender);payload 由 AdaptixC2、Havoc、Sliver 生成;版本见附录 C。
- 运行规模:RQ1 为 5×6×3=90 次运行,每组合一次运行;RQ2/RQ3 只用 GLM 与 DeepSeek(RQ1 成功率最高的两个),每条件 6×3=18 次运行。
- 指标:运行成功率(通过提交数/18 或 /90)、迭代次数、耗时、token 消耗;延迟重放存活率。
- 判定方式:Table 2 的两组检查(端点执行四阶段 + C2 功能三项),无 LLM 裁判。
- 功能基线:三个框架默认 EXE 直接提交,18 个 EDR 格子中 15 失败、3 通过(Table 3)。
主结果
RQ1 各模型总体成功率(据 Table 4、Table 5,每模型 18 次运行):
模型后端 成功运行 需 NoEDR 修复的运行 DeepSeek-V4.1 Flash 17/18 (94.4%) 3/18 (16.7%) Gemini 3.1 Flash Lite 15/18 (83.3%) 8/18 (44.4%) GLM-5.3 Flash 15/18 (83.3%) 13/18 (72.2%) GPT-6 Luna 14/18 (77.8%) 5/18 (27.8%) Qwen3.7 Plus 10/18 (55.6%) 10/18 (55.6%) - 总体:90 次运行中 71 次(78.9%)生成通过提交;按 EDR 分,Windows Defender 放行全部 15 次提交,Bitdefender 最难、仅放行 5/15(33.3%);按 payload 分,Sliver 27/30、Havoc 24/30、AdaptixC2 20/30。
- 作者解读:作者称所有模型都产生了通过提交;71 个通过提交中 50 个(70%)使用经签名宿主 ssvagent.exe 的 DLL side-loading;5 个模型在 Bitdefender 上都未能通过 Havoc,作者称这是该测试设置下的共同难点。
- 执行模式:58/71 成功运行只需一次 Target EDR 测试;修复开销差异大(DeepSeek 3 次 NoEDR 修复调用,Gemini 141 次,GLM 212 次);4 次运行出现拒答共 135 轮,其中 97 轮集中在一个失败的 GPT 运行。
延迟重放(RQ1 附加)
- 测了什么:71 个通过提交在原始运行后 1–4 周于原目标 EDR 上重放,快照恢复后等 24 小时让 EDR 更新检测库。
- 结果:62/71(87.3%)仍通过全部四阶段(Table 6);Trend Micro、Sophos、Bitdefender 无损失,Windows Defender 损失 1 个,Kaspersky 13 个重放中 5 个不再通过(存活率 61.5%),Elastic 76.9%;按 payload,全部重放的 Havoc 提交存活,20 个 AdaptixC2 重放中 5 个失败。
- 作者解读:作者称多数原始成功在延迟重放中仍未被检测,各防御间差异明显。
知识、scaffold 与推理强度(RQ2)
- 知识丰富度(Table 9):DeepSeek 成功率从 full 的 17/18 降到 none 的 13/18;GLM 从 15/18 降到 9/18。作者称外部 evasion 知识提供可用方法与可复用代码,GLM 更依赖它;成本不随知识丰富度单调变化。
- Scaffold(Table 7、Table 10):GLM 在三种 scaffold 下均 15/18;DeepSeek 在 Codex CLI 与 Claude Code 下 17/18、OpenCode 下 16/18。Claude Code 把 GLM 的 NoEDR 修复从 212 降到 34,但把 DeepSeek 的 Target EDR 测试从 32 升到 46;作者称 scaffold 效果取决于模型。
- 推理强度(Table 11):GLM 在 Low/Medium/High 下为 11/18、14/18、14/18;DeepSeek 为 17/18、16/18、16/18。作者称提高推理强度不能可靠提升成功率,DeepSeek 在低强度下已最好。
端点反馈(RQ3)
- 测了什么:比较 one-shot(仅一次目标提交)、binary(仅知成败)、detailed(结构化判定,含失败检查项)三种反馈。
- 结果(Table 8):GLM 三种设置下为 14/18、14/18、15/18;DeepSeek 为 14/18、14/18、17/18。
- 作者解读:作者称仅 pass/fail 反馈不提升总体成功率,报告哪些检查失败能提升成功率;Figure 3 的案例展示 DeepSeek 据 Sophos 失败反馈修改 loader 后通过,但作者说明单个案例不能确定是哪处修改导致通过。
其他消融与分析
- 功能回退:17 次运行中候选通过 NoEDR 后在 Target EDR 失败、下一次提交又不再通过 NoEDR,共 26 次此类转换。
- Bitdefender 特有失败模式:部分失败测试中 Bitdefender 追溯到评估服务的 Python Guest Agent 并删除脚本,测试按超时与心跳丢失判失败,作者说明此结果从不记为通过。
- 拒答:GLM 一次运行中拒答 35 次后仍通过 Target EDR 测试。
有什么可以进一步探索的点?
作者列出覆盖范围、知识库下界与 loader/payload 归因三项局限,并提出扩展方向。
作者指出的局限与后续方向
- 覆盖范围(Limitations and future work):目前只测 Windows 上 6 个商用 EDR 产品;作者称把任务扩展到其他操作系统、以及扩展到对 shellcode payload 本身(而非仅 loader)的规避是自然的下一步。
- 知识库覆盖(同节):知识 skill 覆盖有限且聚焦 loader,绝对成功率应视为给定知识条件下智能体能力的下界。
- 归因问题(同节):当前设计无法完全区分对 loader 的检测与对 payload 的检测,payload 间的差异不应被解读为智能体仅靠 loader 设计规避检测的能力。
- 后续方向一(同节):把知识 skill 扩展为规避技术的组合图,记录哪些技术可组合、哪些冲突,并经智能体生成与测试实证验证。
- 后续方向二(同节):如何自动、精确地识别一个提交被检测的原因。
- 可复现性(Reproducibility 节):作者计划在评审后发布基准框架源码与完整实验数据;无法再分发受许可的 EDR 安装、凭据、原始 C2 shellcode 或可直接执行的提交。
实验覆盖范围
- 被测模型共 5 个后端;RQ2 与 RQ3 只用 GLM-5.3 Flash 与 DeepSeek-V4.1 Flash 两个模型。
- 每个模型×EDR×payload 组合只做一次运行;RQ1 共 90 次运行,RQ2/RQ3 每条件 18 次。
- RQ1 全部运行使用 Codex CLI;scaffold 对比覆盖 Codex CLI、Claude Code、OpenCode 三种。
- 评估 oracle 只看功能执行与存活,检测告警不计入判定;论文未报告各 EDR 的告警遥测。
- 延迟重放覆盖全部 71 个通过提交,在原始运行(2026-09-15 至 2026-09-29)后 1–4 周进行。
总结一下论文的主要内容
BypassGym 在真实 EDR 端点上测智能体规避能力:90 次运行 71 次成功,知识与详细反馈有帮助。
BypassGym 是一个评估 AI 智能体端点防御规避能力的基准,作者称据其所知为首个在真实端点上系统测量该能力的基准。
- 问题:现有基准测渗透测试与漏洞发现,但不测智能体能否写出在已部署 EDR 下实际执行 C2 payload 的 loader;作者称真实攻击中 LLM 已被用于恶意软件开发,这一能力亟需测量。
- 方法:给定固定 shellcode(Havoc、AdaptixC2、Sliver),智能体在容器内迭代开发 loader,先在无 EDR 虚拟机验证功能,再在装有目标 EDR 的 Windows 虚拟机上通过端点执行四阶段检查与 C2 功能检查;附 37 项技术、3 个参考项目的知识 skill,分 full/partial/none 三档。
- 主结果:5 个模型后端 × 6 个 EDR × 3 个 payload 共 90 次运行,71 次(78.9%)成功;DeepSeek-V4.1 Flash 达 17/18,Qwen3.7 Plus 最低 10/18;Windows Defender 放行全部 15 次提交,Bitdefender 仅 5/15。
- 消融:移除知识后 DeepSeek 从 17/18 降到 13/18、GLM 从 15/18 降到 9/18;scaffold 效果取决于模型;提高推理强度不能可靠提升成功率;详细反馈比仅 pass/fail 反馈更能提升成功率。
- 延迟重放:71 个通过提交 1–4 周后重放,62 个(87.3%)仍通过;Kaspersky 存活率最低(61.5%)。
- 作者结论:作者称低成本防御规避在实践中已有效,建议防御方跨层关联 loader 组合与遥测;成功率应视为能力下界,基准将向其他操作系统与 payload 级规避扩展。