EXE-Bench：为真实可用性对 AI Windows 恶意软件检测器进行权衡排名

现有评测无法在同一条件下比较 AI Windows 恶意软件检测器，因而难以决定生产环境部署哪一个。

• 部署场景：作者关注静态分析，即只看 PE 元数据与程序表示、不执行样本。近十年特征模型、直接吃字节的深度网络和可认证模型都声称效果好，但数据与实验设置各不相同。
• 既有不足：作者归纳四点：训练与测试数据或划分不一致，比较不公平；多数只在单一测试集上看准确率，不考察 concept drift；对抗评测常只测一种强度，未按由弱到强刻画；忽略端点推理开销，训练耗时不能代表最频繁的预测。
• 作者的判断：只在部署后看准确率给不出完整图景。作者认为，以特征工程注入的领域知识仍能同时抵抗时间和对抗 EXEmples，多数深度网络只在刚部署时表现好。
• 本文做法：提出 EXE-Bench，在相同数据、划分和硬件上计算部署时性能、时间稳定性、对抗稳健性和推理开销，再合成单一分数。作者称据其所知，这是该领域首个公平且全面的基准。
• 对抗设定：稳健性部分用 black-box 遗传优化，只读目标回答；在 problem space 做功能保持的替换或注入，预算为字节数，距离用 Levenshtein distance。可认证模型未能直接攻击，改测迁移样本。

论文按检测器家族、既有评测和对抗样本组织相关工作；作者认为既有结果在各自范围内成立，但设置不同，不能直接比较。

检测器家族

• 特征模型：Anderson 与 Roth（2018）用 EMBER 特征；Saxe 与 Berlin（2015）用二维程序特征；Ahmadi 等（2016）从反汇编做家族分类。本文只用原始二进制上的 EMBER 特征，作者称反汇编会增加预处理。
• 端到端：MalConv（Raff 等，2018）、AvastConv（Krčál 等，2018）、BBDNN（Coull 与 Gardner，2019）、NGramConv（Gibert 等，2021）直接在字节上学习；Nataraj 等（2011）、Gibert 等（2019）把程序当图像再卷积。
• 可认证：图像域的 randomized smoothing 与 de-randomized smoothing 被改到 PE：前者对删字节或消融后的副本做多数投票，后者对固定块、K 划分、随机块或顺序块做多数投票。论文引用 Cohen 等（2019）、Levine 与 Feizi（2020）、Huang 等（2023）、Gibert 等（2023–2024）、Saha 等（2024）。

既有评测

• 性能比较：Vinayakumar 等（2019）、Fahim 等（2025）在公开或私有数据上比较 SVM、Random Forest 与 MalConv 等。
• 对抗评测：Demetrio 等（2021）、Imran 等（2024）、Louthánová 等（2024）、Verwer 等（2020）报告 white-box 与 black-box 的逃避率、迁移和扰动。作者认为只覆盖特定策略，没有做成由少数字节到大段注入的 security evaluation。
• 作者归纳的缺口：数据来源与规模不同，论文举例从 104 个样本到数千样本；划分、阈值、预训练与重训练也不一致。时间漂移大多缺席，多年数据常被聚成一期。指标彼此孤立，未同时看计算与部署。防御纳入对抗样本后，作者仍认为设置不可比。

漂移、攻击与基线

• 时间：Pendlebury 等（2019）的 TESSERACT 讨论跨时间偏差。作者认为其 AUC 不按各箱样本量加权，可能错误影响时间分析。
• 对抗样本：Kolosnjaji 等（2018）、Lucas 等（2021）、Demetrio 等（2021）讨论 adversarial EXEmples；Pierazzi 等（2020）区分 feature space 与 problem space。稳健性曲线参照 Biggio 与 Roli（2018）和 AttackBench（Cinà 等，2025）。
• 本文基线与数据：比较对象就是这 30 个检测器。训练和部署时测试用 EMBER 2017，时间测试用 Speakeasy（Trizna，2022）。攻击为 FullDOS、Content-shift 与 GAMMA，优化器为遗传算法。

作者把本文定位为同一数据、划分、硬件和由弱到强的攻击下的四指标合成排序，并称时间指标是新提出的。

EXE-Bench 用同一训练集训练检测器，再用四项 0–1 分数的等权平均排序。

数据与模型

• EMBER 2017：去掉 30 万无标签。VirusTotal 取回良性 349,994/400,000（87%）、恶意 399,992/400,000（99%），共 749,986，随机 80%/10%/10% 为训练、验证、测试。
• 30 个模型：EmberGBDT（LightGBM + EMBER 特征）。端到端为 MalConv（2,000,000 字节，1,067,529 参数）、AvastConv（512,000 字节，904,697 参数；Table I 写作 AvastStyleConv）、BBDNN（102,400 字节，895,275 参数；表中 BBDnn）、NGramConv（512,000 字节，17,957 参数）、ResNet18（256×256 灰度图，11,177,025 参数）。除 ResNet18 外，各端到端网络有六种认证变体。
• 认证变体：RS 随机消融字节，RsDel 随机删除字节，再多数投票。FDRS、KDRS、RDRS、SDRS 都是分块后多数投票：固定块（举例 32768）、K 份（举例 K=12）、按比例随机取块（举例 p=10%）、同样块大小但从文件头顺序取。
• 训练：batch 64，Adam，学习率 10^-3，Binary Cross Entropy，按类别比例加权。验证损失 5 个 epoch 不降则停，认证模型为 10。机器为 Intel i9 14900KF（24 核）、64 GB、Nvidia 4090 RTX 24GB。

分数定义

有概率输出的模型把阈值调到 1% FPR；认证模型不改多数投票，以免干扰认证，其未被固定的 FPR 进入 F1。T 与 P 用同一阈值。DR 统计预算 ε 内仍判为恶意的对抗样本比例，ε 为 Levenshtein distance，不绑定单一操纵。R 是 DR 对 ε 的积分，实践中用所选攻击近似，再除以全部模型与攻击对上的经验最大距离所对应面积。I 用平均推理时间 t（含预处理）做指数惩罚。作者称把 I 换成 1/(1+t) 后没有实质变化。排序分为 S(f)=(P(f)+T(f)+R(f)+I(f))/4。时间分为 T(f)=∑_i (|S_i|/|D|) F1_i(f)，按各箱样本量加权。

时间箱与攻击

• Speakeasy：2022 年 1 月与 4 月收集的集合并，因只做推理。共 125,921 个样本，论文写分为 7 个恶意软件家族；Figure 3 图例同时有 Goodware 与 Malware。PE 时间戳划成 10 个四个月窗口（2019 年 1 月至 2022 年 4 月）。图横轴为 2019-Q1 至 2022-Q1，另有 Past Out. 与 Future Out.，这两类被丢弃。
• 为何用时间戳：作者称样本仅 33% 在 VirusTotal 上，其中仅 7% 有非空 first seen。Table IV 中收集日之后的 first submission 为 6,344（44.9%），正文写约 45%，作者认为该日期不可靠。表注界限为训练侧 2022-02、测试侧 2022-05。
• 攻击：EMBER 测试集 5,000 个未加壳程序（Detect It Easy 否定加壳）。black-box 遗传算法，最多 500 次查询，每轮 10 个变体。FullDOS 替换 DOS 头中除魔数和 PE 偏移外的内容；Content-shift 在头与首节之间按 file alignment 注入，所切样本该字段最大 4096 字节；GAMMA 把良性字节串注入非可执行节，正则系数为 0。来源为 Windows 11 sysWOW64 的 .rdata（5、10、20、30、50 节）和 Speakeasy 的 .rdata（5、10 节）。无 .rdata 时注入空节但保留节表项，作者仍计入。
• 迁移与计时：全部对抗样本，不论是否逃避源模型，都在所有检测器上再测。认证模型未直接攻击。推理计时在 CPU：500 个恶意加 500 个良性，大小落在 Speakeasy 测试集的 μ±0.5σ。

作者在同一划分上排出 30 个模型的四指标榜，并称综合第一是 EmberGBDT。

实验设置

• 模型：30 个，均在同一 EMBER 划分上训练。基座为 EmberGBDT、MalConv、AvastStyleConv（正文与 Table III 写作 AvastConv）、BBDNN（表中 BBDnn）、NGramConv、ResNet18；除 ResNet18 外各有 RS、RsDel、FDRS、KDRS、RDRS、SDRS。推理计时只在 CPU。
• 数据：P 用 EMBER 测试集（10%，论文未给精确条数）。T 用 Speakeasy 合并集 125,921、10 个四个月窗口。R 用 EMBER 测试集中 5,000 个未加壳样本。I 用大小落在 μ±0.5σ 的 500 个恶意加 500 个良性。
• 指标：P 为 F1，概率模型阈值 1% FPR，认证模型不调阈值。T 为各箱 F1 按样本量加权。R 为 DR 对字节预算积分后归一化。I 为 e 的 −t 次方。S 为四项平均。FR 为四个分榜名次之和，越低越好。
• 攻击：black-box 遗传算法，查询上限 500，每轮 10 个变体；操纵为 FullDOS、Content-shift 和 GAMMA 的所列档位。全部样本再迁移。认证模型未直接攻击。
• 判定：无 LLM 评审，F1 与 DR 由标签和阈值计算。作者报告 Kendall 一致性系数 W=0.48（p=0.0021），并称各指标排序有中等一致。论文未报告随机种子或重复次数。

主结果

下表按 S 从高到低选取，并保留 S 最低者。数字均来自 Table I。

Swipe horizontally to read the table

模型	S	P	T	R	I
EmberGBDT	0.86	0.99	0.78	0.80	0.87
BBDnn	0.85	0.97	0.67	0.79	0.98
BBDnnFDRS	0.80	0.96	0.66	0.58	0.99
MalConv	0.67	0.99	0.52	0.18	0.98
ResNet18	0.61	0.97	0.52	0.01	0.95
AvastStyleConv	0.45	0.78	0.03	0.01	0.98
NGramConvRS	0.19	0.27	0.43	0.04	0.01

• 作者的总排序：作者将 EmberGBDT 列为综合第一、BBDnn 第二，并称手工特征在性能、时间和稳健性上占优，推理时间除外。Table II 的 I 榜前六均为 0.99，且都是去随机平滑变体。
• 认证变体：作者称 FDRS/KDRS 比 RS/RsDel 更能平衡多项；MalConv 与 BBDnn 加上认证后总体不如原版，NGramConv 与 AvastStyleConv 的认证变体高于原版。未列入上表的 NGramConv 在 Table I 中 S=0.66、P=0.98、T=0.70、R=0.06。
• 两种名次不完全相同：作者称用 S 排序。Table I 的印刷行序与 FR 递增一致。按 S 居第 5、6 的 BBDnnSDRS（0.69）与 BBDnnRDRS（0.68）未列入上表；前者 FR=15.25，差于 MalConv 的 FR=11.00。Figure 4 按 S 排列雷达图。其余 23 个模型的四项分数见 Table I。

分指标榜

• P（Table II）：前六为 EmberGBDT 0.99、MalConv 0.99、NGramConv 0.98、BBDnnRsDel 0.98、ResNet18 0.97、AvastStyleConvRsDel 0.97。Table I 把两个 0.99 都标为并列最高，Table II 仍分列第 1、第 2。作者称只看该榜会把 MalConv 排到 BBDnn 之前。作者称 RsDel 使 AvastStyleConv 的 F1 提高约 0.2；Table I 中其 P 为 0.78，RsDel 变体为 0.97。正文另写该模型测试集 F1 为 0.76，与表不一致，此处以表为准。作者称 Figure 5 中 EmberGBDT 在 10^-3 FPR 已 almost perfect；图轴为 False Positive Rate 与 True Positive Rate，文本未列出其他曲线读数。
• T（Table II）：前六为 EmberGBDT 0.78、NGramConv 0.70、BBDnn 0.67、BBDnnFDRS 0.66、NGramConvFDRS 0.63、NGramConvRsDel 0.63。作者称这六名不是随时间单调变差，而是逐箱波动；Figure 6 同时画 F1 与各箱样本量，文本未给出可核对的逐箱 F1。作者把波动可能联系到时间戳操纵或某些箱样本少，但称所有模型用同一数据，加权后比较仍公平。
• R（Table II、Figure 7）：前六为 EmberGBDT 0.80、BBDnn 0.79、BBDnnRS 0.62、BBDnnRsDel 0.61、BBDnnFDRS 0.58、BBDnnKDRS 0.52。图横轴为扰动字节数，纵轴为 Detection Rate。作者称 BBDnn 只在注入数 MB 之后、图的右侧高于 GBDT，总体仍是 GBDT 略高；文本未给出曲线端点读数。作者称 ResNet18 被最弱的 FullDOS 与 Content-shift 打破，并认为把程序折成图像没有空间语义。作者还提到 GAMMA 注入的良性字节可能改变分块投票，以及 BBDNN 的 100KB 输入窗可能使注入落在窗外；这是解释，不是另设对照实验的数字。

推理时间与训练耗时

• I：Table II 前六均为 0.99，即 AvastStyleConvKDRS、BBDnnKDRS、AvastStyleConvFDRS、MalConvKDRS、MalConvFDRS、BBDnnFDRS。作者称去随机平滑最快，并以 KDRS 为例说明即使推理 12 次，小块仍快于整文件；随机平滑最慢，因在截断样本上重复推理 100 次。Figure 8 是推理时间（秒）的箱线图，文本未给出箱端点。作者称 EmberGBDT 仍能在 1 秒内完成推理。
• 训练小时（Table III）：最短为 AvastConvRsDel 的 0.46，最长为 MalConvRS 的 146.47。EmberGBDT 为 7.18；作者称特征处理占大头，约 60 万已特征化样本上单独训练约 4 分钟，更新时只需处理新样本。

其他消融与分析

• 去掉 Inference 后与原排序的 Spearman ρ=0.2538（p=0.1759）、Pearson r=0.2623（p=0.1614），四项中最低；作者称 BBDnnRsDel 从按 S 的第 22 升至第 4（Table V）。
• 去掉 Temporal 后最大位移为 6 个名次；去掉 Performance 的相关最高：Pearson r=0.5291（p=0.0026），Spearman ρ=0.3419（p=0.0644）（Table V）。
• 去掉 Robustness：Pearson r=0.2162（p=0.2513），Spearman ρ=0.3673（p=0.0459）（Table V）。
• 作者称把 I 换成 1/(1+t) 后没有实质变化，正文未给出该版本分数。
• 低分侧：NGramConvRS 的 I=0.01、P=0.27；AvastStyleConv 的 T=0.03、R=0.01；ResNet18 的 R=0.01，与表中最低 R 并列，其 T=0.52 不是最低。作者反对在生产中使用把程序当图像的检测器。

后续空间主要是作者在局限和未来工作两节里点名的扩展，而不是某一张结果表里的低分。

作者指出的局限与后续方向

• 静态分析：纳入的模型只做静态分析，未含动态分析模型。作者称动态方法成本高，同时称现有指标可套到任意 Windows 检测器（Sect. VI）。
• 数据：训练用 EMBER。作者提到 SOREL 与 EMBER2024，并称换数据不改变方法，可作训练数据或未来时间切分（Sect. VI）。
• 未纳入的模型：transformer，因训练显存；作者引先前工作称其检测表现与本文 CNN 相当，推理时间比 MalConv 高 570.57%。汇编或控制流/函数调用图上的 GNN，因加壳或混淆时反汇编可能不完整，且商业反汇编器昂贵并增加延迟。对抗训练因耗时：先前最快方法在不到 30 万样本上 3 个 epoch 需 5.7 天，最慢需数月，且攻击未公开或缺组件；作者称本文训练集约为其两倍（Sect. VI）。
• 认证准确率：未能纳入 certified accuracy。RsDel 估计该量约需每样本 4000 次随机化；原实现超出 GPU 显存，推理时按输入窗截断。作者称若不简化，认证模型会因计算时间在榜上更低（Sect. VI）。
• 时间戳：分析可能受 timestomping、2019–2022 时段和采集厂商影响。作者称时间戳是当时能用的信息，并已按先前做法；若取得 first seen 真值，榜单可重算，流程不变（Sect. VI）。
• 攻击与分类：未纳入另一些攻击。未做家族分类；作者称那要改指标和威胁模型，现有模型多针对检测而非分类（Sect. VI）。后续包括随时间的分类、更多检测器（含动态分析）和扩充攻击集（Sect. VII）。

实验覆盖范围

• 被测对象是同一 EMBER 2017 划分上训练的 30 个静态检测器；训练机器为文中 CPU/GPU，推理计时在 CPU（Sect. IV、V）。
• 时间评测用 Speakeasy 合并后的 125,921 个样本、论文所写的 7 个家族、10 个四个月窗口，并去掉 past/future outliers（Sect. IV-A，Figure 3）。
• 稳健性评测为 5,000 个未加壳 EMBER 测试样本上的 black-box 遗传攻击，查询上限 500、每轮 10 个变体，操纵为 FullDOS、Content-shift 和 GAMMA 的所列档位，并做迁移；认证模型未直接攻击（Sect. IV-C）。
• 推理样本为大小落在 Speakeasy 测试集均值 ±0.5 倍标准差内的 500 个恶意加 500 个良性程序（Sect. IV-D）。训练耗时以小时记在 Table III。
• 论文未报告随机种子、重复次数，也未报告每次攻击实际消耗的查询数，只给上限 500。

EXE-Bench 用同一设置给 AI Windows 恶意软件检测器做四指标排序，而不是只比一次测试集准确率。

• 问题：静态检测器的既有评测在数据、划分和阈值上不一致，又很少同时看时间漂移、由弱到强的对抗和端点推理速度，部署选择缺少可比依据。
• 做法：取回的 749,986 个 EMBER 程序按 80/10/10 训练 30 个模型。P 是部署时 F1，T 是 Speakeasy 上按箱样本量加权的 F1，R 是对抗检测率随字节预算的归一化面积，I 是推理时间的指数惩罚，S 为四项平均。
• 结果：Table I 中 EmberGBDT 的 S=0.86、P=0.99、T=0.78、R=0.80、I=0.87，作者将其列为综合第一；BBDnn 的 S=0.85 次之。MalConv 的 P 同为 0.99，但 T=0.52、R=0.18。ResNet18 的 R=0.01，AvastStyleConv 的 T=0.03，NGramConvRS 的 S=0.19 为最低。
• 作者结论：作者称只看准确率不足以指导部署。作者认为在本文数据规模下，手工特征仍比纯字节网络更能同时保住时间稳定性与对抗稳健性；去随机平滑推理快，随机平滑因重复推理代价高。图像检测器的 R 在表中并列最低，作者不建议用于生产。作者把家族分类、动态分析检测器和更多攻击列为后续工作。