Windows 恶意软件检测器作为复合 AI 系统：准确率、效率与对抗鲁棒性的权衡

工业Windows恶意软件检测常被做成多层Compound AI System，但保密使准确率、计算开销与对抗鲁棒性无法一起评估，学术工作又多只测孤立组件。

• 场景：作者称商用产品把签名、静态机器学习与动态分析串成流水线，用早期过滤换计算效率；内部结构只能推断。公开评测平台报告闭集上的检出率与误报数，却不比较计算需求与鲁棒性。
• 现有不足：作者称学术工作多单独训练静态、动态或混合模型，或堆叠预训练模型模拟流水线；部署期几乎只攻孤立模型，再把样本拿到真实系统上测。作者称据其所知，尚无工作在计入开发与部署成本时，系统研究性能、计算需求与鲁棒性的联合优化。
• 观察：上游过滤能减少下游训练数据并降低开销，但数据变少可能损害准确率与鲁棒性；部署时组件按成本递增排列，用概率阈值决定是否触发更贵的分析。
• 本文做法：作者提出一套方法，显式平衡检测性能、计算需求与鲁棒性，并引入系统级威胁模型，描述攻击者如何凭不同程度的知识逃避整个系统而非单个检测器；实现为OBELISK，并给出部署指南。
• 威胁模型：
  • 目标：四种模型下均为测试时逃避检测（evasion）。
  • 知识：TM1为zero-knowledge的black-box transfer，不知内部，对替代系统造样本再迁移。TM2知签名、不知后续层。TM3抽出静态模型参数、不知前置签名与决策阈值，在外部数据上自选1% FPR工作点。TM4同时知签名与静态模型，同样自选该工作点。
  • 能力：测试时做保持原功能、加载不报错的操纵。因动态分析缺少稳定开源攻击实现，只评估Fig. 3的四种模型。
  • 受害系统：作者实现的Windows PE检测流水线OBELISK，以及无过滤参照STND。

工业多层检测与签名

• 商用方案[1]–[5]：把传统检测与机器学习做成多层流水线。作者称真实部署通常按签名、静态元数据、动态行为这一顺序，用早期过滤换计算效率。
• 签名机制：Apple的macOS杀毒[6]、Bitdefender[29]、Microsoft Defender[4]、CrowdStrike Agent[30]使用模式匹配。blocklist命中即判恶意；allowlist用哈希标已知良性样本，以压低可能造成损失的误报。
• 论文在方法讨论中写到，签名不原生支持调节检出率与误报，可把匹配当作特征再训练分类器，或删除误报过多的规则；开发期签名还可约束下游看到的数据分布[25]。

孤立组件上的检测器

• 静态检测：在整个可执行文件上训练的深度模型[8]、[10]，以及用领域知识与聚合技术构造手工特征的EMBER[33]。
• 动态与混合：沙箱或仿真报告上的检测器[12]–[14]，以及结合上下文与行为表示的混合元模型[18]。
• 流水线模拟：有工作堆叠预训练模型，用来模仿顺序检测流水线[19]。

对抗EXEmples与攻击工具

• Demetrio等[15]把逃避机器学习检测器、且保持功能的Windows恶意样本称为adversarial EXEmples。论文列举的操纵包括改扩展头部、注入新区[17]、填节间空隙[26]、在文件尾追加字节[20]。优化可以是black-box的查询或迁移，或在可微检测器上做white-box梯度优化[20]、[21]。
• 迁移攻击[24]与查询攻击[17]被论文列为black-box评估做法。静态检测有稳定开源工具[38]；论文称动态攻击或无公开实现[39]，或依赖2021年停更的Cuckoo[23]、[40]，或只在特征空间操作[41]、[42]。
• 加壳与混淆在实践中常用，论文将其视为另一问题，本文不处理。

系统级工作与基线

• SLIFER[19]与对规则检测作用的分析[25]：作者称这是少数明确研究Windows恶意软件Compound AI System的工作，只是系统研究的初始一步。论文明确对比说，这些工作没有显式处理性能、计算需求与鲁棒性的权衡，也没有定义并评估系统级威胁模型。
• 基线方法：STND，即YARA、在全量数据上训练且推理只用单一检测阈值的GBDT-ALL，以及在全部仿真报告上训练的NEBULA-ALL。攻击使用GAMMA节注入[17]与padding[20]，经SecML Malware[38]生成；TM1/TM2的替代模型是EMBER上预训练的开源GBDT。
• 基准/数据集：Speakeasy[18]，并补充Windows系统文件与Chocolatey良性程序。

作者将本文定位为：在可复现设定中逼近工业三级架构，同时优化并评估整条流水线，而不是孤立检测器。

作者把检测做成顺序Compound AI System：上游过滤减少下游数据，并用知识递增的威胁模型评估整条流水线。实现名为OBELISK。

问题设定与三级结构

• 顺序：签名模式匹配、静态元数据分析、动态行为分析（Fig. 2）。作者称这对应从刚性领域知识到数据驱动决策，计算成本递增：签名约百分之一秒量级，静态模型约十分之几秒，动态分析常需数秒。
• 过滤角色：能以高置信、低成本判定的样本提前结束；先验不足的才进入更贵的分析。作者称若无计算约束，流水线会退化成端到端。
• 级间依赖：每一级都是下一级的过滤器，既减少数据量，也改变下游看到的分布。作者称这对依赖手工特征的较浅模型可能有利，对需要大数据学习表示的深度网络则可能有害。
• 失败处理：评测中预处理失败的样本被排除，不赋默认标签，以避免把错误标成恶意而抬高误报，或标成良性而压低检出；该效应见[19]。实践中的人工复核不在本文范围内。

训练期与推理期如何削减数据

• 静态模型：GBDT-ALL忽略签名过滤，用全量数据训练；GBDT-YARA只用blocklist与allowlist都未识别的样本。
• 动态模型：NEBULA-ALL用全部报告；NEBULA-GBDT-YARA只用前两级过滤后的子集。后者用δ设两个截止：概率p≤δ标良性，p≥1−δ标恶意，只有落在(δ, 1−δ)的样本用于训练动态模型。
• 推理：先用blocklist与allowlist标已知样本；未命中者交给静态模型。p≤δ判良性，p≥1−δ判恶意，其余进入动态级做最终判定。
• 交换：作者称只有双阈值才能避免把全部良性程序送入动态级；同时承认对手可能设法把样本压到下阈值以下，这是相对全系统计算约束的攻击面。

OBELISK的三个级别

• 签名：YARA。blocklist来自公开恶意规则，allowlist是随Windows安装分发的已知程序哈希。在训练数据上至少触发一次误报的规则全部丢弃。
• 静态：XGBoost的GBDT，特征为EMBER。训练为1000棵树、学习率0.1、32个并行作业，其余为库默认值。
• 动态：Nebula，transformer，输入为Speakeasy仿真报告。作者称选它是因为端到端检测优于先前方法。BPE词表50,000，输入最长512 token；AdamW，学习率1e-4，β1=0.9，β2=0.999，ε=1e-8，批大小64，训练60 epoch；按训练数据10%验证划分上的ROC AUC选模型。
• 四种配置：STND为YARA、GBDT-ALL单阈值、NEBULA-ALL。OBV1同此结构，但推理用双阈值。OBV2把第二级换成GBDT-YARA。OBV3再把第三级换成NEBULA-GBDT-YARA。

四种威胁模型下的攻击

• 操纵：GAMMA注入取自良性程序的非执行内容；PAD在overlay追加字节。知签名时使用避开会触发规则之构件的GAMMA-YARA。优化器为遗传算法。具体节数、填充长度与查询预算写在Sect. V-A，此处不展开成操作步骤。
• A1：对开源EMBER GBDT替代模型生成样本，再迁移到真实系统。
• A2：替代系统为已部署签名加A1的替代模型，并用GAMMA-YARA。
• A3与A4：静态模型改为OBELISK实际部署的GBDT-ALL或GBDT-YARA，不再用替代GBDT。A3只攻该模型；A4同时针对签名与该模型。攻击者仍不知部署阈值，工作点按外部数据上1% FPR自选。

判定与开销

• 检测指标：TPR、FPR、F1。各威胁模型内的策略当作ensemble：一样本只要任一策略逃过目标系统即算成功，再计算worst-case TPR。TR是同时逃过“攻击所针对的目标”和真实系统的比例。
• 开销：Tt包括EMBER特征提取、GBDT训练、Speakeasy出报告及过滤归一化、BPE训练与Nebula训练，不含制作签名的时间。Ti为平均预测时间：必做签名匹配，未命中才做静态，置信不足才做仿真与Nebula。

实验设置

• 数据：Speakeasy去重后，训练71,505恶意、26,059良性，测试17,495恶意、10,000良性，收集时间分别为2022年1月与4月。七个家族为Backdoor、Coinminer、Dropper、Keylogger、Ransomware、RAT、Trojan。另加Windows 8.1/10/11系统文件2,648个（仅训练）和2024年Chocolatey程序9,809个（仅测试）。最终训练71,505恶意+28,707良性，测试17,495恶意+19,809良性。
• 报告与规则：训练仿真去掉错误后有78,084份成功报告，唯一报告67,611份。测试丢弃无法分析的样本，论文未给出丢弃后的条数。2025年4月收集的公开规则中，去掉训练集上至少一次误报者，剩236条；allowlist为2,648个哈希。
• 系统与δ：STND、OBV1、OBV2、OBV3。δ取(0.1, 0.27, 0.44, 0.72, 1.18, 1.93, 3.16, 5.18, 8.48, 13.89, 22.76, 37.28)×10^-3，记为δ0–δ11。三种OBV各12档加STND，共37个系统。
• 攻击：池为Speakeasy测试集700个恶意样本、每家族100。A1三组，对EMBER替代GBDT使用GAMMA-CHOCO、GAMMA-WIN、PAD；A2三组，对签名加该替代模型使用GAMMA-YARA-CHOCO、GAMMA-WIN、PAD；A3六组，对部署的GBDT-ALL或GBDT-YARA使用前三种；A4六组，对签名加对应GBDT使用GAMMA-YARA变体、GAMMA-WIN与PAD。论文设定GAMMA注入50个Chocolatey的.rdata节或10个Windows 11节，λ=1e-7；PAD为0.5、1、1.5 KB；遗传算法最多500次查询、种群10。
• 指标与工作点：TPR、FPR、F1、TR、Tt、Ti。末级阈值调到约1% FPR，取ROC上最接近该约束的点。正文称Fig. 4中圆点与星标分别对应略低和略高的FPR；图注将STND画为黑色虚线，图例含Threshold @ 1% FPR与First tunable threshold。鲁棒性为威胁模型内ensemble的worst-case TPR。论文未报告重复次数，也未使用单独评审模型。
• 硬件：Intel Xeon Gold 5420、两块Nvidia L40S、540 GB内存。

主结果

Swipe horizontally to read the table

系统	约1% FPR的TPR	Tt	Ti	出处
STND	未报告	≥100小时	≥4秒	THM2、THM4
OBV1	未报告	≥100小时	未报告	THM2；Fig. 5
OBV2	未报告	≥100小时	未报告	THM2；Fig. 5
OBV3，δ11	≈96%	未报告具体小时数	未报告具体秒数	THM1、G2；Fig. 5

• 作者称Fig. 4中低δ、更多样本进入动态级时TPR变差，过滤更激进时改善；作者称这符合预期，因为动态分析单独使用时准确率更低。Sect. V-D称STND准确率最高，但未给出该工作点的TPR。
• 作者称若只考虑性能与计算成本，OBV3配δ11适合生产；又称Fig. 5b的Ti–性能权衡中居前的是OBV1配δ11，其余多数位于图的左下角，OBV3配δ11性能接近且推理代价相当。
• 作者称STND、OBV1、OBV2的训练时间主要由数据准备而非拟合主导：特征提取约0.26秒/样本，仿真约8.1秒/样本。STND的推理延迟来自良性样本走完全程，作者称这种延迟在生产环境中可能不可接受。

鲁棒性与推理时间

• 测了什么：37个系统都调到约1% FPR，评估A1–A4。Fig. 6画Ti与worst-case TPR、Ti与TR的Pareto前沿。正文没有给出各点的精确TPR或TR。
• 结果：作者称STND在几乎所有威胁模型下最鲁棒，A3下与其他表现靠前的配置打平；其后是中等δ的OBV1与OBV2；OBV3是最不鲁棒的一族。鲁棒性不随δ单调变化：OBV1与OBV2在δ6、δ7较好，OBV3族内较鲁棒的也是δ6，相对STND的平均TPR下降不到10%。TR随TM1到TM4上升。
• 作者解读：少数据训练和静态层过滤对鲁棒性无益。攻击会抬高Ti，因为操纵增大输入、拖慢静态特征提取，且绕过前两级的样本会触发仿真。作者称鲁棒性与响应性因此耦合。

分层贡献

• 测了什么：只看STND、OBV1-δ6、OBV2-δ6、OBV3-δ6、OBV3-δ11。Fig. 7是测试集上各级做出最终判定的比例，实心为正确、斜线为误分类；Fig. 8是A1–A4的worst-case下同样分解。
• 无攻击：作者称δ把判定负担移到静态层，该层独自解决约80%测试集；STND相反，动态层约占正确分类测试集的47%。签名层正确分类约13%测试集，误报可忽略，作者将其联系到丢弃训练集上有误报的规则。
• 有攻击：作者称STND上签名层拦住的攻击占比，A1与A3约75%，攻击者避开规则构件的A2与A4约25%。Fig. 8中OBV3-δ11静态层上方的斜线区域，被作者解读为过宽良性区使只逃避静态层即可打穿流水线；其动态模型在前两级被绕过后几乎拦不住攻击。作者称动态层只有在全量数据上训练时才贡献防御，系统鲁棒性不是各级鲁棒性之和。

其他消融与分析

• 训练集：GBDT-ALL为100,212；GBDT-YARA为79,319；NEBULA-ALL为67,611；NEBULA-GBDT-YARA从δ0的59,461降到δ11的3,373（Sect. V-B）。
• δ共12档；正文称低δ对应更多样本进入动态级、Fig. 4上的TPR更差。
• Windows 11节不触发签名，故不单列GAMMA-YARA-WIN；GAMMA-WIN与它相同（Sect. V-A）。
• 部署指南（Sect. V-E）：无主导约束用OBV3-δ6；训练与推理都紧用OBV3-δ11；训练充裕、部署紧用OBV1-δ6；性能与鲁棒性优先且延迟不是瓶颈用STND。
• 负面结果：作者报告OBV3一族最不鲁棒；δ11的动态级在前两级被绕过后几乎无拦截；攻击即使未完全击败检测也会抬高Ti（THM5、THM8、THM13）。
• 论文未按PAD长度或GAMMA节来源分开报告TPR，也未报告预处理失败的排除比例。

作者指出的局限与后续方向

• 动态分析偏弱：准确率低于静态，提升仍困难且探索不足。Nebula需要大训练集和数天仿真；虚拟化轨迹更丰富，但成本高得多。作者称所报动态层限度应读作当前技术水平的限度，而非所选模型的人为产物（Sect. VI）。
• 只评估静态对抗样本：威胁模型没有攻击动态层。作者称相关技术或无公开实现，或依赖难搭建的过时平台；并称因此鲁棒性数字偏乐观，扩展到运行时行为操纵会扩大所测攻击面（Sect. VI）。
• 没有端到端查询攻击：未计算直接针对Compound AI System输出的query-based攻击。作者称每轮优化都要等仿真结束，对本文的样本量与配置数过慢；迁移攻击给出攻击有效性的下界，因而给出被测系统鲁棒性的上界（Sect. VI）。
• 加壳与混淆：未显式评估检测性能，也未控制数据中是否存在这些技术。作者称Speakeasy由安全厂商在野收集、其作者报告含加壳样本，本文依赖该判断，未量化占比（Sect. VI）。
• 数据来源与时间漂移：更大或更新的数据集需要付费才能取回程序，以运行攻击和仿真；作者称方法本身不绑定特定数据源。未显式处理temporal drift；现有划分保留时间顺序，作者称这不能替代更长观测窗口上的评估（Sect. VI）。
• 后续计划：作者计划研究更丰富的行为表示，以及用执行速度换保真度的仿真或虚拟化；把同一系统扩展到家族归因；研究直接逃避动态检测的技术与投毒；并研究迫使系统回退到仿真、从而抬高推理时间的DoS（Sect. VII）。

实验覆盖范围

• 被测配置为STND、OBV1、OBV2、OBV3，δ十二档，共37个系统，在Speakeasy最终测试集上以约1% FPR工作点比较TPR、F1、Tt与Ti（Sect. V-A、V-B）。
• 对抗评估为A1–A4，对应TM1–TM4；攻击池700个恶意样本、每家族100。A1/A2的静态目标是EMBER替代GBDT，再迁移到OBELISK；A3/A4的静态模型就是部署的GBDT-ALL或GBDT-YARA（Sect. IV-B、V-C）。
• 分层分解只覆盖五个代表系统：STND，OBV1、OBV2、OBV3的δ6，以及OBV3的δ11（Sect. V-D）。
• 论文未报告重复次数、预处理失败的排除比例，以及各攻击变体分开的TPR；鲁棒性以威胁模型内ensemble的worst-case报告（Sect. V-A、V-C）。
• 动态分析攻击、针对整条流水线输出的查询攻击、加壳与混淆的单独评测、更长窗口的时间漂移，论文在Sect. VI写明未做，并分别写到工具不可用、查询需等待仿真、数据中已含加壳但未量化，以及缺少厂商遥测或程序检索权限。

OBELISK把Windows PE恶意软件检测做成YARA、EMBER-GBDT与Nebula的顺序流水线，用来同时看检出、计算开销和对抗鲁棒性。

• 问题：工业多层检测器因保密难以透明比较这三项，学术评估又多停在孤立组件。作者要在可复现设定里显式处理三者权衡，并形式化攻击者对整条流水线的不同知识。
• 方法：签名先匹配已知样本；未命中者由GBDT按双阈值δ判良性、恶意或不确定，不确定样本才进入Speakeasy报告上的动态模型。静态与动态模型可以在全量数据上训练，也可以只在上游过滤后的子集上训练。TM1到TM4从不知内部的迁移，到知签名、知静态模型参数，或两者皆知；操纵是节注入与overlay填充。
• 性能：约1% FPR下，OBV3配δ11的TPR约96%，且属于训练较快的一族。STND、OBV1、OBV2训练至少100小时，主要耗在约0.26秒/样本的特征提取和约8.1秒/样本的仿真。STND平均推理至少4秒。
• 鲁棒性：作者称STND在几乎所有威胁模型下更耐攻击，OBV3更不耐攻击；OBV3配δ6相对STND的平均TPR下降不到10%。STND上签名层拦住的攻击，从A1/A3的约75%降到攻击者知签名时的约25%。OBV3-δ11的动态级在前两级被绕过后几乎不拦截。
• 作者结论：过滤能降低开销，作者称牺牲的检测性能不大；但同一机制扩大攻击面。知识越多，样本越能迁到完整系统，攻击还会拖慢响应。四条指南把无主导约束、训练与推理都紧、只紧部署、以及性能与鲁棒性优先，分别对应OBV3-δ6、OBV3-δ11、OBV1-δ6和STND。