规避与投毒攻击对恶意软件数据漂移检测器的实证分析
Empirical Analysis of Evasion and Poisoning Against Malware Data Drift Detection
对CADE与Transcendent连同恶意软件分类器做规避和投毒,更大扰动或更多投毒未必提高整体ASR。
攻击者要让恶意样本被 MLP 判为良性,且不进 top-k 漂移核查。
- 恶意软件演化会造成概念漂移,分类器可能过时。漂移检测器用来找出可能被误判的样本。针对分类器的规避和投毒能否同时绕过检测器并不清楚。
- 攻击者只知初始训练集10%样本,用替代MLP的交叉熵或替代CAE到良性中心的距离做通用扰动。扰动既用于规避,也作为clean-label后门投毒。成功须被判为良性且不进top-k漂移样本。
- 只打MLP分类器时,Bodmas扰动上限1、替代MLP的平均ASR为100%(Table 2)。作者称连同CADE时过大扰动可使整体ASR下降;投毒样本更多时,带CAE的检测器上整体ASR也可下降,而只投毒分类器时不会。
- 论文未专门讨论局限。实验覆盖Bodmas与Androzoo上30次平均的通用扰动规避和clean-label后门投毒。论文未报告优化轮数、常数b,以及图中整体ASR的曲线读数。
- 威胁模型
- 攻击者要让恶意样本被 MLP 判为良性,且不进 top-k 漂移核查。无受害模型完全访问权,只知初始训练集 10% 良性与 10% 恶意样本,用替代模型做扰动。只能增大非负特征;Bodmas 仅 17/2381 特征可改;clean-label 后门,再训练只收最漂移样本。
- 被测模型
- MLP 100-100CADE (CAE 512-384-256-128)CADE (CAE 512-128-32-8)Transcendent (CAE 512-384-256-128)Transcendent (CAE 512-128-32-8)Transcendent (MLP 100-100)
- 基准
- BodmasAndrozoo
- 指标
- ASR_overallASR_malware classificationOOD scorecred+conf
研究考察了规避与投毒攻击同时作用于数据漂移检测器和恶意软件分类器时的效果,发现数据漂移检测器的独有特性会使针对恶意软件分类器的攻击在其上表现出不同行为。该工作揭示了攻击在两者组合场景下的作用机制差异。
深度解读
这篇论文试图解决什么问题?
针对分类器的规避与投毒,面对CADE或Transcendent时效果会变。
恶意软件分类上的规避与投毒,在同时面对数据漂移检测器时是否仍然有效。
- 场景:作者称恶意软件与良性软件会随时间演化,分类器可能很快过时。漂移检测器找出偏离训练分布的样本,用于拒绝可能误分类的预测,或用这些样本持续训练分类器。
- 现有不足:已有规避与投毒主要针对分类器。作者称对这类系统,成功攻击应当同时作用于分类器与漂移检测器;检测器的目标、损失和架构不同,受攻击时如何表现并不清楚。
- 观察:作者称检测器的特性会使这些攻击的作用方式不同,并展示分类器上有效、检测器上效果不好的情形。
- 做法:同时攻击 MLP 分类器与 CADE 或 Transcendent,考察扰动幅度、投毒样本数和底层架构。
- 威胁模型:
- 目标:恶意样本被判为良性,且不进入 top-k 最漂移样本,从而避开人工分析与阻断。
- 知识:无受害模型完全访问权;已知初始训练集中 10% 良性与 10% 恶意样本,据此建替代模型并希望迁移。
- 能力:计算一次通用扰动;只能增大非负特征。投毒必须 clean-label,可从良性软件派生。再训练只插入最漂移样本;实验假定插入者全是投毒样本。
- 受害系统:MLP 分类器加 CADE 或 Transcendent。特征来自不运行样本的静态分析。Bodmas 仅 17/2381 个特征可改;Androzoo 的 16978 个特征可增至 1。
有哪些相关研究?
作者将本文定位为同时攻击漂移检测与分类,并称尚无同类工作。
规避与投毒
- 论文将 [5,15] 归为修改恶意样本、以规避使用静态分析手工特征的分类器,将 [7,10–12] 归为规避以原始二进制为输入的分类器。论文没有逐篇批评这些工作。
- Severi et al.(2021)与 Jigsaw Puzzle(Yang et al., 2023)对使用静态特征的分类器做后门投毒,使带触发器的恶意样本被误分类。
替代模型
- [14,16,18] 假设攻击者没有受害模型的完全知识,因而训练替代模型。论文称这些替代模型特征与受害模型相同,但通常训练集更小和/或架构不同;本文替代模型以类似方式构建。
保持恶意功能
- Severi et al.(2021)与 RAMEn(Demetrio et al., 2021)修改不影响格式或功能的静态特征;Jigsaw Puzzle 加入来自良性应用的字节码 gadget 并保持恶意行为;Lucas et al.(2021)改动不影响执行结果的二进制指令。论文称本文同样在不影响功能的前提下修改样本。
成功率与特征知识
- 论文称 [7,10,12,14,18] 在规避和投毒上能取得高攻击成功率,并称这与本文中的高攻击成功率相似。
- 论文转述 Demetrio et al.(2019):以原始二进制为输入的分类器学到的是标签与并不表示真正恶意性的字节之间的关系。论文转述 Suciu et al.(2018):知道受害模型所用特征,对规避和投毒能否成功很重要。
实验对照与定位
- 实验没有报告与上述攻击实现的数值对比。内部对照是替代 MLP 的交叉熵与替代 CAE 的距离损失,以及只攻击 MLP 分类器相对同时攻击 CADE 或 Transcendent。数据为 Androzoo 与 Bodmas。
- 论文称据其所知,尚无已有工作攻击过恶意软件数据漂移检测器;其攻击模型同时针对漂移检测与分类,以此区别于只攻击分类器的工作。
论文如何解决这个问题?
用替代MLP或CAE的通用扰动做规避,并作clean-label后门投毒。
攻击在替代模型上生成一次通用扰动,既用于规避,也作为投毒的后门触发器;评测要求同时骗过 MLP 分类器与 CADE 或 Transcendent。
问题设定与成功条件
- 数据与模型:受害方用 Table 1 的初始训练集训练模型,并随机过采样恶意样本。分类器为 MLP。漂移检测为 CADE 或 Transcendent。future selection set 是初始训练结束后两个月的样本。
- 人工预算:检测器选出至多 k 个最漂移样本供人工核查,其中恶意样本会被分析并阻断。多数实验 k=500,一处为 200。作者称 k 越大越难规避。
- 时间选择:投毒使用 2019-11 与 2020-02,而不是紧接着的下一个月。作者称再训练需要时间。规避为可比而使用同一 future selection set。
- 成功定义:MLP 将样本判为良性,且它不是这 k 个样本之一。扰动算一次后用于恶意样本。作者称逐样本扰动结果相似,细节未给出。
两种替代模型与损失
两种扰动分开计算,不相加。优化器为 rectified Adam,并施加特征约束。同一扰动用于规避和投毒。论文未报告轮数与学习率。
替代 MLP 最小化加扰动后恶意样本对良性类的交叉熵:arg minu cross entropy(MLP(Xmalware+u), ybenign)。含义是把样本在分类器上拉向良性类。作者用它考察越过决策边界是否就足以成为良性类的非漂移成员。
替代 CAE 最小化编码器输出与良性中心的均方误差:arg minu MSE(CAE encoder(Xmalware+u), benign centroid)。含义是在嵌入空间把恶意样本拉向良性中心。作者也考察它能否推动分类器越界。
检测器如何打分
- CADE:对比损失使不同类在嵌入空间分开、同类靠近;重构损失使解码接近原输入。类中心是该类训练嵌入的平均。异常分比较到类中心的距离与训练集中位距离,分母含固定常数 b,本文未给出 b。OOD 分是各类异常分的最小值。挑选用最高 OOD,不是良性类异常分。
- Transcendent:作者称它近似并有时超过 Transcend,开销更低。p 值是类内至少同样不相似的训练样本比例。线性 SVM 建在 CAE 嵌入或 MLP 输出前最后隐层上,到超平面越远越像该类;落在另一侧则距离取负。credibility 是预测类 p 值,confidence 是 1 减其他类最高 p 值,cred+conf 为二者之积,越低越漂移。挑选用预测类的最低 cred+conf,不是良性类。
规避与 clean-label 后门
- 规避:把通用扰动加到恶意样本。
- 投毒:触发器与该扰动相同,加到攻击者已知的全部良性样本上形成候选集。受害方只插入见过的最漂移样本;实验为隔离投毒效应,假定插入者全是投毒样本,不再平衡,并从零训练。
- 标签:受害方对每个插入样本做粗略人工分诊并赋予正确标签,故不能改标签。作者称无触发器的干净输入上模型仍应表现正常,只在触发器出现时误分类。
特征约束
- 方向:不能破坏功能或文件格式;只能增大非负特征。
- Bodmas:按初始训练数据 min-max 缩放到 0 到 1,只改 17 个可改特征,越界则截断到 0 或 1。
- Androzoo:16978 个 0/1 特征都可增至 1。攻击只用攻击者已知数据上、逻辑回归 RFE 选出的特征:较小限制取前 200 个,较大限制取前 1000 个。
论文做了哪些实验?
只打分类器时ASR随扰动升高;连同CAE检测器时更大扰动或更多投毒未必更有效。
实验设置
- 数据:Bodmas 初始训练 2007-01 至 2019-09,恶意:良性为 4741:17565;future selection 为 2019-11,2494:3718。Androzoo 初始训练 2019-01 至 2019-12,4542:40947;future selection 为 2020-02,406:3697。Table 1 为未平衡计数。
- 模型:受害分类器为 MLP 100-100。检测器为 CADE 或 Transcendent,底层为 CAE 512-384-256-128、CAE 512-128-32-8,Transcendent 另测 MLP 100-100。替代模型为这三种结构,按攻击者所知数据构建。论文未报告与外部攻击实现的数值对比。
- 指标:ASR_malware classification 是被判为良性的恶意样本比例。ASR_overall 还要求不在 top-k 中。CADE 比的是 OOD,Transcendent 比的是预测类 cred+conf,阈值取 future selection set 的第 k 个样本。无 LLM 评审。
- 测试集:扰动加到初始训练集的全部恶意样本,不是只加攻击者已知样本,也不是加到 future selection set。作者称后一设置结果相似但未收录。
- 重复:攻击做 30 次并取平均。Table 2 给出标准差,未写明其计算方式;Table 3–6 未报告标准差。论文未报告显著性检验。
- 预算与假设:k 多为 500;Figure 4b 与 Figure 6d 为 200。投毒实验假定新训练集中的插入样本全是投毒样本。
主结果
下表只含论文以表格给出的、只针对 MLP 分类器的规避 ASR。组合设置的 ASR_overall 在 Figure 1、2、7,正文未给曲线读数。
表格较宽,可左右滑动
条件 替代 MLP 100-100 替代 CAE 512-384-256-128 替代 CAE 512-128-32-8 Bodmas 上限 0.25 77.7% (3.2%) 79.1% (5.1%) 78.5% (6.3%) Bodmas 上限 0.5 97.6% (1.9%) 97.4% (3.8%) 92.5% (6.0%) Bodmas 上限 1 100% (0) 99.997% (0.02%) 95.6% (5.6%) Androzoo 50(Sig Feat 200) 72.1% (2.8%) 71.2% (2.3%) 72.2% (2.7%) Androzoo 200(Sig Feat 1000) 98.3% (0.7%) 95.0% (1.8%) 95.3% (2.0%) Androzoo 500(Sig Feat 1000) 98.9% (0.4%) 94.9% (1.9%) 95.4% (1.9%) 据 Table 2。未列入的 Bodmas 上限 0.75:100% (0)、99.985% (0.07%)、95.4% (5.8%)。Androzoo 100(Sig Feat 200):74.3% (2.9%)、71.6% (2.5%)、73.6% (2.7%)。
- 只打分类器:作者称两种替代损失都有效,ASR 大体随上限升高。表中 Androzoo 的大 CAE 从 200 特征到 500 特征没有继续升高。Bodmas 上限 1 时,小 CAE 替代模型未到 100%。
- CADE:作者称扰动已经较大后继续加大,整体 ASR 可以下降(Figure 1,受害 CAE 512-128-32-8,k=500)。作者将其归因于过大特征被当成未见模式,样本被推离良性中心。Androzoo 上,RFE 特征池为 200 时,可改特征从 50 增到 100,替代 MLP 与小 CAE 的整体 ASR 下降;池增至 1000、可改特征为 200 时又可上升。作者称替代 MLP 的 ASR 降得比替代 CAE 更快,因为交叉熵不约束到 CAE 良性中心的距离。正文未给这些点的读数。
- Transcendent:作者称 Transcendent+CAE 上,交叉熵与替代 MLP 生成的大扰动,整体 ASR 高于替代 CAE(Figure 2a、2b)。作者认为远离 CADE 良性中心的样本仍可能远离 SVM 边界,从而不算漂移。Figure 2c(Bodmas,Transcendent+MLP,k=500)上,作者称整体 ASR 比 Transcendent+CAE 高得多,不同 CAE 替代模型的差距也更小。正文未给读数。
后门投毒对照
- 只打分类器:Table 4 中 ASR 不随投毒数下降。Bodmas、幅度上限 1、替代 MLP,插入 100、200、500、1000 时均为 100%;小 CAE 替代从 87.1% 到 91.3%。Androzoo、500 特征(Sig Feat 1000)最低为插入 500、大 CAE 替代的 99.34%,最高为插入 1000、替代 MLP 的 99.99%。
- 连同检测器:作者称与只投毒分类器不同。Figure 3(Bodmas,幅度上限 1,k=500,受害 CAE 512-128-32-8)与 Figure 4(Androzoo,500 特征)中,投毒更多时整体 ASR 可以下降。Figure 4b 用 k=200;作者称附录有 k=500 的同一评测。作者将其归因于重构损失:良性中心附近容量有限,带触发器的样本会被放到更远处。
- 替代模型:作者称 Figure 4a 这类小嵌入设置里,替代 CAE 的 ASR 远低于替代 MLP,因为 CAE 损失把投毒样本推向已经拥挤的良性中心附近。正文未给读数。
到良性中心的距离
Table 5、6 报告平均距离/平均良性类异常分,不是 ASR。作者用它们支持“更多投毒样本会使带触发器样本远离良性中心”。
表格较宽,可左右滑动
受害 CAE 与数据 插入数 替代 MLP 替代大 CAE 替代小 CAE Bodmas,512-128-32-8 100 1.77/705 1.05/386 1.15/504 Bodmas,512-128-32-8 1000 1.67/724 1.78/635 2.33/1016 Androzoo,512-128-32-8 500 1.03/31 1.97/63 1.88/61 Androzoo,512-128-32-8 4000 0.87/27 2.18/78 1.98/71 据 Table 5、6。Androzoo 为 500 特征(Sig Feat 1000)。大 CAE 指 512-384-256-128。
- 小受害 CAE、小替代 CAE 在 Bodmas 上,距离与异常分随插入数上升。
- 并非每格都上升。Bodmas 小受害 CAE、替代 MLP 的距离从 1.77 到 1.67。Androzoo 小受害 CAE、替代 MLP 的距离从 1.03 到 0.87。作者未对这些格子另作解释。
- Table 5 中较大受害 CAE 的距离在 0.143 到 0.718。其中替代 MLP 与大替代 CAE 在 1000 个投毒时为 0.143 与 0.148,低于 100 个时的 0.172 与 0.229。
其他消融与分析
- Table 3:Bodmas、1000 个投毒、上限 0.25,仅分类器 ASR 为 85.5%、82.1%、73.7%;上限 1 为 100%、100%、91.3%。
- Table 3:Androzoo、4000 个投毒、50 特征(Sig Feat 200)为 87.84%、86.92%、87.26%;500 特征为 99.98%、99.62%、99.65%。
- Table 6 受害大 CAE、Androzoo:替代 MLP 的平均距离从插入 500 时的 0.79 到 4000 时的 0.89;两种替代 CAE 从 1.72 到 2.35 与 2.39。
- 附录 Figure 5、6 为更大受害 CAE 及 k=500 的投毒 ASR_overall;Figure 7 为受害大 CAE 的规避 ASR_overall。正文未写读数。
- Table 5 另有 Bodmas 插入 250 与 500;Table 6 另有 Androzoo 插入 1000 与 2000。正文未逐格解读。
- 论文未报告优化轮数、学习率、常数 b,以及组合攻击的查询次数。
有什么可以进一步探索的点?
论文未专门讨论局限,也未写出后续工作。
作者指出的局限与后续方向
论文未专门讨论局限。Conclusion 讨论的是 CAE 嵌入空间、损失与攻击参数的相互作用,没有写成局限或后续工作。
实验覆盖范围
- 数据为 Bodmas 与 Androzoo,规模与时间范围见 Table 1;特征来自不运行样本的静态分析。
- 受害方为 MLP 100-100 分类器,以及 CADE、Transcendent;底层包括两种 CAE,Transcendent 另用 MLP 100-100。攻击为通用扰动规避和 clean-label 后门投毒,各 30 次取平均(Section 5)。
- 攻击者知初始训练集各类 10%。Bodmas 可改特征为 17/2381;Androzoo 用 RFE 前 200 或 1000 个特征。k 多为 500,Figure 4b 与 Figure 6d 为 200。
- ASR 测试把扰动加到初始训练集全部恶意样本。作者称加到 future selection set 的实验以及逐样本扰动结果相似,细节未收录。
- 论文未报告优化轮数、学习率、常数 b、显著性检验,以及 Figure 1–7 中 ASR_overall 的曲线读数。Table 3–6 未报告标准差。
总结一下论文的主要内容
连同CAE漂移检测时,更大扰动或更多投毒样本可能降低整体ASR。
这是对恶意软件数据漂移检测器连同分类器所做的规避与 clean-label 后门投毒实验。
- 问题:作者称软件演化会使分类器过时;检测器挑出可能误判的样本,供人工核查或再训练。只骗过分类器不够。
- 方法:攻击者仅知初始训练集 10% 样本,用替代 MLP 的交叉熵或替代 CAE 到良性中心的距离生成通用扰动。成功标准是判为良性且不进 top-k。投毒把该扰动当后门加到良性样本上,只插入最漂移者,并保持正确标签。
- 只打分类器:Table 2 中,Bodmas 扰动上限 1、替代 MLP 的平均 ASR 为 100%;Androzoo、500 特征、替代 MLP 为 98.9%。Table 4 中只投毒分类器时,Bodmas 上限 1、替代 MLP 在 100 至 1000 个投毒上保持 100%。
- 连同检测器:作者称过大扰动或更多投毒可使 CADE 及 Transcendent+CAE 的整体 ASR 下降,因为样本被推离 CAE 良性中心。Transcendent+CAE 上,作者称替代 MLP 的大扰动整体 ASR 高于替代 CAE。这些曲线读数未写入正文。
- 距离并不一律变远:Table 5 中 Bodmas、受害小 CAE、小替代 CAE,投毒从 100 到 1000,平均距离从 1.15 到 2.33。Table 6 中 Androzoo、受害小 CAE、替代 MLP,从 500 到 4000,距离从 1.03 降到 0.87。
- 作者结论:带 CAE 的检测器里,嵌入空间和损失与扰动幅度、投毒数量的相互作用复杂;替代模型和损失需要按不同情形下嵌入空间的性质来选择。